【全球独家】黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫
武汉2023年6月26日/美通社/ -- 近日,黑芝麻智能发布了武当系列智能汽车跨域计算平台及其首款芯片C1200。C1200的特色之一在于搭载了黑芝麻智能新一代自研NeuralIQ ISP模块,为图形计算提供更精准的数据。在由黑芝麻智能主办的"2023智能汽车芯片高峰论坛"上,公司图像科学总监王超发表主题为"黑芝麻智能NerualIQ ISP技术让汽车洞察秋毫"的演讲,全面解析这一技术。
通常情况下,ISP有很多常见的处理模块,比如白平衡、自动曝光控制、自动对焦等。黑芝麻智能的NeuralIQ ISP在安防、手机、汽车三大场景具有全平台的处理能力。三种场景对ISP的要求不尽相同。王超介绍,针对车载应用,黑芝麻智能对ISP进行了三大方面的优化。
算法优化
【资料图】
算法层面的优化涉及到无帧延时的多帧降噪、夜晚去运动模糊、高亮高饱和区域色彩和细节保持、不同光谱sensor的色彩一致性四个方面。
黑芝麻智能设计了无帧延时的多帧降噪,去噪的同时保持多帧图像的特征。在ISP里尽量保留多帧图像共有的信息,使得对外界环境的可读性得到提升。
运动模糊的宽度取决于在曝光时间内运动物体投影在像素平面上的宽度,针对夜晚环境下的运动模糊情况,黑芝麻智能采用了减曝光+增增益+多帧降噪的方案,使得夜晚运动模糊时的图像质量得到更进一步提高。
交通环节有很多重要信息都是比较高亮、高饱和的信息,黑芝麻智能通过算法改进实现了颜色矫正、细节保持,从而为后端的感知算法提供更加准确的数据。
有效的色彩管理手段(AWB/CCM/3DLut等)不只使得常见光谱种类的sensor的输出图像的色彩一致,针对不同光谱种类sensor的数据也可以做到色彩一致化。黑芝麻智能通过RGBIr的色彩处理和恢复,在即使有红外影响的情况下,也可以得到和人类感知比较一致的颜色,为后端感知算法提供更加一致的输入。
IP设计优化
算法上优化之外,黑芝麻智能在ISP的IP设计上也进行了优化。比如,车载环境下需要应用的相机越来越多,黑芝麻智能通过IP设计手段,使用可以共享的逻辑来处理多个数据,让一系列的计算逻辑可以被复用,以此方式减少芯片面积。
同时,黑芝麻智能的NeuralIQ ISP支持在线处理模式,可以用来减少车载图像的处理数据延时。简单而言,从第一个数据输入到ISP输出第一个数据,在线处理模式的延时一般小于2毫秒。
全面的ISP IQ调试流程
对于ISP的调试工作,黑芝麻智能为NeuralIQ ISP模块设置了模组性能检查,模组参数标定和调优,并配备调试工具。
模组性能检查涉及模组缺陷、MTF、DOF、炫光、红外、漏光等。模组参数标定和调优包括镜头暗角标定(LSC)、色彩校正矩阵标定(CCM)、白平衡标定(AWB)、噪声标定和调试。
在此基础上,黑芝麻智能会对NeuralIQ ISP进行客观和主观的测试工作。客观从镜头亮度阴影、镜头色度阴影、色彩准确性、白平衡准确性和灰阶测试几方面展开。主观测试则是在车载的主观场景下进行,例如白天、黑夜、日落等光照环境,隧道、车库出入口、交通信号灯、车道线、十字路口等特殊环境,以及颠簸路面、反光路面、极暗光照等极端环境。
NeuralIQ ISP是黑芝麻智能两大核心自研IP之一,适用于智能驾驶环视感知、前视感知、驾驶监控等应用场景。王超表示:"希望我们的ISP能够使接入的车载相机得到更合理的图像效果,提供给后端感知算法使用,帮助自动驾驶能够更顺利地向前一步。"
关键词:
您可能也感兴趣:
为您推荐
全球最大海拔最高的水光互补项目柯拉一期光伏电站正式投产发电-全球热推荐
关于郑州市2023年第7批学历人才生活补贴发放的公示(总第60批)_每日热闻
环球观速讯丨阴阳师神秘妖怪线索柴犬守护(阴阳师神秘妖怪线索)
排行
- 世界观天下!闽江学院首创残疾人数智化服务平台“让爱无碍”
- 中汽协正在编制车企碳排放标准 新能源汽车势不可挡?
- 天天新动态:赶紧减肥!研究表明大体重驾驶者更容易在车祸中受伤
- 天天视讯!2022 年世界互联网大会乌镇峰会开幕 线上+...
- 全新奥迪Q8 e-tron家族亮相 外观更年轻 续航最大600km
- 焦点热门:LG显示已开始为iPhone 14 Pro Max供应面板 三星显示不再是唯一
- 视点!小米商城服务升级3.0了!官方售后进度可视可控
- 世界观热点:比亚迪已成功注册1枚“仰望”商标 曾为其设立公司
- 热门:美系电车之耻?Lucid第三季度亏损38亿!股价下跌13%
- 全球热讯:荣耀80或首发1.6亿像素主摄!标配灵动岛
最近更新
- 世界观天下!闽江学院首创残疾人数智化服务平台“让爱无碍”
- 中汽协正在编制车企碳排放标准 新能源汽车势不可挡?
- 天天新动态:赶紧减肥!研究表明大体重驾驶者更容易在车祸中受伤
- 天天视讯!2022 年世界互联网大会乌镇峰会开幕 线上+...
- 全新奥迪Q8 e-tron家族亮相 外观更年轻 续航最大600km
- 焦点热门:LG显示已开始为iPhone 14 Pro Max供应面板 三星显示不再是唯一
- 视点!小米商城服务升级3.0了!官方售后进度可视可控
- 世界观热点:比亚迪已成功注册1枚“仰望”商标 曾为其设立公司
- 热门:美系电车之耻?Lucid第三季度亏损38亿!股价下跌13%
- 全球热讯:荣耀80或首发1.6亿像素主摄!标配灵动岛
今日要闻
- 修身堂(08200.HK)年度盈转亏至1393.3万港元
- 全球最大海拔最高的水光互补项目柯拉一期光伏电站正式投产发电-全球热推荐
- 关于郑州市2023年第7批学历人才生活补贴发放的公示(总第60批)_每日热闻
- 环球观速讯丨阴阳师神秘妖怪线索柴犬守护(阴阳师神秘妖怪线索)
- 【聚看点】再见休斯顿!杰伦格林三方交易曝光,顶级二当家或加盟辅佐哈登
- 东莞工会开展关爱工伤职工慰问活动
- 快讯:天风证券:AI赋能下空间可期 看好特斯拉人形机器人供应链
- 当前热文:海贼王994话汉化 海贼王漫画第894话汉化版公开
- 今年前5个月北京农业保险提供风险保障448.8亿元 支付赔款6.4亿元
- 今日关注:李强出席世界经济论坛全球企业家对话会