Emmetra推出AUTOIQ.ai:AI驱动STM32 ISP调优工具
AUTOIQ.ai 是 Emmetra 推出的传感器校准与图像质量优化工具。Emmetra 是意法半导体合作伙伴计划成员,该工具利用 STM32 硬件图像信号处理器(ISP),提供一个有助于简化工作流程的界面:以更自然的方式引导用户完成调优步骤,实时显示设置效果,甚至使用 AI 自动调优参数。Emmetra 展示了 AUTOIQ.ai 如何基于 STM32N6 和 STM32MP257 提升图像传感器质量,并使用运行于 Windows 和 Linux 的桌面软件。macOS 版本预计明年推出。AUTOIQ.ai 通过处理部分最具技术性和复杂性的环节,让图像流水线不再神秘,使开发者能够专注于获取最佳数据。
ISP 调优软件面临哪些最常见挑战?
满足不同工程经验水平的需求
STM32N6570-DK
意法半导体在发布 STM32 ISP IQTune 时曾表示,该软件可以“帮助开发者针对特定 CMOS 图像传感器及其镜头调优图像信号处理器(ISP),而无需依赖第三方服务或广泛专业知识。”这一点对于社区中的许多用户仍然成立。然而,一些团队需要更多指导,尤其是在图像流水线方面经验较少时。例如,一些决策者可能低估了 ISP 调优需要分阶段进行,因此比最初计划需要更多时间和迭代。另一些团队可能面向特定应用,例如 AI 视觉,因此需要有关关键指标的帮助,而这超出了 STM32 ISP IQTune 等通用工具所能提供的范围。
帮助选择合适的传感器
另一个挑战是选择传感器本身,这远不止选择分辨率。无论使用哪种 CMOS 器件,都有一个共同点。在传感器的 MTF、动态范围或像素架构之间,选择合适的器件可能耗费大量时间和资源。而选定错误元件可能带来严重后果。解决方法之一是采用可重复、标准化的工作流程,帮助快速调优每个待评估传感器。然而,这需要对底层架构有深入理解,包括传感器驱动、校准和流水线调优等。
支持差异显著的算力架构
B-CAMS-IMX 摄像头模块
实现过程也可能很复杂,尤其是在使用不同架构时,主要涉及微控制器和微处理器。大多数人已经知道,为运行实时操作系统的 STM32N6 配置传感器,与在基于 STM32MP2 的嵌入式 Linux 设备上加载配置文件,例如,差异很大。遗憾的是,了解这一点并不等于能够处理两种方式中的各种细节,这可能需要大量技能和经验。许多公司在 MCU 和 MPU 上同时运行计算机视觉应用,以支持更广泛的用例,但并不总能投入成为两类实现专家所需的资源。这正是 AUTOIQ.ai 等解决方案的突出之处。
AUTOIQ.ai 如何改变 ISP 调优?
降低使用门槛
客户对 AUTOIQ.ai 的采用,是这款软件获得积极反馈的最有力证明之一。简而言之,客户表示,它降低了使用门槛,帮助他们更快完成设计,从而带来原本需要显著更多时间和投入的新产品。这也是意法半导体与 Emmetra 紧密合作的原因,以确保 AUTOIQ.ai 能够充分利用 STM32 ISP 中间件,以及 X-LINUX-ISP 和 X-CUBE-ISP 等软件包,使其解决方案即使在发布重大更新时仍保持兼容,确保与整个 STM32 生态的一致性。
AUTOIQ.ai 如何在同一帧中为人眼校正颜色并改善目标检测的示例。
用 AI 优化 AI
除了简化传统 ISP 调优,AUTOIQ.ai 还引入了一种独特的以 AI 为中心的调优方法,旨在最大化 AI 视觉应用的性能。传统 ISP 工具为人类视觉优化图像质量,而 AUTOIQ.ai 将针对神经网络本身进行调优。用户只需导入模型,定义相关 KPI,例如目标检测置信度,AUTOIQ.ai 便会自动分析算法,并微调 ISP 参数以提升 AI 性能。这可以在高对比度或复杂光照等具有挑战性的条件下带来显著提升,而无需修改 AI 模型,也无需花费大量时间试错。通过直接将 ISP 优化与 AI 结果关联,AUTOIQ.ai 提供了独特能力,许多人正将其作为新的基准。
把复杂性交给工具
AUTOIQ.ai 之所以成功,是因为它为上述工程挑战提供了独特解决方案。在底层,该软件处理开发中的三大方面,其中包括驱动、校准和流水线调优。通过与意法半导体紧密合作,Emmetra 可以优化底层代码,从传感器中提取更多特性并提升性能。这带来更先进的校准能力,帮助团队使用成本更低的镜头或传感器,因为他们可以充分发挥这些器件的潜力。最后,由于图像流水线高度复杂且相互交织,AUTOIQ.ai 会处理这些复杂性,使用户无需担心某项更改如何影响其他 ISP 模块等。
使用相同的检测模型,AUTOIQ.ai 调优能够发现站在黑暗房间中的人,而默认 ISP 未能检测到,并可消除误检。
如何开始使用?
最好的入门方式是准备一块 STM32N6 Discovery Kit 或 STM32MP2 开发板,并搭配摄像头模块,然后向 Emmetra 申请演示。该公司已在意法半导体展台展示,其软件可帮助在数小时内而非数月完成传感器 ISP 调优。具体来说,用户可以导入 RAW 图像文件,查看软件如何自动调整设置,同时仍允许用户对流程中的诸多方面进行微调以改善结果。AUTOIQ.ai 还提供强大的预览模式,可以查看应用设置前后的差异,并可进行色彩分析、修正曝光错误、改善白平衡或信噪比。
来源: 海外媒体