人工智能与ISP的整合
2022/10/26
广东吉洋视觉专注AOI视觉检测设备 （ 吉洋视觉AOI ；人工智能AOI ；深度学习算法AOI ；半导体晶圆AOI ；MIcro LED 晶圆AOI检测 ）
众所周知，这一代的基于神经网络的人工智能的一个重要特点是神经网络参数多，计算量大，因此为了满足ISP的相关需求，需要能有一个能高效处理人工智能计算的相应模块（AI引擎）来满足ISP的需求。同时需要注意的是，由于ISP对于延迟和功耗都有需求，因此AI引擎也必须考虑这两方面的因素。 为此，有两种不同的ISP整合人工智能解决方案。第一种方案是把ISP和AI引擎整合到一起，在同一个IP模块里面。这样做的好处在于ISP和AI引擎耦合度较高，因此能够通过ISP和AI引擎的协同优化来实现较高的延迟和功耗。举例来说，ISP往往是一个流水线，处理像素的时候也是分批处理（而不会一直是等到所有像素都传到之后再处理）；另一方面，基于卷积神经网络的AI模型也可以利用类似的流水线特性，将像素分批处理。通过将ISP和AI引擎深度整合在一起，就可以协同设计这样的流水线，从而实现更好的延迟。另外，神经网络和ISP事实上对于DRAM访问都有很高的需求，如果能够将ISP和AI引擎通过深度整合来协同优化内存访问的调度，从而确保两者不会同时大量访问内存，将会大大减少对于DRAM带宽的压力。然而，这样设计的问题在于AI引擎只能被ISP调用，因此如果ISP不工作的时候，AI引擎事实上就不会被打开，从而就有了dark silicon（芯片面积浪费）的问题；另外ISP和AI引擎的协同设计很多时候是假设AI引擎会跑几个固定的模型，如果想要更新模型的话类似的硬件上固化的设计就不再是最优的了。 除了深度整合之后，另一种设计思路是将ISP和AI引擎分开，但是确保ISP可以AI引擎之间有顺畅的数据通路，同时确保ISP有高优先级调用AI引擎。这样的好处是AI引擎不会被浪费，就是ISP不启动的时候也可以给其他应用调用；另外可以灵活配置使用在AI引擎中的模型，从而让ISP中使用的神经网络模型可以使用软件控制。当然，由于ISP和AI引擎耦合度较低，这样也较难深度地为ISP和AI引擎做协同优化，从而在延迟和能效比方面将会有一定成本。 我们认为，在这两种整合模式中，如果目标产品本身就是一块ISP芯片，那么显然第一种整合方式是最合理的，因为ISP芯片的首要目标就是高性能高能效比，而且其AI引擎本来就不会被系统中的其它模块所调用。另一方面，如果目标产品是ISP IP的话，那么两种整合方式都有其合理性，对于追求性能的高端ISP IP，我们认为更有可能会在ISP中集成一个较为强力的AI引擎，确保高性能高能效比；对于中端的ISP IP，未来的方向可能是在ISP IP中整合进一个较为基本的AI引擎，来确保基本的相关模型可以运行，同时也会在ISP上留够接口，使得ISP能通过片内互联的方式来访问SoC上的其他AI引擎，从而如果需要运行较大的模型时候可以使用其他的AI引擎实现。郑重声明：1、部分内容来源于网络，本文版权归原作者所有，转载文章仅为传播更多信息之目的。2、本文仅供学术交流，非商用。如果某部分不小心侵犯了大家的利益，请联系删除。
