在之前的文章中,我们介绍了,使用我们创新型的像素级感存算智能视觉传感器,搭配液态镜头,实现超高速对焦和单目深度估计的功能。

文章链接:犀灵感存算技术在高速对焦和单目3D深度估计上的应用

我们认为,通过结合这两种技术能提供具有类似于人眼功能(仿生眼)的相机模块,例如快速对焦调整、高动态范围和高效处理。这在需要自适应和快速对焦的应用中特别有用,例如人形机器人、高级监控系统,甚至在消费电子产品中,模仿类人视觉可以增强用户交互。

像素级感存算视觉传感器,可以比作人眼的视网膜。视网膜含有感光细胞,可以检测光并进行预处理,然后将其转换为神经信号。以类似的方式,通过像素并行处理的方式在每个像素上都具有单独的处理能力,从而实现快速图像采集和处理,并可能增强动态范围和灵敏度。这模仿了视网膜中每个光感受器独立处理其检测到的光的方式。

 
液态镜头,通过改变其形状来调整焦距,就像人眼中的晶状体一样,它会弯曲以将光线聚焦到视网膜上。液态镜头可以以最小的功耗快速改变焦距,使其在各种对焦距离下高效且多功能,而无需机械运动部件。

 
下面我们来做进一步的介绍。

人体视网膜是眼睛后部的一个复杂的感光层,在视觉感知中起着至关重要的作用。它由数以百万计的感光细胞组成,特别是视杆细胞和视锥细胞,它们检测光强度和颜色。这些细胞中的每一个都独立处理光信号,将它们转换为神经信号,然后传输到大脑进行图像识别和解释。

 

同样,像素级感存算视觉传感器代表了成像技术的突破,旨在模仿这种视网膜功能。该传感器阵列中的每个像素都配备了自己的处理单元。这种架构允许每个像素独立处理它捕获的光,而无需等待集中式处理器。这种方法密切反映了视网膜中的单个光感受器如何独立地对光做出反应。

 

独立处理:正如视网膜中的每个感光细胞独立地将光转换为神经信号一样,像素级感存算视觉传感器中的每个像素都独立地处理光学数据。这种并行处理功能可实现更快的图像捕获和处理速度,减少延迟并提高成像系统的效率,类似于在人类视觉系统中观察到的快速处理。
 
动态范围和灵敏度:视网膜可以适应不同的光照条件,这要归功于视杆细胞和视锥细胞的不同功能。同样,像素级感存算视觉传感器中每个像素的独立处理能力允许在不同的照明条件下提供更大的动态范围和更好的灵敏度。此功能使传感器能够在具有高对比度或不同亮度的环境中捕获高质量图像,就像人眼一样。
 
局部适应:在视网膜中,某些区域更密集地排列着光感受器(如中央凹),从而增强了视野中心的分辨率和焦点。在像素级感存算视觉传感器中,每个像素级别的处理都可以根据局部的视觉信息进行调整,从而优化视野内感兴趣区域(ROI)的图像处理
 

人类视网膜不仅由光感受器组成,还包括相互连接的神经元网络,如双极细胞、无长突细胞和神经节细胞。这些细胞促进了复杂的处理任务,包括在视觉信号发送到大脑之前对其进行预处理。同样,像素级感存算视觉传感器可以设计成模仿这些高级处理能力,从而提供更全面的人类视觉处理仿真。

 
双极细胞,充当光感受器和神经节细胞之间的中介,将信号从前者传递到后者。不仅如此,双极细胞还参与更复杂的视觉处理任务,如边缘检测、颜色辨识和对比度增强。在像素级感存算视觉传感器中,可以通过在传感器阵列中启用模拟运算处理层来整合类似的功能。这些层可以根据局部对比度放大或衰减来自单个像素的信号,从而提高传感器处理不同照明条件的能力并增强图像质量。
 
无长突细胞,有助于视觉的动态方面,例如适应不同的光照条件和整合运动方向线索。通过集成可配置的处理节点,这些节点可以根据周围像素的输入修改其响应,像素级感存算视觉传感器可以模拟这些功能。这些节点将允许传感器根据光线和运动的变化动态调整,增强运动检测和时间分辨率,类似于无长突细胞在视网膜内的功能。
 
神经节细胞,负责编译来自双极细胞的信号,并产生通过视神经传播到大脑的输出。它们对于最终的图像处理和特征提取至关重要。在像素级感存算视觉传感器的设计中,每个处理单元可以链接形成一个模拟神经节细胞连接的网络,从而实现复杂的模式识别和空间处理。该网络可以在将视觉数据发送到主处理器之前对其进行预处理从而减少数据冗余并提高处理速度
 

通过整合类似于双极细胞、无长突细胞和神经节细胞的功能,像素级感存算视觉传感器不仅增强了其与人类视网膜的相似性,而且还显着提高了其处理能力。这种先进的模仿允许对视觉数据进行更复杂的解释,类似于人类的视觉系统,从而扩大了该技术在需要快速和自适应视觉处理的领域的潜在应用。这种详细的生物功能和先进技术的融合强调了机器如何感知环境并与之交互的重大进步的潜力。

液态镜片与人眼晶状体的相似之处
人眼的晶状体是将光线聚焦到视网膜上的关键组成部分,使我们能够在不同的距离上看得很清楚。这种自适应聚焦是通过一个称为调节的过程实现的,在这个过程中,晶状体的形状在睫状肌的控制下动态变化。同样,液态镜头通过其无需机械运动即可快速改变焦距和聚焦的能力来模仿这些特性,并采用流体动力学原理。
自适应对焦:在人眼中,晶状体会调整其形状以将光线聚焦在视网膜上,从而实现不同距离的清晰视力。这种调整是通过睫状肌改变晶状体的曲率来实现的。液态透镜通过使用装满光学透明流体的容器来实现类似的效果,其表面曲率可以通过施加电力或机械力来改变。曲率的这种变化改变了镜头的焦距,使其能够快速有效地聚焦在不同距离的物体上。
无活动部件:人眼晶状体的一个显着方面是它能够在没有任何刚性运动部件的情况下进行聚焦。这是通过镜片本身的弹性特性实现的,镜片具有柔韧性和灵敏度。同样,液态透镜不需要机械部件即可运行,而是依靠通过电荷或压力变化来操纵液体的表面张力。此功能不仅可以减少磨损,使液态镜头更耐用,还可以实现更快、更安静的运行。
快速响应和多功能性:眼睛的晶状体几乎可以瞬间改变焦点,这对于观看距离之间的无缝过渡至关重要。液态镜头反映了这种能力,提供快速响应时间,这有利于各种应用,例如消费电子产品,在这些应用中,快速自动对焦是必不可少的。此外,正如人体镜头可以在不同的照明条件和环境中表现良好一样,液态镜头是多功能的,可以在广泛的应用中实现最佳性能。
能效:人眼的晶状体和液态晶状体都以最小的能量消耗运行。人眼有效地利用生化能量来促进晶状体调节,而液态镜片需要最小的电力来调节焦距,从而增强了它们对功耗保护至关重要的设备的适用性。
通过与像素级感存算视觉传感器的搭配,可以由传感器根据获取的图像信息,快速的控制液态镜头的对焦(低于5毫秒),从而实现类似与人眼的实时对焦性能。
结论

仿生眼亟需解决的问题包括,高速对焦、高速图像采集、实时宽动态成像、高速预处理和特征提取、高速目标跟踪等。通过利用类似于人眼晶状体的液态镜头与视网膜的感存算视觉传感器的组合,为上述问题的解决提供了很好的方案。这样的技术组合不仅提高了成像系统的效率和功能,还为创新铺平了道路,使机器能够更像人类一样看东西。这种生物灵感和技术创新的融合为视觉技术的未来带来了巨大的希望。

 
 

 

 
 
 
 

 

 

关于我们

犀灵视觉,成立于2021年,是业界领先的致力于研发全新一代智能视觉传感器和智能光电传感器的高科技芯片公司,核心团队来自于世界知名的大学实验室和芯片公司,目前已在北京、上海、成都、深圳和南京等城市设立办公及研发中心。

犀灵视觉的“像素级运算技术(In-Pixel Computation)”经过多年的沉淀与迭代,超越了传统冯诺依曼架构处理方式,从根源创造技术革新,高效的将像素(Pixel)和运算技术(Core)相结合,带来传统架构无法比拟的高速度、低功耗和智能化的优势。我们的产品专注于边缘处理应用场景,从2D到3D都提供了完整的智能视觉传感器解决方案。

犀灵视觉的愿景是给AI装上慧眼,为人类带来无限视界。

 

公司成立至今已获得以下荣誉:

·上海最具投资潜力50佳创业企业

·ARM安创加速器2021年“安创之星”

·2021年毕马威中国“芯科技”新锐企业50强

·2022年科技型中小企业

·2022年北京市创新型中小企业

·2022年毕马威中国“芯科技”新锐企业50强

·2023年科技型中小企业

·2023年毕马威中国“芯科技”新锐企业50强

·2023年第十八届“中国芯”芯火新锐产品

 

 

 

犀灵感存算视觉传感器 液态镜头,实现机器人仿生眼