在快速发展的传感器技术领域,像素级感存算智能视觉传感器脱颖而出,成为一项突破性创新。这种传感器不仅仅是一个图像采集器件,它更是一个强大的计算工具,能够实时处理图像并实现即时行动,即从像素感知到行动控制实现一体化,这一功能,我们称之为“Pixel to Action”,为自动化系统和机器人技术等多个需要实时感知和行动的领域开辟了新的可能性。
Pixel to Action概念的真正创新在于它能够将像素感知的图像数据,进行实时处理后并直接转化为其他设备的实时控制信号。例如,在配备这样传感器的无人机中,传感器可以即时分析周围环境,并向无人机的电机发送精确的控制命令。这使得无人机能够在复杂地形中导航或避开障碍物,而无需外部计算。
同样地,在机器人技术中,配备这样传感器的机器人手臂可以以前所未有的速度和精度对其环境做出反应。传感器可以检测物体,计算它们的位置和运动,并立即向机器人手臂的执行器发送指令。这一能力在需要高精度和响应速度的应用中尤为有用,例如装配线或手术机器人。
Pixel to Action方案与传统图像传感器方案的差异
在理解Pixel to Action技术的独特性和优势时,有必要深入比较它与传统图像传感器加处理器加MCU(微控制器)方式的差异。这两种方式在架构、性能、功耗和应用场景等方面存在显著的区别。
· 图像传感器:传统的图像传感器仅负责捕捉光线并生成图像数据。在图像传感器内部,一般要经ADC转换成数字信号,这些通常是未处理的原始数据,再通过MIPI或LVDS接口传输到外部处理器进行进一步的图像处理。
· 处理器(如DSP或CPU或ASIC):图像数据被传输到外部处理器,该处理器负责执行复杂的图像处理算法,如去噪、色彩校正、边缘检测和目标识别等。这一处理过程通常涉及大量数据传输和计算。
· MCU(微控制器):在图像处理完成后,处理器将处理结果发送给MCU,MCU根据处理结果发出控制信号,驱动其他设备(如无人机电机或机器人手臂)执行相应的动作。
这种架构的主要特点是各个组件之间的分工明确,但由于图像数据在传感器、处理器和MCU之间需要频繁传输,导致数据传输的延迟和系统复杂度较高。
· 像素级感存算智能视觉传感器:与传统传感器不同,感存算视觉传感器将图像处理单元直接集成在感光像素阵列中。图像捕获和处理在像素内部同时完成,传感器输出的不是原始数据,而是经过处理的结果,如边缘检测结果、光流矢量或目标位置。在传感器内部也省略了传统架构中影响速度和效率的ADC、MIPI/LVDS等模块,以及外部的处理器。
· MCU(微控制器):感存算视觉传感器将处理结果直接发送给MCU,MCU根据这些结果即时发出控制信号。这种架构省去了外部处理器的需求,显著减少了数据传输的延迟和系统的复杂性。

· 减少延迟:通过在像素内直接处理图像,系统能够几乎即时地对环境变化做出反应。在自动驾驶车辆或机器人手术等对时间要求极高的应用中,这一点至关重要。
· 降低功耗:由于处理在传感器层面完成,减少了对强大外部处理器的需求,从而降低了整个系统的功耗。这使得该技术非常适合便携式或电池供电的设备。
· 简化系统架构:将处理能力集成到传感器内,简化了整体系统的设计,减少了额外硬件组件的需求,使系统更为紧凑和可靠,特别适合空间局限的场景,系统的成本也随之降低。
· 增强灵活性:从处理后的图像数据直接控制各种设备的能力,使得应用更加多样化,从无人机的实时物体跟踪到机器人的自适应运动控制。
在无人机领域,这一技术能够极大地提升无人机的自主性。传统的无人机依赖于外部计算单元来处理图像数据,存在一定的延迟,而感存算智能视觉传感器可以在捕捉到图像的同时进行实时处理,并将结果直接用于控制无人机的飞行。这意味着无人机可以在瞬间做出复杂的决策,如避障、目标跟踪或路径规划,使其在复杂环境中表现得更加智能和高效。
对于自动驾驶车辆,这一技术可以提升车辆对周围环境的实时感知能力。特别对于突发情况,车辆能够更快地识别道路状况、行人和其他障碍物,并作出相应的驾驶决策,从而提高行驶的安全性和流畅性。这种实时处理和响应能力对于确保自动驾驶技术的可靠性至关重要。
在医疗领域,尤其是微创手术中,手术机器人需要极高的精度和实时响应能力。配备了这一技术的手术机器人可以实时分析手术视野内的图像,迅速识别组织、血管和病灶位置和形状,并根据分析结果实时调整手术器械的位置和动作。这不仅能提高手术的精确度,还能减少医生的工作负担,提升手术的安全性和成功率。
在工业自动化领域,这一技术能够用于机器视觉系统,实时监控和分析生产线上的产品质量,检测缺陷,并立即进行调整或分类。这种实时的反馈机制能够大幅度提高生产效率和产品质量。
在具身智能中,机器人通过感知和反馈不断调整其行为以适应环境。借助“Pixel to Action”技术,机器人可以实时处理其视觉感知,从而在瞬间做出反应。例如,当一个机器人需要在不规则的地形上移动时,感存算视觉传感器可以即时识别地面的变化(如坡度、障碍物等),并通过MCU实时调整机器人的步态和运动轨迹。这样的能力使机器人在不稳定或未知的环境中更加自适应和稳健。
具身智能强调机器人在与人类交互时能够进行自然且实时的反应。“Pixel to Action”技术能够提升机器人对人类动作的感知精度,使其能够快速识别和响应人类的肢体语言、手势或面部表情。例如,在协作机器人中,感存算视觉传感器可以实时捕捉和分析工人操作的细微变化,并根据这些变化及时调整机器人的操作路径,确保安全与高效的合作。
具身智能还包括智能体通过与环境的持续交互进行学习和适应的能力。结合“Pixel to Action”技术,机器人能够在执行任务的同时实时处理视觉信息,并根据环境变化调整其策略。例如,在仓库自动化系统中,机器人可以通过感存算视觉传感器实时检测货物的位置、大小和形状,并根据这些信息优化其抓取和搬运策略,更好的实现手眼协同,从而提高工作效率和灵活性。
像素级感存算一体智能视觉传感器及其“Pixel to Action”功能代表了实时图像处理与设备控制的重大飞跃。通过将计算能力直接集成到感光像素中,这项技术不仅加快了响应速度,还简化了系统架构,降低了功耗。因此,这一技术有望在从机器人技术和自动驾驶车辆到消费电子及其他领域中带来深远影响。
犀灵公司的这一创新的图像处理与控制方法不仅仅是捕捉图像,它是将每一个感光像素的价值转化为直接、可操作的结果。随着这一技术的广泛应用,我们相信,犀灵“感 - 动 - 常在”的技术未来已然到来。
犀灵视觉,成立于2021年,是业界领先的致力于研发全新一代智能视觉传感器和智能光电传感器的高科技芯片公司,核心团队来自于世界知名的大学实验室和芯片公司,目前已在北京、上海、成都、深圳和南京等城市设立办公及研发中心。
犀灵视觉的“像素级运算技术(In-Pixel Computation)”经过多年的沉淀与迭代,超越了传统冯诺依曼架构处理方式,从根源创造技术革新,高效的将像素(Pixel)和运算技术(Core)相结合,带来传统架构无法比拟的高速度、低功耗和智能化的优势。我们的产品专注于边缘处理应用场景,从2D到3D都提供了完整的智能视觉传感器解决方案。
犀灵视觉的愿景是给AI装上慧眼,为人类带来无限视界。
公司成立至今已获得以下荣誉:
·上海最具投资潜力50佳创业企业
·ARM安创加速器2021年“安创之星”
·2021年毕马威中国“芯科技”新锐企业50强
·2022年科技型中小企业
·2022年北京市创新型中小企业
·2022年毕马威中国“芯科技”新锐企业50强
·2023年科技型中小企业
·2023年毕马威中国“芯科技”新锐企业50强
·2023年第十八届“中国芯”芯火新锐产品
·2023年德勤亦庄明日之星