随着微型机器人和无人机的快速发展,实现高效的视觉导航成为一个关键挑战。近期机器人顶刊“Science Robotics”发布的《Visual Route Following for Tiny Autonomous Robots》文章中展示了一种在资源受限的小型无人机上实现视觉路径跟随的方法,能够通过简单的视觉传感器和低功耗计算设备导航。然而,感存算智能视觉传感器技术的出现,提供了一种更为高效的解决方案。犀灵将在本文详细介绍如何使用感存算智能视觉传感器来实现该功能,介绍其技术原理及应用优势,并讨论传统技术在微型无人机中遇到的瓶颈,以及感存算智能视觉技术如何解决这些瓶颈。

 
视觉路径跟随的技术原理

视觉路径跟随是一种通过视觉图像帮助微型无人机识别和跟随其曾经走过的路线的方法。其核心技术在于通过摄像头拍摄一系列环境的“快照”,并结合无人机飞行过程中记录的里程计数据。在无人机返回时,它通过与之前的快照进行对比来确定当前位置,从而实现准确的路径跟随。

1. 路径的记录与导航

当微型无人机首次沿某条路径前进时,它会定期拍摄周围环境的图像,这些图像即为“快照”。同时,无人机还会记录其里程计数据(即它飞行了多远、飞行的方向)。这些“快照”与里程计数据结合在一起,形成一条完整的路径图。当无人机需要返回时,它可以根据这些记录的快照进行视觉对比,结合里程计数据来导航,并通过调整位置修正潜在的误差。

2. 视觉归位与误差校正

在导航过程中,里程计数据不可避免会出现漂移,导致无人机随着时间的推移偏离正确的路线。为了解决这一问题,视觉归位技术通过对比当前图像与之前拍摄的“快照”,让无人机识别当前位置并进行位置修正。这一过程可以帮助无人机消除累积的误差,确保它能够沿着正确的路径前进。

微型无人机使用传统技术的瓶颈

在微型无人机中使用传统技术来实现视觉路径跟随面临诸多挑战,主要集中在计算资源、功耗和延迟问题上:

1. 高计算需求:传统视觉路径跟随系统需要摄像头不断捕捉高分辨率图像,并将这些图像传输到中央处理器进行处理。这种图像处理通常需要大量计算资源,特别是在小型无人机中,由于设备大小和功耗限制,通常无法承载高性能的处理器。因此,传统系统很难在微型无人机中实现高效的视觉路径跟随。
2. 功耗过高:微型无人机通常配备有限的电池容量,任何增加的计算负担都会显著缩短其续航时间。传统视觉处理方法需要大量的功率用于摄像头、数据传输和中央处理器,导致无人机的续航时间不足以完成任务。
3. 存储空间的压力:在传统系统中,视觉路径跟随依赖拍摄并存储一系列高分辨率的图像“快照”作为路径的参考点。这些“快照”通常占用较大的存储空间,尤其是在复杂路径或长时间飞行的场景中,需要存储的图像数量更多。这会对无人机有限的存储资源构成挑战,增加了对大容量存储设备的需求,而这在小型无人机中往往难以实现。
4. 数据传输延迟:在传统系统中,图像必须从摄像头传输到外部处理器进行处理。这一过程增加了数据传输延迟,特别是在无人机快速移动时,实时图像处理的需求无法满足,导致路径规划和调整出现滞后。
如何使用感存算智能视觉传感器实现这些功能并解决瓶颈

感存算智能视觉传感器,通过其独特的每个像素独立处理能力,克服了传统视觉路径跟随系统的上述瓶颈。它不仅能捕捉图像,还可以在传感器焦平面上进行并行计算,实现更高效的视觉处理。

1. 路径记录与快照捕获

传统的视觉路径跟随依赖摄像头和外部处理器,而感存算智能视觉传感器能够在传感器内部完成图像捕捉和处理,从而显著降低了对外部硬件的需求:

· 每个像素都是计算单元:每个像素不仅能感知光线,还可以执行基本的计算任务,如边缘检测或特征提取。这种结构允许无人机在拍摄图像的同时,实时处理并压缩图像信息,减少传输数据量,降低了对高性能处理器的依赖。
· 并行处理:感存算智能视觉传感器的并行处理架构使所有像素同时工作,大幅度减少了图像处理的延迟。在传统方法中,图像需要传输到中央处理器处理,而感存算智能视觉传感器则在捕捉图像的瞬间完成大部分计算,实现了即时的路径记录。
· 压缩与存储快照:由于感存算智能视觉传感器可以在捕捉图像时对其进行压缩处理,保留关键特征点,而无需完整存储图像,大大减少了存储空间的需求。这不仅提升了效率,还使得微型无人机在路径记录过程中占用更少的存储资源。
2. 视觉归位与误差校正

感存算智能视觉传感器的并行计算能力可以显著提高微型无人机的视觉归位和误差校正能力:

· 图像相似性计算:感存算智能视觉传感器可以直接在每个像素内快速完成当前图像与快照的相似性计算,避免了将图像传输到中央处理器进行对比的过程。这使得无人机能够立即识别当前与之前位置的差异,并进行相应的调整。
· 低延迟误差校正:由于图像处理是在传感器内部完成,感存算智能视觉传感器的处理过程几乎没有延迟。这一特点对于微型无人机尤为重要,特别是在快速飞行或复杂环境中,低延迟的误差校正可以确保无人机及时调整路径,防止因延迟导致偏航。
· 实时多快照对比:感存算智能视觉传感器可以连续对比多个快照,确保无人机在整个路径上持续进行位置调整,并且可以快速响应路径中的任何变化。这使得微型无人机即使在复杂环境中也能保持精确的导航。
应用优势
1. 低功耗与高效处理

感存算智能视觉传感器的低功耗特性非常适合微型无人机,这些无人机通常配备有限的电池,而感存算智能视觉传感器的并行处理架构可以在执行复杂视觉任务时保持极低的能耗,显著延长无人机的续航时间。

2. 实时响应与低延迟

感存算智能视觉传感器通过在传感器内部处理图像,避免了数据传输带来的延迟,确保微型无人机在飞行时能够快速对环境变化做出反应。这对于需要高速导航的任务,或在复杂环境中穿行时尤为关键。

3. 减少对外部硬件的依赖

传统的视觉处理系统通常需要高性能的外部处理器,而感存算智能视觉传感器的内置计算能力减少了对这些处理器的需求,降低了系统的复杂性和成本。这使得无人机的设计更加简洁,适合用于各种轻量级的应用场景。

4. 更强的环境适应能力

感存算智能视觉传感器不仅能够在复杂环境中实时处理图像信息,还具备出色的环境适应能力。特别是能够对不同区域的Pixel进行独立的曝光控制,从而实现宽动态范围功能。这一功能在复杂的室外光线条件下尤为重要。例如,在阳光直射和阴影交替的场景中,传统传感器可能会因为强烈的光线差异而导致图像部分过亮或过暗,而感存算智能视觉传感器则可以根据每个像素的光照情况动态独立调整曝光。这种像素级的曝光控制不仅确保了高亮区域不会过曝,同时保留了暗处的细节,从而提升了图像的整体质量和可用性。这种实时调整的能力特别适合无人机在复杂的户外环境中飞行,例如在穿越森林、飞越城市建筑时,无人机需要在强光和阴影快速切换的环境中依然能够清晰捕捉路径。这极大提高了无人机在多变光线条件下的视觉导航精度和安全性。通过这种宽动态功能,让无人机能够更好地适应环境中的光线变化,提供更加稳定和可靠的视觉反馈,确保在各种复杂场景中依然能够执行任务。

助力无人机在无GPS导航情况下的自动返航

在传统的无人机导航中,GPS系统通常是实现精确定位和返航的核心技术。然而,在某些环境中,GPS信号可能不稳定或无法获取,例如在城市的高楼间、隧道、森林、地下环境等。在这些情况下,依赖GPS的返航技术会遇到严重的挑战。本文提出的方法,能够为无人机提供一种无需GPS的视觉导航解决方案。

感存算智能视觉传感器通过捕捉无人机飞行过程中环境的视觉快照,并实时进行图像处理和位置判断,无需依赖外部信号。这种视觉路径跟随技术让无人机能够根据之前飞行时记录的快照,自动识别返航路线并调整航向。

无GPS情况下的优势
1. 视觉快照与路径记忆:当无人机在出发时,它可以使用感存算智能视觉传感器不断拍摄周围的环境图像,并将这些图像作为视觉快照存储。无人机可以在返航时,通过与这些快照进行对比,精确识别返回的路线。
2. 自主调整和误差修正:在没有GPS信号的环境中,感存算智能视觉传感器可以利用视觉归位技术,通过不断对比当前的图像和之前记录的快照,实时修正无人机的位置。这种技术不仅能够修正飞行误差,还能帮助无人机在复杂的环境中自适应返航,避免依赖外部基础设施。
3. 无信号环境的可靠返航:感存算智能视觉传感器使无人机具备了在GPS信号缺失或干扰严重的环境下,依然能够自主返航的能力。通过路径记忆和图像处理,无人机可以准确识别其所在位置,并自主导航回到起点。这对于在森林、地下矿井等GPS难以覆盖的区域作业的无人机尤为重要。
扩展应用场景
      值得注意的是,本文中提到的基于感存算智能视觉传感器的视觉路径跟随技术不仅适用于微型无人机,也同样适用于微型机器人。这些机器人同样在资源受限的环境中运行,面临类似的导航和定位挑战。无论是用于室内的自主导航、工业自动化,还是复杂环境中的探测任务,感存算智能视觉传感器都可以通过其并行计算和环境适应能力,为微型机器人提供实时的视觉导航支持。因此,这种技术方案在更广泛的自主系统中具有很大的应用潜力。
未来展望

感存算智能视觉传感器在微型无人机和微型机器人的视觉路径跟随中展示出了无可比拟的优势。传统技术在微型无人机和微型机器人上面临的主要瓶颈包括高计算需求、过高的功耗和数据传输延迟等问题,而感存算智能视觉传感器凭借其独特的并行处理架构,成功克服了这些障碍。通过将计算能力直接集成在传感器平面内,感存算智能视觉技术能够在微型无人机和微型机器人上实现实时的图像处理和路径校正,不仅降低了系统的复杂性和功耗,还显著提升了导航效率和响应速度。

这种低延迟、高效能的设计使得感存算智能视觉传感器尤其适合资源受限的微型无人机,它们能够在各种复杂环境中执行任务,无论是狭窄空间的穿行,还是在动态场景中的实时调整,都表现出色。感存算智能视觉传感器技术的应用还减少了对外部处理器的依赖,这意味着无人机和机器人可以以更轻的负载、更长的续航时间完成更加复杂的任务,显著拓展了其应用场景,从农业监控到物流自动化,再到搜索与救援任务等。

展望未来,随着感存算智能视觉技术的进一步发展,我们可以预见到它将成为微型无人机和微型机器人自主导航领域的核心技术之一。通过感存算智能视觉传感器技术,微型无人机和微型机器人的自主能力将得到空前的提升,帮助它们在任务执行中更加高效、精准,并极大地拓展它们的应用范围。未来,感存算智能视觉技术将引领无人机技术的新潮流,赋予它们更强大的视觉感知和自主导航能力,满足从工业到消费级市场的广泛需求,为未来的无人机和机器人发展提供了坚实的基础。

 

 

 

 

 
 
 
 

 

 

关于我们

犀灵视觉,成立于2021年,是业界领先的致力于研发全新一代智能视觉传感器和智能光电传感器的高科技芯片公司,核心团队来自于世界知名的大学实验室和芯片公司,目前已在北京、上海、成都、深圳和南京等城市设立办公及研发中心。

犀灵视觉的“像素级运算技术(In-Pixel Computation)”经过多年的沉淀与迭代,超越了传统冯诺依曼架构处理方式,从根源创造技术革新,高效的将像素(Pixel)和运算技术(Core)相结合,带来传统架构无法比拟的高速度、低功耗和智能化的优势。我们的产品专注于边缘处理应用场景,从2D到3D都提供了完整的智能视觉传感器解决方案。

犀灵视觉的愿景是给AI装上慧眼,为人类带来无限视界。

 

公司成立至今已获得以下荣誉:

·上海最具投资潜力50佳创业企业

·ARM安创加速器2021年“安创之星”

·2021年毕马威中国“芯科技”新锐企业50强

·2022年科技型中小企业

·2022年北京市创新型中小企业

·2022年毕马威中国“芯科技”新锐企业50强

·2023年科技型中小企业

·2023年毕马威中国“芯科技”新锐企业50强

·2023年第十八届“中国芯”芯火新锐产品

·2023年德勤-亦庄科技之星

·2024年星际营新锐AI之星加速计划-未来之星

 

 

犀灵感存算智能视觉传感器实现微型无人机和机器人视觉路径跟随的创新