在之前文章中,我们介绍了,使用我们创新型的像素级感存算智能视觉传感器,搭配液态镜头,实现超高速对焦和单目深度估计的功能。近期犀灵又与液态镜头合作伙伴,在医疗内窥镜的应用领域,做了进一步的尝试和拓展。

文章链接:犀灵感存算技术在高速对焦和单目3D深度估计上的应用

传统医疗内窥镜主要使用传统图像传感器并依赖二维(2D)成像技术,这限制了医生对复杂结构的全面了解。犀灵与合作伙伴,通过结合像素级感存算智能视觉传感器和液态镜头的新型内窥镜系统,能够实现高速且高精度的三维(3D)成像,从而拓展了内窥镜在医疗领域的应用,显著提高了诊断和治疗的精确性和效率。

当前医疗内窥镜广泛应用于诊断和治疗。然而,现有的内窥镜技术主要基于2D成像,这在某些复杂结构的观察和操作中存在局限性。2D成像无法提供物体的深度信息,医生需要依赖经验和推测进行操作,可能导致误诊或操作失误。因此,提升内窥镜的成像能力,尤其是实现3D成像,成为当前技术发展的重要方向。

系统组成与工作原理
1. 液态镜头

液态镜头通过电润湿现象调整焦距,无需机械运动部件,能够快速且精确地响应焦距变化。这种镜头能够在不同的焦平面上连续成像,为后续的3D重建提供了基础。

2. 像素级感存算智能视觉传感器

像素级感存算智能视觉传感器通过并行处理多个像素的数据,实现高效的图像处理和分析。它能够在极短时间内处理大量数据,显著提升图像处理速度和系统响应时间。

3. 技术原理与高质量3D图像的实现过程

通过调整液态镜头的电压,实现焦距的连续变化。系统捕获不同焦平面上的图像,并通过锐度分析(例如拉普拉斯滤波),确定每个像素的最佳焦点位置,从而计算出物体的深度信息。

具体步骤如下:
· 电压扫描:对液态镜头进行一系列电压调整,获取不同焦距下的图像。
· 图像获取:使用像素级感存算智能视觉传感器高速记录这些图像。
· 图像预处理:在传感器上应用智能滤波,获取清晰图像信息。
· 锐度分析:在传感器上应用图像处理算法,实时分析每个像素在不同图像中的锐度。
· 深度计算:根据锐度最大的位置,传感器上计算每个像素的深度,生成和输出3D点云。

尽管立体3D成像技术已经广泛应用,但通过单镜头生成高分辨率3D图像是一项技术挑战。我们通过简单的硬件结合先进的算法,实现了这一目标。这一单镜头技术的最大优势之一是,所有的图像采集和运算都在传感器上完成,适合在小空间内使用,并且能够在高分辨率下对近距离物体进行高速且高精度的3D成像

系统实现与性能

我们的系统可以搭配低成本的后处理器芯片实现3D重建过程。实验结果表明,系统能够在高达30-60帧每秒(FPS)的图像处理速率下,实现3D点云和EDoF图像的实时生成,空间分辨率可达0.3毫米。这一方案,也是众多3D成像方案中少有的高速、高精度的方案。

传统内窥镜的局限性

传统的医疗内窥镜主要依赖于2D成像技术,存在以下局限性:

· 缺乏深度信息:无法提供物体的深度信息,医生只能通过经验和推测进行操作,可能导致误诊或操作失误。
· 操作难度大:在复杂结构的观察和操作中,医生需要频繁调整视角和位置,增加了操作难度和时间。
· 诊断精度低:缺乏立体成像,使得一些细微病变难以发现,影响诊断的准确性。
我们技术的优势

结合像素级感存算智能视觉传感器和液态镜头的新型内窥镜系统,克服了传统内窥镜的诸多局限性,具有以下显著优势:

· 高精度3D成像:通过焦点变化技术,实时生成高精度3D图像,提供全面的深度信息,包括在标准2D图像中无法看到的区域。
· 快速响应:液态镜头的快速焦距调整和传感器的高效数据处理,使系统能够快速生成3D图像,提高诊断和操作效率。
· 便携性与家用适用性:紧凑的方案设计非常适合用于便携式内窥镜或口腔镜产品,能够广泛应用于家庭使用的产品。这种便携性和易用性使得用户在家中也能进行初步的医学检查和监控,大大提升了医疗服务的可及性和便利性。
· 易于操作:提供3D成像,使医生能够更直观地观察和操作,减少了对经验和推测的依赖,降低了操作难度。
· 结合云端技术:这样的系统可以与云端软件结合,提供图像查看和分析功能,并与电子病历和远程医疗集成。未来的增强功能将包括AI检测算法。
结论

犀灵与合作伙伴,通过结合像素级感存算智能视觉传感器和液态镜头的技术优势,实现了高速且高精度的3D成像,拓展了新型内窥镜系统的可行性。该系统在提高诊断和治疗精确性方面具有显著优势,为医疗内窥镜的发展提供了新的方向。随着技术的不断进步,我们相信这项技术将会在医疗领域得到广泛应用,进一步提升医疗水平和患者体验。

 

 

 

 
 
 
 

 

 

关于我们

犀灵视觉,成立于2021年,是业界领先的致力于研发全新一代智能视觉传感器和智能光电传感器的高科技芯片公司,核心团队来自于世界知名的大学实验室和芯片公司,目前已在北京、上海、成都、深圳和南京等城市设立办公及研发中心。

犀灵视觉的“像素级运算技术(In-Pixel Computation)”经过多年的沉淀与迭代,超越了传统冯诺依曼架构处理方式,从根源创造技术革新,高效的将像素(Pixel)和运算技术(Core)相结合,带来传统架构无法比拟的高速度、低功耗和智能化的优势。我们的产品专注于边缘处理应用场景,从2D到3D都提供了完整的智能视觉传感器解决方案。

犀灵视觉的愿景是给AI装上慧眼,为人类带来无限视界。

 

公司成立至今已获得以下荣誉:

·上海最具投资潜力50佳创业企业

·ARM安创加速器2021年“安创之星”

·2021年毕马威中国“芯科技”新锐企业50强

·2022年科技型中小企业

·2022年北京市创新型中小企业

·2022年毕马威中国“芯科技”新锐企业50强

·2023年科技型中小企业

·2023年毕马威中国“芯科技”新锐企业50强

·2023年第十八届“中国芯”芯火新锐产品

 

 

 

医疗内窥镜的新突破:犀灵感存算视觉传感器与液态镜头结合,实现高速高精度3D成像