成像&传感技术

成像&传感技术

索尼从1996年开始开发CMOS图像传感器,2000年,索尼的第一款CMOS图像传感器“IMX001”商品化。当时的CMOS图像传感器在昏暗环境下成像的噪点很多,像素也不及CCD。随着视频的画质从SD(Standard Definition)升级到HD(High Definition),索尼预见到读取速度缓慢的CCD终有一天将无法支持高分辨率数据,因此在2004年转变了图像传感器开发工作的方向,将研发对象从过去的CCD转变为CMOS图像传感器。索尼下定决心舍弃过去全球市场份额第一的CCD,转向仅占很小一部分市场的CMOS图像传感器。之后在2007年,高速、低噪点,搭载独创列并行A/D转换电路的CMOS图像传感器商品化,2009年,感光度是传统商品2倍的背照式CMOS图像传感器商品化,其性能已超越人眼。2012年,凭借像素单元和信号单元的堆栈结构,实现高画质、多功能、小型化的堆栈式CMOS图像传感器商品化,2015年,将实现了小型化、高性能和生产效率提升的Cu-Cu(铜-铜)连接在全球范围内率先投入实用等,就这样,索尼通过不断的技术创新,始终引领行业发展

图像传感器 关键技术的进步

The CMOS image sensor with a column A/D converter achieves fast and low-noise performance by the column A/D converter (advances of peripheral circuit technology). The back-illuminated CMOS image sensor achieves higher sensitivity due to the back-illuminated structure (advances in pixel technology). The stacked CMOS image sensor achieves high image quality and multiple functions in a smaller package (advances in layering technology). The stacked CMOS image sensor with Cu-Cu connections realizes smaller packages, higher performance, and greater productivity by direct connection of copper pads (advances in chip-to-chip connection).

搭载列并行A/D转换电路的CMOS图像传感器(2007年商品化)

采用独创的列并行A/D转换技术,即在每个像素的垂直列并列配置A/D转换器。这样就能够以最短长度将垂直信号线上读取的模拟信号直接传输给各列的A/D转换器,从而抑制模拟信号传输中混入的噪点导致的画质下降问题,同时,也能高速地读取信号。另外,凭借模拟、数字两个电路进行高精度降噪的双重降噪技术,也降低了噪点。

背照式CMOS图像传感器(2009年商品化)

采用索尼独创的背照式结构。感光度是传统前照式CMOS图像传感器的2倍,并且实现了低噪点。通过让光照射到硅电路板的背面,可避免配线、晶体管的影响,增加单位像素的进光量,同时,也能抑制光入射角度变化导致感光度下降的问题。在夜景等昏暗场所中,也能拍摄流畅、高画质的影像。

堆栈式CMOS图像传感器(2012年商品化)

采用堆栈结构,使用构建有信号处理电路的芯片替代传统的背照式CMOS图像传感器的基础电路板,并在其上方堆栈了构建有背照式像素的像素单元。这样,微小的芯片尺寸也能搭载大规模电路。另外,像素单元和电路单元分别是作为独立芯片构建的,因此,可以采用以像素单元实现高画质化,以电路单元实现高功能化的制造工艺,同时实现高画质化、高功能化和小型化。

采用Cu-Cu连接的堆栈式CMOS图像传感器(2015年商品化)

Cu-Cu连接是像素芯片与逻辑电路芯片通过在各堆栈面上构建的Cu端子直接连接的方式。这种连接方式无需穿透像素芯片,也不需要连接的专用区域,因此,可实现图像传感器的进一步小型化和生产效率的提升。这项技术将提升端子配置的自由度并实现高密度化,有助于今后堆栈式CMOS图像传感器的高功能化。

应用范围扩大到传感用途的技术

索尼也专注于图像传感器市场中用途有望进一步扩大的传感领域,除了过去研发的让拍摄的图像呈现更好效果的成像技术,还将获取并利用各种信息的传感技术加以融合,开拓图像传感器的新用途和新市场。

Sensing technology expanded by image quality, information, and higher speed

距离图像传感器 ~无限扩大3D空间识别的可能性

它是通过检测光源发出的光被对象物反射后到达传感器的光的飞行时间(时间差),测定到对象物距离的ToF(Time of Flight)式距离图像传感器。凭借索尼的背照式像素技术,实现了传统图像传感器1.5倍的高精度距离图像。从AR/VR、需要自主动作的机器人及无人机等,到手势识别、物体识别、障碍物检测等,其应用范围无限扩大。

  • CMOS图像传感器的图像
  • 背照式距离图像传感器
  • 距离图像和黑白图像合成后形成的3D Model图像

车用传感器 ~提升各种环境下的识别性能,让驾驶更安全、更安心

业界最大 *1的540万有效像素的CMOS图像传感器“IMX490”商品化,它能抑制LED闪烁(拍摄LED标识、信号灯等时发生的LED闪烁)并具有广域动态范围。另外,针对前方传感摄像头用途,业界最高分辨率*2、有效像素742万的堆栈式CMOS图像传感器“IMX324”也同样实现了商品化。它可用于高级驾驶辅助系统(ADAS),以摄像头监控系统(CMS)代替后视镜,有望被各种汽车所采用。

  • *1截至2018年12月18日宣传发布时。
  • *2截至2017年12月23日宣传发布时。

[MP4: 78MB]

图像传感器的图像

  1. 面向车载摄像头的业界最高分辨率

    远距离比较用样图

    IMX324 shooting example IMX324 (7.42 million pixels) enlarged image IMX224 (1.27 million pixels) enlarged image
  2. 实现2666mV高感光度(标准值F5.6,像素加法模式时)

    低照度时(0.1勒克斯的比较用样图)

    IMX324 (pixel addition mode) shooting example IMX224 shooting example

针对车载领域的研发工作:传感器融合

另外,作为面向未来的研发工作,索尼还在推进被称为传感器融合技术的开发。这项技术把相机图像和LiDAR数据、毫米波雷达的Raw数据融合,从而对车辆等进行识别。它是传感器制造商才能研发的将信号处理、降噪、数据优化结合的技术。这就是传感器融合技术的效果示例。即使在雾霭、逆光、雨夜等难以识别的环境中,只要有本集团公司的传感器融合技术,就能更快地做出正确的识别。

Explanatory drawing showing sensor fusion that recognizes vehicles, etc. by fusing camera images with LiDAR data and Raw data of millimeter wave radar
  • 将相机图像与LiDAR数据、毫米波雷达信息量较多的Raw数据融合
  • 在恶劣环境下也能高精度地检测出物体
  • 场景1:
    雾霭

    传统技术

    索尼的传感器融合

    检测到雾霭中看不到的前方车辆
  • 场景2:
    逆光

    传统技术

    索尼的传感器融合

    检测到逆光中看不到的前方车辆
  • 场景3:
    夜间+雨天

    传统技术

    索尼的传感器融合

    检测到因前灯、雨滴而看不到的车辆

针对车载领域的研发工作:固态LiDAR

应用了索尼半导体技术的Solid State LiDAR凭借高精度的测距技术,以3D形式正确把握立体空间,提升长距离的物体识别性能。

业界首款*使用SPAD像素的车载LiDAR用堆栈型距离传感器

它是业界首款使用SPAD(Single Photon Avalanche Diode)像素的堆栈型直接Time of Flight(dToF)式的车载LiDAR用距离传感器。将SPAD像素与测距处理电路以堆栈方式集约在一个芯片上、从而能够高精度、高速地以15cm的间隔测量最大300m的距离。
*作为车载LiDAR用堆栈型距离传感器。截至2021年2月18日宣传发布时。

什么是SPAD像素?

SPAD(Single Photon Avalanche Diode)是利用"雪崩倍增"原理,从一个入射光子(Photon)放大电子,达到雪崩效应的像素结构,微弱的光线也能检测到。

雪崩倍增的示意图

直接Time of Flight式(dToF)

它是一种测距方式,通过检测光源发出的光被对象物反射后达到传感器的光的飞行时间(时间差),测量到对象物的距离。
在dToF式的距离传感器中使用检测单光子的SPAD像素,就能实现长距离、高精度的距离测量。

dToF式的示意图

SPAD距离传感器的特点

索尼的SPAD距离传感器利用Cu-Cu连接,使采用背照型SPAD像素结构的像素芯片(上部)与搭载测距处理电路的逻辑芯片(下部)的各个像素实现导通。
凭借这一独特的像素结构,实现了小型化和高分辨率,能够高精度、高速地以15cm的间隔测量最大300m的距离*。
并且,能够更加可靠地在各种温度环境、天气状况等车载用途所需的严苛条件下完成检测和识别,而单芯片化则有助于削减LiDAR成本。

*在白天多云条件下,以6像素(H)×6像素(V)加法模式测量高1m、反射率10%的对象物时。

  • 结构图与特点
  • 点云

偏光传感器 ~让看不到的对象物显现出来

它是将传统偏光相机中作为独立零部件的偏光元件内置于背照式CMOS图像传感器中的全新CMOS图像传感器。将偏光元件配置在光电二极管上,构建为一个芯片,可实现体积小巧的偏光相机。这样就能拍摄因太阳光反射而看不清的被摄体,细腻呈现物体表面的凹凸,从而有望用于包括车载在内的各种各样的用途。

When taking a picture of a pond with a polarization image sensors, the waves are removed and the underwater koi-fish appear clear
  • 片剂填充检测

    图像传感器

    Image of tablet and aluminum sheet

    偏光传感器

    Image of tablet and aluminum sheet
  • 镜片变形检测

    图像传感器

    Image of glasses

    偏光传感器

    Image of glasses
  • 消除太阳光的反射

    图像传感器

    Image of a car

    偏光传感器

    Image of a car

世界首款搭载AI功能的智能视觉传感器

智能视觉传感器是世界首款搭载AI处理功能的图像传感器。它可进行高速边缘AI处理,仅抽取必要数据,从而缩短使用云端服务时数据传输的延迟时间,保护隐私,降低电力消耗和通信成本等。

※:作为图像传感器。索尼调查结果(截至2020年5月14日发布宣传时)

什么是边缘AI?

随着IoT的普及,通常所有设备都与云端相连,并在云端进行AI处理。另一方面,云端处理的信息量的增加也导致了一些课题,例如,数据传输延迟妨碍实时的信息处理,可特定到个人的数据保存在云端引发对安全的担忧,使用云端服务时的电力消耗和通信成本增加等。在这样的背景下,在终端进行AI处理的“边缘AI”的必要性不断增加。

边缘AI的方式

要进行边缘AI处理,需要边缘(终端)侧有AI处理功能,但具体方式根据AI处理在边缘侧的哪部分实现而不同。在相机的系统构成中,可采用在图像传感器以外再另外搭载AI处理用处理器的方式,而智能视觉传感器是在图像传感器中搭载AI处理功能,这样就能在传感器内进行AI处理。

世界首款搭载AI处理功能的图像传感器

采用像素芯片与逻辑芯片重叠的堆栈结构,并为逻辑芯片增加了一般图像传感器的信号处理电路,此外,还搭载针对AI进行信号处理的索尼独创的DSP(Digital Signal Processor)和可写入AI模型的存储器。由此,无需高性能处理器和外部存储器,就能实现边缘AI系统。

可输出元数据

不输出图像信息而输出元数据(属于成像数据的语义信息),可削减处理的数据量。不输出图像信息,可降低安全风险,保护隐私。另外,除了一般图像传感器拍摄的图像,还能选择ISP(Image Signal Processor)输出格式的图像(YUV/RGB)和仅裁剪出特定区域的ROI(Region of Interest)图像等,可根据用户需求和用途,选择输出数据的格式。

可选择需要的输出数据格式

※AI功能具有使用统计性或概率性方法的特性,其结果,可能出现赋予误识别的元数据等情况。

实现高速的AI处理

用一般的图像传感器拍摄视频时,需要将输出的每一帧图像都与AI处理关联起来,因此,发送的数据庞大,难以确保实时性。而智能视觉传感器的逻辑芯片,可进行ISP处理以及高速AI处理(MobileNetV1为3.1毫秒的处理时间),从而在一帧视频内完成所有处理。由此,可在拍摄视频时,实时、高精度地追踪对象物。

※MobileNetV1:用于移动设备的用以识别物体的图像解析用AI模型的名称

用于收银台实时追踪商品和作业的用例

可选择AI模型

用户可将任意AI模型写入存储器,并根据使用环境和条件进行改写和升级。例如,在店内设置了数台使用本产品的摄像头时,只需一款摄像头,即可根据设置位置、状况、时间等,满足不同目的和用途的需求。设置在入口可统计到店顾客人数,设置在货架上可检测商品是否缺货,设在天花板上可检测到店顾客的热图(检测人群聚集的场所)等,满足多种用途的需求。另外,也可以将过去用于检测热图的AI模型改写为了解消费者行动的AI模型。

店内摄像头的应用案例

Worker Monitoring演示视频
※与各种传感器组合实现

to PageTop