北京时间2023年11月14日，香港理工大学柴扬团队和华中科技大学何毓辉团队在nature electronics上发表了题为“computational event-driven vision sensors for in-sensor spiking neural networks”的研究论文。
动态运动会产生大量的冗余数据，针对动态运动的视频处理需要消耗大量的算力，神经形态事件驱动图像传感器仅捕捉场景中的动态运动，然后将其传输到计算单元进行运动识别。然而，这种传感器与计算器分离的架构会导致时间延迟并增大能耗。
作者在之前提出的in-sensor computing架构的基础上，设计了基于计算型事件驱动视觉传感器的脉冲神经网络，它们可以捕捉并直接将动态运动转化为可编程、稀疏和信息丰富的脉冲信号。这些传感器可以用于构建运动识别的脉冲神经网络，在感知过程中减少了冗余数据，同时消除了传感器与计算单元之间的数据传输需求。
论文通讯作者是柴扬、何毓辉；第一作者是周越。
柴扬教授课题组针对传感器端的信息处理，提出了in-sensor computing架构（nature, 2020,579, 32-33; nature electronics, 2020, 3, 664-671），并且展示了静态图像的衬度增加（nature nanotechnology, 2019, 14, 776-782），在极暗和极强背景光下的视觉适应（nature electronics, 2022, 5, 84-91; nature, 2022, 602, 364），以及对动态运动的特征提取等 （nature nanotechnology, 2023, 18, 882-888）。
目前市场上已经存在的动态视觉传感器需要复杂的像素电路来检测光强的变化，然后转化为数字信号，产生一系列包含像素地址、光强变化极性、时间信息的数字事件。这些模拟信号处理使得其时间分辨率在几十微秒量级。经过处理后的数字信号仍然需要被频繁地传输到后端的脉冲神经网络中，进一步把时间分辨率限制在毫秒量级。本文的感算融合方案，直接在传感器内执行计算，其动作识别的延迟仅局限于器件的响应时间，因此具有微秒级别的超高分辨率，可以实现快速动态识别。限制于目前的测试设备，只能测试微秒级别的时间分辨率，但是该器件的理论响应速度可以达到纳秒级别。
作者设计出一种基于事件驱动的像素单元，可以在光强变化时产生可编程的脉冲信号。通过调节光电探测器的光响应度，可以有效调节像素单元产生的脉冲信号的极性与幅度，从而模拟不同的突触权重。第一作者周越设计了非易失的光电二极管器件，其光照强度和光电流的线性关系使其更适合用来实现感算融合，而且其光伏效应使得光响应速度相比较光电晶体管大幅度提升。通过采用浮栅层的设计，电荷可以被长时程的储存在浮栅层，因此即使在没有外部电压偏置的情况下也可以实现不同的光响应度，可以有效的减少能耗，并且可以应用到更大的神经网络而不用担心走线施加外部偏压的问题。周越与课题组成员进行了电路级别的光电测试，华中科技大学何毓辉教授课题组的付嘉炜同学进行了网络级别的动作识别仿真，利用自制动作数据集验证了该方案实现大规模感算融合的潜力。（来源：科学网）
相关论文信息：
