ENG

新闻通知

【博创基金微展示】第11期 董雪:基于DMD的分辨率可调小型光谱成像系统研制及应用研究
2022-07-11 09:17 董雪  审核人:   (点击: )


标    题:基于DMD的分辨率可调小型光谱成像系统研制及应用研究

英文标题:Miniaturized DMD-based spectral imaging system with tunable resolution

   者:董雪

指导教师:虞益挺

培养院系:机电学院

   科:微机电系统及纳米技术

读博寄语:每一个不曾起舞的日子,都是对生命的辜负



主要研究内容

人类一直致力于探索微观世界,挖掘生命医学、材料科学等领域隐藏的奥秘,而强有力的探测技术才是打开未知世界大门的基础与工具,其中光学显微成像技术与光谱检测技术作为科学检测技术中杰出的代表,广受整个科研领域的重视。光学显微成像技术仅能获取观测目标单通道或RGB三通道的空间信息,这些信息是贫乏的,无法通过外观变化区分物质的异同;虽然光谱检测技术可通过采集物质对光的吸收、反射和散射等光谱信息分析出其成分组成和化学特性,但这种单点的局域测量方法具有片面性,无法描述整个观测目标在二维空间上的变化。因此,单一的光学显微成像技术和光谱检测技术已经无法满足当代精准探索微观世界的要求,为了同时表征空间特征和生化特性,亟需开发一项全新的微观探测技术。

光谱显微成像技术综合了两门重要的学科:成像学和光谱学,可以提供观测目标的二维空间特征信息和与生化特征相对应的一维光谱信息,具有“图谱合一”、非接触和无损伤等特点,可实现定位、定性甚至定量的分析功能。光谱显微成像技术的发展与多学科的交叉碰撞将为微观世界的探索打开新的局面,有望为医疗诊断、新药研发、以及纳米复合材料、生物材料和光电器件的化学和结构分析带来革命性影响与突破。目前,光谱显微成像硬件系统的研发是当前科学研究的国际性前沿课题,如何提高系统的空间分辨率、光谱分辨率、时间分辨率等探测性能,实现多种生物、材料样品的高效和无损伤探测,一直是国内外的研究热点和科研角逐点。

本研究针对现有光谱显微成像系统的研发过度受制于传统显微镜平台、空间分辨率和光谱分辨率难以调节等问题,从硬件底层进行创新,结合新兴的微机电系统技术,开发出全新的基于数字微镜器件(Digital Micromirorr Device, DMD)的光谱成像方法及系统,填补我国光谱显微成像系统自主研发的空白。具体研究内容如下:

1. 基于DMD的光谱成像关键方法研究

基于线扫式光谱成像原理,提出一种基于DMD片上扫描的光谱成像方法,代替传统的机械扫描方法,从而实现系统的紧凑与小型轻量化。通过控制DMD微镜的按列偏转,将每列样品像从左到右依次反射到后续分光子系统中进行分光处理,把每次偏转的所有列微镜看成是一个扫描单元,当所有扫描单元全部扫描结束后,探测器也同步记录了每列样品像的色散光谱图,即完成了整个三维数据立方体的采集。通过改变微镜的扫描列数,可实现分辨率灵活可调。同时,将获取的色散光谱图按具体要求划分成若干个光谱通道,再利用光谱标定确定每个光谱通道在探测器上的空间位置,从每幅色散光谱图中提取感兴趣的光谱通道并进行拼接处理便可重构出任意光谱通道的光谱图像。

1 基于DMD片上扫描的光谱成像方法

2. 基于DMD的光谱成像系统的硬件实现

为满足系统小型轻量化以及便携式要求,并兼顾成像质量,在对光路架构进行仿真优化时,要将像差最小、光路总长最小和光学元件数目最少设置为优化目标,并通过调整优化目标的权重进行多次优化,直至满足指标要求。根据仿真结果,确定所有光学元器件的选型、位置和角度等,并进行相关夹具的设计与加工。此外,为实现样品反射、透射与荧光三种模式的成像,又开发出了系统的三种功能模块,并在硬件系统设计时预留出即插即用式接口,方便不同成像模式的快速切换。最终对所有元器件进行装配与调试,完成系统样机的试制。

2 基于DMD的光谱成像系统三维图与成像模式示意图

3. 基于DMD的光谱成像系统的性能测试

以分辨率板作为成像目标,以532nm激光器作为光源,采取透射成像模式,对系统的空间分辨率进行测试。根据获得的光谱图像可以得出水平方向(X方向)分辨率与竖直方向(Y方向)的空间分辨率分别为2.76 µm和3.1 µm。

3 空间分辨率测量方案与结果

进一步地,为验证系统对于光谱分析的准确性,以手机屏幕作为测试目标,使用商用海洋光谱仪和基于DMD的光谱成像系统测试手机屏幕分别呈现出红色、绿色和蓝色时的光谱。由于商用海洋光谱仪只具备测量光谱的能力,因此只能获取光谱曲线。而基于DMD的光谱成像系统不仅可以分析光谱特性,还具备成像能力,可获得LCD手机屏幕中的像素实际排布。测量结果表明商用海洋光谱仪和基于DMD的光谱成像系统测得的光谱曲线具有很好的一致性,验证了基于DMD的光谱成像系统对于光谱测量的准确性。

4 LCD手机屏幕光谱图像与光谱曲线

4. 基于DMD的光谱成像系统应用初探

为验证系统样机在整个可见光工作波段内的光谱成像能力,以五种颜色和尺寸规格的彩色微球作为测试目标,采用反射式成像模式,并结合k均值聚类算法,最终可成功定位五种类型的彩色微球。

5 彩色微球分类结果

为进一步验证系统的荧光成像功能,利用红色荧光染料对海拉细胞的蛋白质进行染色,以中心波长为532nm的窄带激光器作为光源,并搭配532nm陷波滤波片,分别使用基于DMD的光谱成像系统的透射成像模式和荧光式成像模式,可获取细胞的明场图像、光谱图像以及融合图像。

6 HeLa细胞透射与荧光成像



主要创新点

1.提出一种全新的光谱成像方法,利用DMD的片上扫描取代传统显微镜位移平台的机械式运动,实现系统的紧凑与小型轻量化;

2.提出一种通过改变DMD扫描带宽实现系统空间分辨率与光谱分辨率可调的方法,解决现有光谱显微成像系统反复对焦的空间分辨率可调方式,以及光谱分辨率单一的问题,提高系统检测的灵活性;

3.开发出DMD粗扫、细扫、局部扫和并行扫的多样化片上扫描模式,提高系统检测效率,降低光谱数据存储量与计算量等。



代表性创新成果

一、论文

1. X. Dong, G. Tong, X. K. Song, X. C. Xiao, and Y. T. Yu*. DMD-based hyperspectral microscopy with flexible multiline parallel scanning. Microsyst. Nanoeng., 2021, 7: 68. (IF: 8.006, 1区Top期刊)

2. X. Dong, X. Xiao, Y. Pan, G. Wang, and Y. T. Yu*. DMD-based hyperspectral imaging system with tunable spatial and spectral resolution. Opt. Express, 2019, 27(12): 16995–17006. (IF: 3.833, 2区Top期刊)

3. X. C. Xiao, X. Dong, and Y. T. Yu*. MEMS-based linear micromirror array with a high filling factor for spatial light modulation. Opt. Express, 2021, 29(21): 33785-33794. (IF: 3.833, 2区Top期刊)

4. X. Dong, G. Tong, Y. C. Shi, X. C. Xiao, Q. Zhang, X. Sun, and Y. T. Yu*. Non-paraxial diffraction analysis for developing DMD-based optical systems. Opt. Lett., 2022, major revisions.

二、专利

1. 虞益挺, 董雪, 肖星辰,王光耀, 潘一宁, 基于数字微镜器件的双波段光谱成像系统及实现方法, 发明专利, 授权号: ZL201910328550.9, 授权日期: 2021年12月10日.

2. 虞益挺, 董雪, 仝赓, 基于DMD的光谱成像目标检测方法及系统, 发明专利, 授权号: ZL202011031304.6, 授权日期: 2022年4月19日.

3. 虞益挺, 董雪, 一种基于DMD的光谱成像系统及方法, 发明专利, 公开号: CN112484857A, 申请日期: 2020年11月4日.

4. 虞益挺, 董雪, 仝赓, 肖星辰,宋旋坤, 一种基于DMD的光谱成像目标获取系统及方法, 发明专利, 公开号: CN112179289A, 申请日期: 2020年9月16日.

5. 虞益挺, 董雪, 苏扬,一种基于DMD和线型微镜阵列的光谱成像系统及方法, 发明专利, 公开号: CN114112039A, 申请日期: 2021年10月27日.

6. 虞益挺, 苏扬, 董雪, 石颖超, 一种基于MEMS的光谱成像系统及方法, 发明专利, 公开号: CN114485935A, 申请日期: 2021年12月25日.

7. 虞益挺, 苏扬, 董雪, 石颖超, 一种基于MEMS光栅反射镜的光谱成像系统及方法, 发明专利, 公开号: CN114485935A, 申请日期: 2021年12月31日.

8. 虞益挺, 肖星辰, 董雪,一种二维微机械双向扭转镜阵列及其制作方法, 发明专利, 公开号: CN114408854A, 申请日期: 2021年12月16日.

9. Yiting Yu, Xue Dong, Guangyao Wang, and Yining Pan. 2020 Dual-band spectral imaging system based on digital micromirror device and implementation method thereof,美国发明专利, 申请号: US16/851356. 申请日期: 2020年4月17日.




关闭窗口