液滴数字PCR芯片结果自动化读出平台的研究
刘松生++袁浩均++刘强++周洪波++毛红菊++任伟
摘 要: 液滴数字聚合酶链式反应(ddPCR)作为第三代PCR技术,可实现核酸分子绝对定量。然而,在数字PCR结果读出过程中,对1 000万量级的液滴进行统计费时费力而且容易出错。针对此情况设计了液滴数字PCR芯片的自动扫描识别平台,系统包括硬件移动平台和软件拍照、拼接和识别功能。软件控制平移台顺序移动并控制摄像头拍照,移动完成后把拍得的照片拼接成一张图片,之后对图片中的液滴进行识别。此平台通过二维平移台的精确定位扫描及图像分割、识别算法,对荧光和非荧光液滴识别率达到99.6%以上。平台已经应用到了实验室中,对数字PCR芯片上的微液滴可实现一键识别,极大的减小了识别时间和错误率。
关键词: ddPCR; 核酸分子定量; 自动扫描; 液滴识别
中图分类号: TN911?34 文献标识码: A 文章编号: 1004?373X(2017)18?0001?06
Research on automatic result readout platform of droplet digital PCR chip
LIU Songsheng1, 2, YUAN Haojun2, LIU Qiang1, 2, ZHOU Hongbo2, MAO Hongju2, REN Wei1
(1. International Center of Quantum and Molecular Structures, Shanghai University, Shanghai 201900, China;
2. Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences, Shanghai 200050, China)
Abstract: As the third generation PCR technique, the droplet digital PCR (ddPCR) can realize the absolute quantification for nucleic acid molecule, but in the process of PCR result readout, the statistics of ten?million magnitude droplets wastes time and manpower, and is easy to result in errors. Therefore, an automatic scanning and recognition platform of ddPCR chip was designed. The system includes the hardware mobile platform, and has the functions of software photographing, image splicing and droplet recognition. The sequential movement of the platform and photographing of camera are controlled by the software, and then the photographed pictures are spliced into a photograph to recognize droplets in it. The recognition rate of the platform for fluorescent and non?fluorescent droplets can reach up to above 99.6% by means of the accurate positioning and scanning, image segmentation and recognition algorithms of the 2D translation platform. This platform has been applied to the laboratory, can recognize the microdroplets produced by digital PCR chip with one key, shorten the recognition time and reduce the recognition error rate greatly.
Keywords: ddPCR; nucleic acid molecule quantification; automatic scanning; droplets recognition
0 引 言
數字PCR是一种高灵敏度的核酸定量检测方法,它将起始待测模板分散到大量的液滴反应器中,每个反应器包含至少一个或多个拷贝的目标DNA模板,模板在微滴反应器中进行PCR扩增反应后,对阴性阳性(分别在明场和荧光下观测)反应器的数量进行统计并算出它们相应的比例,含有目标DNA分子的微滴反应器数量满足泊松分布。根据泊松分布公式即可算出目标DNA分子的初始拷贝数[1]。因此它是一种可以实现绝对定量的方法。液滴式数字PCR(Droplet digital PCR, ddPCR)是利用微流控芯片产生液滴并以液滴作为数字PCR的微反应器的一种高效的数字PCR平台方法[2]。每一个ddPCR芯片可产生上百万个液滴,在实际对这些微单元的统计过程中,液滴的大小不一、液滴间有重叠、有的液滴没有正确聚焦以及背景光等的影响,使得统计液滴也成为一个挑战。对于明场下,一般的方法是估算液滴产生的速度,然后再乘以液滴产生时间算出液滴的总数,这种方法的问题是液滴产生过程中速度不是恒定不变的,而且时间也不能很精确的把握;还有的方法是添加额外的检测装置,如在液滴产生通道旁添加电极检测电容值得变化间接知道液滴数目[3],利用昂贵的高速CCD摄像头对液滴进行计数[4?5]等,这些方法都极大地增加了成本。而在荧光下,目前还没有一种快速、准确、可行的方法。一般的方法是在显微镜下人工进行计数液滴的亮点个数,这种方法不仅费时费力而且很容易数错。本文针对现有的ddPCR上述问题,设计了ddPCR芯片结果自动读出平台。平台能对ddPCR结果芯片进行自动扫描拍照,并在扫描完成后对已扫描的芯片照片进行拼接,然后分别对明场和荧光照片进行液滴识别计数,极大地节省了时间。
1 ddPCR自动分析统计平台设计与实现
采用二维显微镜平移台移动系统、图像采集系统和计算机软件相结合的方法,对芯片进行扫描、拼接和识别。平台主要包括5部分:二维平移台、平移台驱动控制、平移台手动控制摇杆、图像采集和计算机软件,平台结构示意图如图1所示。
通过计算机控制二维平移台的移动,经过显微镜放大后的图像经图像采集设备采集到计算机上,然后由计算机对图像进行后续的图像分析。为了不开启软件也能使用显微镜,增加了平移台手动控制摇杆对平移台进行控制。
1.1 硬件平台
平移台采用海德星科技(厦门)有限公司生产的HDS?MS?XY8060PO?I,移动精度可达±1.5 μm。驱动控制设备采用美国GALIL Motion Control Inc.生产的DMC2143控制器控制。它提供了功能强大的2字符命令集及终端编程调试工具软件包,用户可以非常方便地进行应用编程。图像采集用的CCD采用的是明美公司生产的MD30摄像头。手动摇杆采用STM32单片机通过串口对平移台进行控制,可以在不开启计算机的时候控制平移台的移动。
1.2 计算机软件
软件的界面如图2所示。
软件的主要功能有:平移台控制功能,包括控制运动速度、单步步长、实时显示位置、自动移动到芯片不同位置等;对摄像头控制功能,图中视频显示控制和相机参数区域,包括控制曝光时间、亮度、对比度、白平衡和拍照等,显示标尺、显示用于芯片对准的十字架;自动扫描功能,通过设置对整个芯片自动扫描拍照,并在扫描后实现对扫描图像的自动拼接,使其成为一张完整芯片的液滴图像;液滴识别功能,通过对芯片图像自动识别,计数并对每个液滴参数的测量。
2 图像处理算法原理
2.1 拼接原理
由于平移台的精确定位精度比较高,经试验使用直接拼接(即两幅图像之间没有重叠的部分进行边与边直接连接)的效果比较理想。而对于光源的影响,经过在自动扫描过程中保持曝光时间不变和后面的图像处理这两个过程能基本消除光源的影响。使用20倍显微镜拼接的3行5列图如图3所示。
2.2 图像识别算法原理
液滴的识别的一个难点在于把液滴从背景和其他杂质中分离出来,因为芯片的背景颜色和液滴的内部反差小,而且芯片图像中还有PDMS柱子、气泡。并且算法还要适应不同大小的液滴、显微镜下不同放大倍数下的液滴以及有可能没有聚焦上的液滴。图像处理过程包括滤波、图像增强、图像形态学操作等,图4为本文中图像处理的具体过程及油包水液滴图像。
2.2.1 图像的前期处理
将所拍的液滴图像转化为灰度图像。由于显微镜点光源的影响,所以拍出来的照片边缘的图像会比较暗,使用直方图均衡化可消除光源分布不均的影响[6],图像的效果如图5(a)所示。
由于图像采集CCD自身会随开机时间增加而温度上升、显微镜光源及芯片不能完全水平等影响导致的图像噪声,这里使用高斯滤波的方式减少噪声的影响,同时也为后面的图像增强做必要的准备[7],如图5(b)所示。液滴内部和背景反差小,所以要识别液滴靠的就是液滴的边缘,因此图像边缘增强就是一个重要的步骤。这里的增强原理如下:
[边缘增强=源图像+边缘图像] (1)
这里的边缘图像使用拉普拉斯掩膜锐化,它属于二阶导数边缘算子。对于数字图像,离散函数[f(x,y)]的拉普拉斯算子可表示为:
[?2fx,y=fx+1,y+fx-1,y+fx,y+1+fx,y-1-4f(x,y)] (2)
所以可用掩膜进行锐化。但是拉普拉斯算子对噪声很敏感,因此前面的滤波是很必要的。同时为了消除图像边缘不完整液滴和光线的影响,适应后面的自适应二值化,在此把图像向外镜像扩展20像素值,其效果如图5(c)所示。
2.2.2 液滴分割
经过前期的图像处理,图像的照明不均匀、噪声等得到了很大的改善。之后使用自适应阈值分割,对图像进行二值化分割的同时能进一步消除照明不均、突发噪声等的影响。本文采用局部邻域块的均值,由于光源分布范围比较不均匀,经实验这里取邻域41×41的窗口即取当前像素点的1 680邻域像素的平均值作为当前像素点的阈值T:
[T=i=11680Pi1 680] (3)
式中,[Pi]是当前像素点的1 680邻域像素。
之后图像再变回边缘扩展前的大小。经过这一步能很好地分离出背景与液滴(见图6(a)),接下来使用距离变换和分水岭算法把液滴间、液滴与背景间、液滴与杂质间的粘连分离开来[8]。
当然,在进行距离变换前需要对二值图像进行一些形态学操作(见图6(b)),以避免分水岭时出现过渡分割。分水岭操作时采用局部极小值分水岭:对距离变换所得的灰度图(见图6(c))片采局部极大值的方式把液滴、背景、杂质等分别分离出来,把这个图像矩阵作为分水岭的标记矩阵与液滴源图像的灰度图像进行分水岭算法,之后对产生的分水岭图片边界标记为分水岭脊线,用脊线取反在与二值图像相与,即可分离出液滴(见图6(d))。由于标记多时分水岭算法耗时会比较久,所以这里提出一种减少标记的算法:即只对粘连的液滴就行分割。在进行灰度变换之前,把二值图像中大于正常液滴面积的快提取出来,然后对这些比较大的面积进行距离变换和分水岭算法分离出液滴,然后再和提取留下的图像合并。
从图中可以看出,一些使用形态学无法分离的粘连,使用距离变换与分水岭结合可以很好的把它们分离出来(图中灰色标识)。
2.2.3 后期处理及识别
图像形态学处理是图像处理很常见的处理方式,二值图像形态学预算是图像形态学的基础,其基本运算有腐蚀、膨胀、开运算、闭运算、骨架抽取等。在液滴分割过程中,为了还原液滴原来的图像大小需要把分離出来的二值液滴图像进行缩放。一般的操作是进行腐蚀和膨胀运算,但是腐蚀和膨胀会把图像结构去除或把邻近结构合并。图像细化是一种骨架抽取的办法,它能在细化后保证结构的连通性,并且保持物体的基本形状[9]。为了保证膨胀后不粘连,采用细化的原理对图像进行粗化操作。因为图像细化会保证连通性,所以我们将图像求反,执行细化,将结果在求反即可实现粗化操作,其效果见图7(a)。
为了删除液滴外的物体,需要把二值图像中面积过大和过小的杂质去除。本文使用的方法是寻找二值图像的轮廓[10],然后对轮廓里的面积与液滴大小的面积进行比较,删除过大和过小的物体见图7(b)。
到此已经基本完成了图像的分割。实验中为了保证速度,使用对图像中每一个轮廓实行最小外接圆操作,然后对得到轮廓的外包络圆进行判断,同时满足以下三个条件即为液滴:圆的半径大小在液滴半径大小范围内;物体的白点有大于6个点在圆上;由于形态学处理中会把一些点去除,所以包络圆里白点的个数大于[611]圆的面积。最终得到的识别图如图7(c)所示,并在列表中统计出每个液滴的圆心、半径和内部像素平均灰度值。从识别效果可以看出,去除边缘显示不全的液滴,此算法可以识别出绝大部分的液滴。经统计识别出了386个液滴,只有一个液滴由于严重离焦和杂质影响而没有被识别出来(图中红色圆圈),识别率达到了99.74%,这其中也包括了7个没有正确对焦的液滴。
2.2.4 后期统计
由于背景、杂质及物体焦点等的影响,有时液滴的二值图像会粘连了背景,导致不能满足第2.2.3节中液滴识别的三个条件;同时,液滴背景、同液滴同样大小的气泡等原因,有可能不是液滴的物体被识别为液滴。因此后期统计中本文中加入了手动点击图片添加没有识别到的液滴和去除错误识别出的液滴。其原理是根据区域生长算法的原理[11],根据所点击的位置对二值图像进行区域生长,然后用最小外接圆包络生长出的区域。将没有识别到的液滴直接添加到已识别出的液滴序列中;去除错误识别的液滴时依次查找已有识别出的液滴序列的圆心是否与此外接圆的圆心相同,相同时去除此圆。经过后期的检查识别率基本上能达到100%。进行统计时,统计液滴半径、像素平均灰度的最大值、最小值、均值、标准差等。为了能在荧光下区分出发荧光和不发荧光的液滴,使用K?means聚类算法根据液滴像素平均灰度值经行分类。其原理为:对一直液滴像素平均灰度集[x1,x2,…,xn],其中每个观测都是一个1维实矢量,k?平均聚类要把这n个观测划分大2个集合中(亮和暗),使得组内平方和最小,即找到满足下式的聚类Si:
[mini=02x∈six-μi2] (4)
式中[μi]是[si]中所有点的均值。
同时为了防止有些错误分类,在列表框中设置排序功能,可人工检查分类结果。表1为图4(b)的识别统计结果。
表1 识别统计结果
从表1可以看出,液滴半径标准差只有1.009,考虑到分割和个别液滴不清晰的影响,这个差别是很小的,说明液滴大小很均匀;从实验图直观上也可以看出,聚类的亮点数和暗点数也基本符合。同时为了验证此方法对荧光下识别液滴同样有效,对荧光下的液滴做了同样的识别和统计,如图8和表2所示。
从统计结果可以看出识别出了348个液滴,其中发荧光的有10个,这与人工验证完全吻合。对剔除了大的杂质后液滴半径标准差只有1.187说明比较均一,但从最大值也可以看出有个别液滴偏离均值比较大,说明液滴形成还是不太稳定。
3 ddPCR实验
3.1 实验芯片制备
本实验利用经典的T?通道方法产生液滴。液滴数字PCR的制备过程与微流控芯片一样,经光刻、曝光、显影将掩模板的图形转移到基片上,然后浇注聚二甲基硅氧烷(PDMS),最后将基片和盖片键合在一起,完成芯片的制作[12]。用于制备液滴的油相和水相在流体控制模块驱动下从进样口进入芯片微通道,并在流体表面张力和剪切力的共同作用下高速生成纳升级油包水液滴[13]。液滴存储区可以对液滴间的排列距离和堆积密度进行适当的调整,有利于在液滴PCR反应之后将独立的液滴分离出来,提高检测精度。芯片制作见图9。
3.2 芯片识别实验
制得ddPCR芯片之后即可进行液滴产生试验。这里采用负压系统进行进样。之后就可以在平台上进行液滴识别试验了。分别在明场和荧光下进行自动扫描液滴,之后进行拼接,然后识别统计。图10是软件分析的结果,其统计结果如表3所示。
识别过程中已经把太小的液滴和杂质排除掉了,从统计结果可以看到明场下的标准差仍然达到了2.013,说明液滴生成过程中还有一些不稳定的因素导致大小不一。经过人工检测,识别出的803个液滴中,只有一个是错误的,识别正确率为99.88%;当然在荧光下,由于光源的原因、加之液滴大小本来就不十分均匀,导致液滴半径偏差较大比较正常。其实荧光下秩序要知道荧光液滴的个数即可,同种识别出76个荧光液滴,经人工识别也是76个,识别正确率为100%。分别在不同放大倍数的液滴、不同大小的液滴、不同液滴图片大小的情况下进行实验。因此只统计识别率,即统计正确分割出液滴的比例。识别统计如图11所示,图中的直线表示理想情况真实值与检测值相等的情况。液滴在明场下的平均识别率达到了99.69%,这其中0.31%不能识别的液滴一般是不能正确对焦或被杂质干扰较大的液滴。
同样在荧光下,发荧光的液滴识出率达到了100%,因此只统计分类正确率,如图12所示,图中直线表示理想情况软件聚类与人工分类相等的情况。由于CCD曝光时间差异、显微镜光线、人工甄别的主观因素等的影响,导致在荧光下非荧光液滴较少时分类的结果与人工甄别结果相差较大,平均分类正确率达到90.5%,荧光个数较多时差异较大主要是液滴图片曝光时间较大的原因。
图12 人工分类与软件聚类统计
4 结 语
本平台实现自动定位扫描拍照并拼接成一个大的芯片图片。同时为了提高识别率和修正錯误识别,程序中有人工点击图片增加未识别的液滴或删除所识别的液滴,明场识别率可达到99.69%且正确率可以达到100%,荧光下荧光液滴识别率约为100%且分类正确率可以达到87%以上。这可以极大的方便液滴数字PCR的实验,降低了液滴数字PCR的出错率,实现绝对定量。此平台也可以扩展用于其他芯片的自动扫描拼接,用于其他如细胞、量子点等的扫描识别。
参考文献
[1] HINDSON B J, NESS K D, MASQUELIER D A, et al. High?throughput droplet digital PCR system for absolute quantitation of DNA copy number [J]. Analytical chemistry, 2011, 83(22): 8604?8610.
[2] MAZUTIS L, ARAGHI A F, MILLER O J, et al. Droplet?based microfluidic systems for high?throughput single DNA molecule isothermal amplification and analysis [J]. Analytical chemistry, 2009, 81(12): 4813?4821.
[3] ERNST A, STREULE W, SCHMITT N, et al. A capacitive sensor for non?contact nanoliter droplet detection [J]. Sensors and actuators A: physical, 2009, 153(1): 57?63.
[4] VLADISAVLJEVI? G T, SHAHMOHAMADI H, DAS D B, et al. Glass capillary microfluidics for production of monodispersed poly (dl?lactic acid) and polycaprolactone microparticles: experiments and numerical simulations [J]. Journal of colloid and interface science, 2014, 418(10): 163?170.
[5] BARET J C, MILLER O J, TALY V, et al. Fluorescence?activated droplet sorting (FADS): efficient microfluidic cell sorting based on enzymatic activity [J]. Lab on a chip, 2009, 9(13): 1850?1858.
[6] Wikipedia. Histogram equalization [EB/OL]. [2016?07?12]. https://en.wikipedia.org/w/index.php?title=Histogram_equalization&oldid=724935223.
[7] LOPEZ?MOLINA C, DE BAETS B, BUSTINCE H, et al. Multiscale edge detection based on Gaussian smoothing and edge tracking [J]. Knowledge?based systems, 2013, 44: 101?111.
[8] PANG Quan, YANG Cuirong, FAN Yingle, et al. Overlapped cell image segmentation based on distance transform [C]// Proceedings of 2006 the 6th World Congress on Intelligent Control and Automation. [S.l.]: IEEE, 2006: 9858?9861.
[9] LAM L, LEE S W, SUEN C Y. Thinning methodologies: a comprehensive survey [J]. IEEE transactions on pattern analysis and machine intelligence, 1992, 14(9): 869?885.
[10] SUZUKI S, BE K. Topological structural analysis of digitized binary images by border following [J]. Computer vision, graphics, and image processing, 1985, 30(1): 32?46.
[11] ADAMS R, BISCHOF L. Seeded region growing [J]. IEEE transactions on pattern analysis and machine intelligence, 1994, 16(6): 641?647.
[12]金庆辉,庄贵生,刘菁,等.微流控分析芯片在线尿中蛋白及LDH同工酶检测[J].光学精密工程,2005,13(2):151?157.
[13] SEEMANN R, BRINKMANN M, PFOHL T, et al. Droplet based microfluidics [J]. Reports on progress in physics, 2012, 75(1): 1?11.
摘 要: 液滴数字聚合酶链式反应(ddPCR)作为第三代PCR技术,可实现核酸分子绝对定量。然而,在数字PCR结果读出过程中,对1 000万量级的液滴进行统计费时费力而且容易出错。针对此情况设计了液滴数字PCR芯片的自动扫描识别平台,系统包括硬件移动平台和软件拍照、拼接和识别功能。软件控制平移台顺序移动并控制摄像头拍照,移动完成后把拍得的照片拼接成一张图片,之后对图片中的液滴进行识别。此平台通过二维平移台的精确定位扫描及图像分割、识别算法,对荧光和非荧光液滴识别率达到99.6%以上。平台已经应用到了实验室中,对数字PCR芯片上的微液滴可实现一键识别,极大的减小了识别时间和错误率。
关键词: ddPCR; 核酸分子定量; 自动扫描; 液滴识别
中图分类号: TN911?34 文献标识码: A 文章编号: 1004?373X(2017)18?0001?06
Research on automatic result readout platform of droplet digital PCR chip
LIU Songsheng1, 2, YUAN Haojun2, LIU Qiang1, 2, ZHOU Hongbo2, MAO Hongju2, REN Wei1
(1. International Center of Quantum and Molecular Structures, Shanghai University, Shanghai 201900, China;
2. Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences, Shanghai 200050, China)
Abstract: As the third generation PCR technique, the droplet digital PCR (ddPCR) can realize the absolute quantification for nucleic acid molecule, but in the process of PCR result readout, the statistics of ten?million magnitude droplets wastes time and manpower, and is easy to result in errors. Therefore, an automatic scanning and recognition platform of ddPCR chip was designed. The system includes the hardware mobile platform, and has the functions of software photographing, image splicing and droplet recognition. The sequential movement of the platform and photographing of camera are controlled by the software, and then the photographed pictures are spliced into a photograph to recognize droplets in it. The recognition rate of the platform for fluorescent and non?fluorescent droplets can reach up to above 99.6% by means of the accurate positioning and scanning, image segmentation and recognition algorithms of the 2D translation platform. This platform has been applied to the laboratory, can recognize the microdroplets produced by digital PCR chip with one key, shorten the recognition time and reduce the recognition error rate greatly.
Keywords: ddPCR; nucleic acid molecule quantification; automatic scanning; droplets recognition
0 引 言
數字PCR是一种高灵敏度的核酸定量检测方法,它将起始待测模板分散到大量的液滴反应器中,每个反应器包含至少一个或多个拷贝的目标DNA模板,模板在微滴反应器中进行PCR扩增反应后,对阴性阳性(分别在明场和荧光下观测)反应器的数量进行统计并算出它们相应的比例,含有目标DNA分子的微滴反应器数量满足泊松分布。根据泊松分布公式即可算出目标DNA分子的初始拷贝数[1]。因此它是一种可以实现绝对定量的方法。液滴式数字PCR(Droplet digital PCR, ddPCR)是利用微流控芯片产生液滴并以液滴作为数字PCR的微反应器的一种高效的数字PCR平台方法[2]。每一个ddPCR芯片可产生上百万个液滴,在实际对这些微单元的统计过程中,液滴的大小不一、液滴间有重叠、有的液滴没有正确聚焦以及背景光等的影响,使得统计液滴也成为一个挑战。对于明场下,一般的方法是估算液滴产生的速度,然后再乘以液滴产生时间算出液滴的总数,这种方法的问题是液滴产生过程中速度不是恒定不变的,而且时间也不能很精确的把握;还有的方法是添加额外的检测装置,如在液滴产生通道旁添加电极检测电容值得变化间接知道液滴数目[3],利用昂贵的高速CCD摄像头对液滴进行计数[4?5]等,这些方法都极大地增加了成本。而在荧光下,目前还没有一种快速、准确、可行的方法。一般的方法是在显微镜下人工进行计数液滴的亮点个数,这种方法不仅费时费力而且很容易数错。本文针对现有的ddPCR上述问题,设计了ddPCR芯片结果自动读出平台。平台能对ddPCR结果芯片进行自动扫描拍照,并在扫描完成后对已扫描的芯片照片进行拼接,然后分别对明场和荧光照片进行液滴识别计数,极大地节省了时间。
1 ddPCR自动分析统计平台设计与实现
采用二维显微镜平移台移动系统、图像采集系统和计算机软件相结合的方法,对芯片进行扫描、拼接和识别。平台主要包括5部分:二维平移台、平移台驱动控制、平移台手动控制摇杆、图像采集和计算机软件,平台结构示意图如图1所示。
通过计算机控制二维平移台的移动,经过显微镜放大后的图像经图像采集设备采集到计算机上,然后由计算机对图像进行后续的图像分析。为了不开启软件也能使用显微镜,增加了平移台手动控制摇杆对平移台进行控制。
1.1 硬件平台
平移台采用海德星科技(厦门)有限公司生产的HDS?MS?XY8060PO?I,移动精度可达±1.5 μm。驱动控制设备采用美国GALIL Motion Control Inc.生产的DMC2143控制器控制。它提供了功能强大的2字符命令集及终端编程调试工具软件包,用户可以非常方便地进行应用编程。图像采集用的CCD采用的是明美公司生产的MD30摄像头。手动摇杆采用STM32单片机通过串口对平移台进行控制,可以在不开启计算机的时候控制平移台的移动。
1.2 计算机软件
软件的界面如图2所示。
软件的主要功能有:平移台控制功能,包括控制运动速度、单步步长、实时显示位置、自动移动到芯片不同位置等;对摄像头控制功能,图中视频显示控制和相机参数区域,包括控制曝光时间、亮度、对比度、白平衡和拍照等,显示标尺、显示用于芯片对准的十字架;自动扫描功能,通过设置对整个芯片自动扫描拍照,并在扫描后实现对扫描图像的自动拼接,使其成为一张完整芯片的液滴图像;液滴识别功能,通过对芯片图像自动识别,计数并对每个液滴参数的测量。
2 图像处理算法原理
2.1 拼接原理
由于平移台的精确定位精度比较高,经试验使用直接拼接(即两幅图像之间没有重叠的部分进行边与边直接连接)的效果比较理想。而对于光源的影响,经过在自动扫描过程中保持曝光时间不变和后面的图像处理这两个过程能基本消除光源的影响。使用20倍显微镜拼接的3行5列图如图3所示。
2.2 图像识别算法原理
液滴的识别的一个难点在于把液滴从背景和其他杂质中分离出来,因为芯片的背景颜色和液滴的内部反差小,而且芯片图像中还有PDMS柱子、气泡。并且算法还要适应不同大小的液滴、显微镜下不同放大倍数下的液滴以及有可能没有聚焦上的液滴。图像处理过程包括滤波、图像增强、图像形态学操作等,图4为本文中图像处理的具体过程及油包水液滴图像。
2.2.1 图像的前期处理
将所拍的液滴图像转化为灰度图像。由于显微镜点光源的影响,所以拍出来的照片边缘的图像会比较暗,使用直方图均衡化可消除光源分布不均的影响[6],图像的效果如图5(a)所示。
由于图像采集CCD自身会随开机时间增加而温度上升、显微镜光源及芯片不能完全水平等影响导致的图像噪声,这里使用高斯滤波的方式减少噪声的影响,同时也为后面的图像增强做必要的准备[7],如图5(b)所示。液滴内部和背景反差小,所以要识别液滴靠的就是液滴的边缘,因此图像边缘增强就是一个重要的步骤。这里的增强原理如下:
[边缘增强=源图像+边缘图像] (1)
这里的边缘图像使用拉普拉斯掩膜锐化,它属于二阶导数边缘算子。对于数字图像,离散函数[f(x,y)]的拉普拉斯算子可表示为:
[?2fx,y=fx+1,y+fx-1,y+fx,y+1+fx,y-1-4f(x,y)] (2)
所以可用掩膜进行锐化。但是拉普拉斯算子对噪声很敏感,因此前面的滤波是很必要的。同时为了消除图像边缘不完整液滴和光线的影响,适应后面的自适应二值化,在此把图像向外镜像扩展20像素值,其效果如图5(c)所示。
2.2.2 液滴分割
经过前期的图像处理,图像的照明不均匀、噪声等得到了很大的改善。之后使用自适应阈值分割,对图像进行二值化分割的同时能进一步消除照明不均、突发噪声等的影响。本文采用局部邻域块的均值,由于光源分布范围比较不均匀,经实验这里取邻域41×41的窗口即取当前像素点的1 680邻域像素的平均值作为当前像素点的阈值T:
[T=i=11680Pi1 680] (3)
式中,[Pi]是当前像素点的1 680邻域像素。
之后图像再变回边缘扩展前的大小。经过这一步能很好地分离出背景与液滴(见图6(a)),接下来使用距离变换和分水岭算法把液滴间、液滴与背景间、液滴与杂质间的粘连分离开来[8]。
当然,在进行距离变换前需要对二值图像进行一些形态学操作(见图6(b)),以避免分水岭时出现过渡分割。分水岭操作时采用局部极小值分水岭:对距离变换所得的灰度图(见图6(c))片采局部极大值的方式把液滴、背景、杂质等分别分离出来,把这个图像矩阵作为分水岭的标记矩阵与液滴源图像的灰度图像进行分水岭算法,之后对产生的分水岭图片边界标记为分水岭脊线,用脊线取反在与二值图像相与,即可分离出液滴(见图6(d))。由于标记多时分水岭算法耗时会比较久,所以这里提出一种减少标记的算法:即只对粘连的液滴就行分割。在进行灰度变换之前,把二值图像中大于正常液滴面积的快提取出来,然后对这些比较大的面积进行距离变换和分水岭算法分离出液滴,然后再和提取留下的图像合并。
从图中可以看出,一些使用形态学无法分离的粘连,使用距离变换与分水岭结合可以很好的把它们分离出来(图中灰色标识)。
2.2.3 后期处理及识别
图像形态学处理是图像处理很常见的处理方式,二值图像形态学预算是图像形态学的基础,其基本运算有腐蚀、膨胀、开运算、闭运算、骨架抽取等。在液滴分割过程中,为了还原液滴原来的图像大小需要把分離出来的二值液滴图像进行缩放。一般的操作是进行腐蚀和膨胀运算,但是腐蚀和膨胀会把图像结构去除或把邻近结构合并。图像细化是一种骨架抽取的办法,它能在细化后保证结构的连通性,并且保持物体的基本形状[9]。为了保证膨胀后不粘连,采用细化的原理对图像进行粗化操作。因为图像细化会保证连通性,所以我们将图像求反,执行细化,将结果在求反即可实现粗化操作,其效果见图7(a)。
为了删除液滴外的物体,需要把二值图像中面积过大和过小的杂质去除。本文使用的方法是寻找二值图像的轮廓[10],然后对轮廓里的面积与液滴大小的面积进行比较,删除过大和过小的物体见图7(b)。
到此已经基本完成了图像的分割。实验中为了保证速度,使用对图像中每一个轮廓实行最小外接圆操作,然后对得到轮廓的外包络圆进行判断,同时满足以下三个条件即为液滴:圆的半径大小在液滴半径大小范围内;物体的白点有大于6个点在圆上;由于形态学处理中会把一些点去除,所以包络圆里白点的个数大于[611]圆的面积。最终得到的识别图如图7(c)所示,并在列表中统计出每个液滴的圆心、半径和内部像素平均灰度值。从识别效果可以看出,去除边缘显示不全的液滴,此算法可以识别出绝大部分的液滴。经统计识别出了386个液滴,只有一个液滴由于严重离焦和杂质影响而没有被识别出来(图中红色圆圈),识别率达到了99.74%,这其中也包括了7个没有正确对焦的液滴。
2.2.4 后期统计
由于背景、杂质及物体焦点等的影响,有时液滴的二值图像会粘连了背景,导致不能满足第2.2.3节中液滴识别的三个条件;同时,液滴背景、同液滴同样大小的气泡等原因,有可能不是液滴的物体被识别为液滴。因此后期统计中本文中加入了手动点击图片添加没有识别到的液滴和去除错误识别出的液滴。其原理是根据区域生长算法的原理[11],根据所点击的位置对二值图像进行区域生长,然后用最小外接圆包络生长出的区域。将没有识别到的液滴直接添加到已识别出的液滴序列中;去除错误识别的液滴时依次查找已有识别出的液滴序列的圆心是否与此外接圆的圆心相同,相同时去除此圆。经过后期的检查识别率基本上能达到100%。进行统计时,统计液滴半径、像素平均灰度的最大值、最小值、均值、标准差等。为了能在荧光下区分出发荧光和不发荧光的液滴,使用K?means聚类算法根据液滴像素平均灰度值经行分类。其原理为:对一直液滴像素平均灰度集[x1,x2,…,xn],其中每个观测都是一个1维实矢量,k?平均聚类要把这n个观测划分大2个集合中(亮和暗),使得组内平方和最小,即找到满足下式的聚类Si:
[mini=02x∈six-μi2] (4)
式中[μi]是[si]中所有点的均值。
同时为了防止有些错误分类,在列表框中设置排序功能,可人工检查分类结果。表1为图4(b)的识别统计结果。
表1 识别统计结果
从表1可以看出,液滴半径标准差只有1.009,考虑到分割和个别液滴不清晰的影响,这个差别是很小的,说明液滴大小很均匀;从实验图直观上也可以看出,聚类的亮点数和暗点数也基本符合。同时为了验证此方法对荧光下识别液滴同样有效,对荧光下的液滴做了同样的识别和统计,如图8和表2所示。
从统计结果可以看出识别出了348个液滴,其中发荧光的有10个,这与人工验证完全吻合。对剔除了大的杂质后液滴半径标准差只有1.187说明比较均一,但从最大值也可以看出有个别液滴偏离均值比较大,说明液滴形成还是不太稳定。
3 ddPCR实验
3.1 实验芯片制备
本实验利用经典的T?通道方法产生液滴。液滴数字PCR的制备过程与微流控芯片一样,经光刻、曝光、显影将掩模板的图形转移到基片上,然后浇注聚二甲基硅氧烷(PDMS),最后将基片和盖片键合在一起,完成芯片的制作[12]。用于制备液滴的油相和水相在流体控制模块驱动下从进样口进入芯片微通道,并在流体表面张力和剪切力的共同作用下高速生成纳升级油包水液滴[13]。液滴存储区可以对液滴间的排列距离和堆积密度进行适当的调整,有利于在液滴PCR反应之后将独立的液滴分离出来,提高检测精度。芯片制作见图9。
3.2 芯片识别实验
制得ddPCR芯片之后即可进行液滴产生试验。这里采用负压系统进行进样。之后就可以在平台上进行液滴识别试验了。分别在明场和荧光下进行自动扫描液滴,之后进行拼接,然后识别统计。图10是软件分析的结果,其统计结果如表3所示。
识别过程中已经把太小的液滴和杂质排除掉了,从统计结果可以看到明场下的标准差仍然达到了2.013,说明液滴生成过程中还有一些不稳定的因素导致大小不一。经过人工检测,识别出的803个液滴中,只有一个是错误的,识别正确率为99.88%;当然在荧光下,由于光源的原因、加之液滴大小本来就不十分均匀,导致液滴半径偏差较大比较正常。其实荧光下秩序要知道荧光液滴的个数即可,同种识别出76个荧光液滴,经人工识别也是76个,识别正确率为100%。分别在不同放大倍数的液滴、不同大小的液滴、不同液滴图片大小的情况下进行实验。因此只统计识别率,即统计正确分割出液滴的比例。识别统计如图11所示,图中的直线表示理想情况真实值与检测值相等的情况。液滴在明场下的平均识别率达到了99.69%,这其中0.31%不能识别的液滴一般是不能正确对焦或被杂质干扰较大的液滴。
同样在荧光下,发荧光的液滴识出率达到了100%,因此只统计分类正确率,如图12所示,图中直线表示理想情况软件聚类与人工分类相等的情况。由于CCD曝光时间差异、显微镜光线、人工甄别的主观因素等的影响,导致在荧光下非荧光液滴较少时分类的结果与人工甄别结果相差较大,平均分类正确率达到90.5%,荧光个数较多时差异较大主要是液滴图片曝光时间较大的原因。
图12 人工分类与软件聚类统计
4 结 语
本平台实现自动定位扫描拍照并拼接成一个大的芯片图片。同时为了提高识别率和修正錯误识别,程序中有人工点击图片增加未识别的液滴或删除所识别的液滴,明场识别率可达到99.69%且正确率可以达到100%,荧光下荧光液滴识别率约为100%且分类正确率可以达到87%以上。这可以极大的方便液滴数字PCR的实验,降低了液滴数字PCR的出错率,实现绝对定量。此平台也可以扩展用于其他芯片的自动扫描拼接,用于其他如细胞、量子点等的扫描识别。
参考文献
[1] HINDSON B J, NESS K D, MASQUELIER D A, et al. High?throughput droplet digital PCR system for absolute quantitation of DNA copy number [J]. Analytical chemistry, 2011, 83(22): 8604?8610.
[2] MAZUTIS L, ARAGHI A F, MILLER O J, et al. Droplet?based microfluidic systems for high?throughput single DNA molecule isothermal amplification and analysis [J]. Analytical chemistry, 2009, 81(12): 4813?4821.
[3] ERNST A, STREULE W, SCHMITT N, et al. A capacitive sensor for non?contact nanoliter droplet detection [J]. Sensors and actuators A: physical, 2009, 153(1): 57?63.
[4] VLADISAVLJEVI? G T, SHAHMOHAMADI H, DAS D B, et al. Glass capillary microfluidics for production of monodispersed poly (dl?lactic acid) and polycaprolactone microparticles: experiments and numerical simulations [J]. Journal of colloid and interface science, 2014, 418(10): 163?170.
[5] BARET J C, MILLER O J, TALY V, et al. Fluorescence?activated droplet sorting (FADS): efficient microfluidic cell sorting based on enzymatic activity [J]. Lab on a chip, 2009, 9(13): 1850?1858.
[6] Wikipedia. Histogram equalization [EB/OL]. [2016?07?12]. https://en.wikipedia.org/w/index.php?title=Histogram_equalization&oldid=724935223.
[7] LOPEZ?MOLINA C, DE BAETS B, BUSTINCE H, et al. Multiscale edge detection based on Gaussian smoothing and edge tracking [J]. Knowledge?based systems, 2013, 44: 101?111.
[8] PANG Quan, YANG Cuirong, FAN Yingle, et al. Overlapped cell image segmentation based on distance transform [C]// Proceedings of 2006 the 6th World Congress on Intelligent Control and Automation. [S.l.]: IEEE, 2006: 9858?9861.
[9] LAM L, LEE S W, SUEN C Y. Thinning methodologies: a comprehensive survey [J]. IEEE transactions on pattern analysis and machine intelligence, 1992, 14(9): 869?885.
[10] SUZUKI S, BE K. Topological structural analysis of digitized binary images by border following [J]. Computer vision, graphics, and image processing, 1985, 30(1): 32?46.
[11] ADAMS R, BISCHOF L. Seeded region growing [J]. IEEE transactions on pattern analysis and machine intelligence, 1994, 16(6): 641?647.
[12]金庆辉,庄贵生,刘菁,等.微流控分析芯片在线尿中蛋白及LDH同工酶检测[J].光学精密工程,2005,13(2):151?157.
[13] SEEMANN R, BRINKMANN M, PFOHL T, et al. Droplet based microfluidics [J]. Reports on progress in physics, 2012, 75(1): 1?11.