标题 | 基于U—Net的结节分割方法 |
范文 | 徐峰 郑斌 郭进祥![]() 摘要:针对肺结节特征复杂、人工提取特征困难、分割结果不准确的问题,使用一种卷积神经网络模型U-Net对肺结节进行分割。首先对LUNA16数据集提供的肺部CT图像数据和结节标注数据进行预处理,根据结节标注数据,提取对应的肺部CT图像切片,对切片进行归一化、二值化、腐蚀和膨胀从而提取ROI区域,并根据结节位置信息生成掩膜,然后将处理后的肺部CT图像切片与对应的掩膜送入U-Net模型进行训练,最后使用测试数据集对U-Net模型分割效果进行测试。实验结果表明,U-Net模型可以对肺部结节进行有效分割。 关键词: 肺结节;图像分割;U-Net DOIDOI:10.11907/rjdk.181773 中图分类号:TP319 文献标识码:A 文章编号文章编号:1672-7800(2018)008-0161-04 英文摘要Abstract:For the complicated features of pulmonary nodules, difficulties in manual extraction and inaccurate segmentation results,we propose a convolutional neural network model of U-Net to segment lung nodules. First, CT data provided by LUNA16 needs to be preprocessed. According to the nodule annotation data, corresponding lung CT image slices are extracted, and the slices are normalized, binarized, eroded, and dilated to extract the ROI region, and a mask is generated according to the nodule position information; and the treated lung CT is obtained. Second, the image slice and the corresponding mask are sent to the U-Net model for training; the test data set is used to test the segmentation effect of the U-Net model. The experimental results show that the U-Net model can effectively segment lung nodules. 英文关键词Key Words:lung nodule;image segmentation;U-Net 0 引言 肺癌是死亡率最高的癌症之一,如何在肺癌早期发现癌症,对提高病人生存率有重要意义。肺结节是肺癌早期表现形式,在CT图像中有效分割肺结节可帮助医生提高诊断效率,降低漏诊、误诊率[1]。目前,深度学习在人工智能领域引起了高度关注。肺结节分割是当前深度学习研究热点之一,其主要功能是利用深度神经网络实现图像分割。现有肺结节分割方法主要是将肺结节特征与机器学习算法结合。程立英等[2]采用基于改进的C-V模型方法,结合肺结节区域信息和边缘信息实现肺结节分割。韩贵来等[3]采用基于视觉注意的肺结节显著性区域分割方法,在肺中寻找实质的显著区域并将其连通,在每个连同区域中进行区域生长,得到最终分割结果。该方法虽然可以有效分割肺结节,但是人工选取特征的误差以及肺结节多样性导致适用性不强。董林佳等[4]提出了一种基于三维形状指数和Hessian矩阵特征值的肺结节分割与检测方法,该方法从三维数据入手,通过对肺结节三维特征建模实现肺结节分割。该方法准确率较高,但是三维数据特征选取具有一定难度,使三维特征建模难以实现。廖晓磊[5]提出了一个结合超像素和自生成神经森林的肺实质序列图像分割方法,并使用多尺度增强滤波器和3D形状特征实现肺结节检测。苏志远[6]提出了改进的模糊C均值方法,利用图像中像素点灰度值作为特征划分肺结节区域。还有一些使用阈值分割、基于C-V模型等方法的肺结节分割技术,都存在需要人工选取肺结节特征的问题[7-9]。部分针对某些具有特殊特征肺结节的分割方法,虽然对某类肺结节效果较好,但是普适性较差[10-15]。随着深度学习技术的发展,越来越多的学者将深度神经网络技术运用在医疗图像领域。Alakwaa等[16]使用3D卷积神经网络对肺结节进行分割与检测。Tan等[17]设计了一个基于深度神经网络和卷积神经网络的肺结节诊断框架,可以有效发现肺结节。Wang等[18]提出了一種多视角卷积神经网络(MV-CNN),该网络利用全连接层整合了3条卷积神经网络分支,可有效对多种肺结节进行分割。U-Net是一种适用于医疗图像分割领域的深度学习网络模型,该网络已经在角膜图像分割、皮肤病变分割以及膝关节MR图像分割等领域得到了应用[19-21]。本文方法利用U-Net网络模型,使用LUNA16提供的数据集作为训练集,对U-Net进行训练从而实现肺结节自动分割。相对于需要人工提取特征的方法,本文方法对肺结节种类及其特征不敏感,也更利于辅助诊断,对肺癌的早发现早诊断有重要意义。 1 材料与方法 1.1 数据集 本文使用LUNA16(Lung Nodule Analysis 2016)比赛提供的数据集。该数据集包含888例患者肺部CT图像及医生对图像的标注。标注内容主要包括结节坐标和直径。每一位患者的CT图像数据都包含若干512×512大小的切片[22]。本文分别取710例和178例患者数据作为训练集与测试集。 1.2 数据预处理 为了构建用于U-Net的训练集与测试集,去除外围无用数据,只保留训练网络所需的肺实质部分,并对原始数据进行预处理。图1为数据预处理流程。 由于CT原始切片图像未经处理,肺实质部分并不突出,为了更好地分割肺实质部分,需对图像作直方图均衡化处理。如图2所示,处理后的图像肺实质部分较为突出,与周边组织形成鲜明对比,以便后续处理。 直方图均衡化后,各组织灰度值差距较大,对分割肺实质区域有较强干扰,需要对图像进行二值化处理。如图3所示,二值化后的图像,肺实质部分形成了鲜明的大片连通区域,对提取肺实质部分有较大帮助。 在二值化处理之后,肺实质内部有较多噪声,对肺实质分割有一定影响,于是使用腐蚀和膨胀两种数学形态学方法消除肺实质内部噪声。如图4所示,经过腐蚀与膨胀处理之后,肺实质内部噪声被明显消除,与周围组织的黑色形成鲜明对比,有助于后续提取ROI区域。 经过上述处理,肺实质分割已初步完成。在此基础之上,提取ROI区域,即得到肺实质的分割结果。如图5所示,图中保留了肺实质部分数据,剔除了对训练U-Net无用的周边组织。 1.3 生成掩膜 由于U-Net网络需要使用掩膜数据作为标签,根据LUNA16提供的标注数据生成对应肺部CT切片图像的结节掩膜图像。掩膜为一张仅含有1和0的图像,其中1代表肺结节所在像素。图6(右)中白色區域为根据结节位置与直径数据生成的圆形。 1.4 U-Net分割 U-Net是一个2D全卷积神经网络[23],是目前比较流行的生物医学图像分割网络。图7为U-Net网络结构。U-Net具有对称的U型网络结构,左侧为收缩路径,右侧为扩张路径。整个网络具有4个maxpool层和4个upconv层,以及20个卷积层。U-Net架构是一种重复结构,每次重复中都有2个卷积层和一个pooling层,卷积层中卷积核大小均为3×3,激活函数使用ReLU,两个卷积层之后是一个大小为2×2、步长为2的maxpooling层。每一次下采样都将特征通道数量加倍。收缩路径每一步都先采用反卷积(up-conv),每次使用反卷积将特征通道数量减半,特征图大小加倍。反卷积后,将其结果与收缩路径中对应步骤的特征图拼接起来。对拼接后结果进行两次3×3的卷积。最后一层卷积核大小为1×1。 2 结果与分析 实验选取178例患者的CT图像为测试数据集。每例患者的图像都经过与训练集相同的预处理,图像大小为512×512,格式为npy,实验采用python2.7及Tensorflow,GPU使用英伟达QuadroP5000。通过训练好的U-Net对测试集进行处理,并得到分割结果,然后将结果与LUNA16提供的结节标注数据进行比较。 2.1 实验结果 对测试数据集预处理后,将测试数据集送入U-Net模型进行预测,输出结果为肺结节分割结果。如图8所示,右图为原肺部CT图像,正圆部分为根据LUNA16数据集提供的结节位置与直径生成的圆形,正圆中深色部分为U-Net分割结果。 2.2 结果评价与分析 分割结果如表1所示,模型准确度为86.7%,错分率为13.4%,假阳性为11.9%,假阴性为14.7%。数据表明U-Net对于肺结节分割效果良好,对于大部分病患可以起到辅助诊断的作用。 为进一步分析本文方法的分割性能,选取目前肺结节分割领域中两种较为常见的方法进行比较。表2实验数据显示,基于改进的C-V模型方法准确率为83.5%,基于视觉注意的显著性区域方法准确率为85.5%。相较而言,本文方法准确率最高。 3 结语 本研究基于U-Net深度学习网络模型,使用LUNA16肺部CT图像数据集作为训练数据,实现肺结节分割,主要特点是不需要人工提取肺结节特征,利用深度神经网络学习特性,自动分割肺结节。从实验结果可知,该方法可以对肺结节进行有效分割。但分割结果含较多假阳性及假阴性肺结节,因此改善假阳性及假阴性肺结节分割结果是下一步研究工作重点。 参考文献: [1] 李为民,赵爽,刘伦旭.肺癌早期诊断方法及临床意义[J].四川大学学报:医学版,2017,48(3):331-335,326. [2] 程立英,刘曼,李瑶,等.改进C-V模型的CT图像肺结节分割方法研究[J].科技资讯,2016,14(14):165-166. [3] 韩贵来,詹何庆,邓丹琼.基于视觉注意的肺结节显著性区域分割方法[J].电脑知识与技术,2017,13(16):165-167. [4] 董林佳,强彦,赵涓涓,等.基于三维形状指数的肺结节自动检测方法[J].计算机应用,2017,37(11):3182-3187. [5] 廖晓磊.薄扫CT序列图像的肺实质分割和肺结节检测方法研究[D].太原:太原理工大学,2017. [6] 苏志远.基于模糊C均值聚类和字典学习的肺结节分割[D].济南:山东财经大学,2016. [7] 王国明.基于CT图像的肺结节分割方法研究[D].长春:长春工业大学,2017. [8] 朴春赫,曹鹏,赵海,等.基于CV模型与改进ME模型的肺癌检测算法[J].东北大学学报:自然科学版,2017,38(5):639-644. [9] 郑文松.亚实性肺结节CT阈值分割:实性成分识别与定量[D].天津:天津医科大学,2017. [10] 刘丽伟,王国明.基于FVFACM的JV肺结节分割[J].长春工业大学学报,2017,38(3):270-275. [11] 刘霁雨,龚敬,聂生东.利用测地线距离直方图分割血管粘连型肺结节的算法[J].计算机辅助设计与图形学学报,2017,29(3):493-500. [12] 纪国华.基于PET-CT的孤立性肺结节分割及分类方法的研究[D].太原:太原理工大学,2016. [13] 张晓慧.基于PET/CT低剂量扫描的疑似恶性肺结节分割方法研究[D].太原:太原理工大学,2016. [14] 邢谦谦.不规则形态肺结节的分割及毛刺检测研究[D].广州:南方医科大学,2015. [15] WANG J, GUO H. Automatic approach for lung segmentation with Juxta-Pleural nodules from thoracic CT based on contour tracing and correction[J]. Computational and Mathematical Methods in Medicine, 2016(3):1-13. [16] ALAKWAA W, NASSEF M, BADR A. Lung cancer detection and classification with 3D convolutional neural network (3D-CNN)[J]. International Journal of Advanced Computer Science and Applications, 2017,8(8):409-417. [17] TAN J, HUO Y, LIANG Z, et al. A comparison study on the effect of false positive reduction in deep learning based detection for juxta-pleural lung nodules: CNN vs DNN[C]. Proceedings of the Symposium on Modeling and Simulation in Medicine. 2017:1-8. [18] WANG S, ZHOU M, GEVAERT O, et al. A multi-view deep convolutional neural networks for lung nodule segmentation[C]. Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2017:1752-1755. [19] FABIJASKA A. Segmentation of corneal endothelium images using a U-Net-based convolutional neural network[J]. Artificial Intelligence in Medicine, 2018,6(88):1-13. [20] LIN B S, KALRA S, TIZHOOSH H R. Skin lesion segmentation: U-Nets versus clustering[C]. IEEE Symposium Series on Computational Intelligence, 2017:1-7. [21] NORMAN B, PEDOIA V, MAJUMDAR S. Use of 2D U-Net convolutional neural networks for automated cartilage and meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry[J]. Radiology, 2018(3):172-180. [22] SETIO A A A, TRAVERSO A, PROKOP M, et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 challenge[J]. Medical Image Analysis, 2017,42:1-3. [23] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-asisted Intervention, 2015:234-241. (責任编辑:江 艳) |
随便看 |
|
科学优质学术资源、百科知识分享平台,免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。