| 标题 | 模糊聚类在深度学习自监督领域的应用 |
| 范文 | 范少帅 马啸天 张泽平 【摘要】 ? ?近年来随着深度学习的兴起，机器学习的话题再次被拉回到人们的视野中。通过深度学习来对图像进行识别分类是机器学习领域最重要的话题之一。然而，目前识别方法大多依赖于大规模标注数据，并且要进行充分的网络训练，而图像标注是非常费时费力的。为了克服这些缺点，一些算法提出了将自监督框架嵌入到无监督的深度学习体系结构中。而为了实现自监督学习，聚类方法的选用也是决定自监督学习最终学习效果的关键一环，本文将论述模糊聚类在自监督学习领域的应用。 【关键词】 ? ?深度学习 ? ?机器学习 ? ?自监督网络 一、项目研究背景 目前，图像分类技术吸引了企业界与学术界的深切关注，已被广泛应用于以下诸多领域： 1.1安防领域的人脸识别技术 人脸识别通过摄像头捕捉待识别人脸并和数据库中的人脸数据进行比对来判断其是否为目标人员。该技术目前在安检、移动支付和手机解锁等领域的应用较多。 1.2交通领域的交通场景识别技术 交通场景分析识别是自动驾驶任务中最具挑战的任务之一，该过程需要实时并且最够精确的对目标物体进行分类来判断其所代表的信息，进而指导后续驾驶过程。 1.3医学领域的医学影像图像分类技术 近年来，随着医疗水平的提高，国家愈加注重寄生虫等疾病的预防和治疗。但现有的检测方法普及开来花销是巨大的，不利于全国进行普查。而深度学习中目标检测和图像分类趋于成熟，则为各种寄生虫甚至癌细胞的分类识别提供了可行性。 1.4国防领域 在一些危险情况下，比如发生地震或灾后重建时，可以通过使用无人机进行實时的监控来避免人员伤亡，而无人机侦查和航拍离不开图像分类与识别技术的支持。图像分类技术更是应用在了多型战机精准打击目标，图像匹配制导和复杂战场环境中的目标识别等任务中。 综上，可以看出图像分类的广阔应用前景和巨大市场需求。但是随着数据集数量的指数级爆炸增长，监督学习采用的人工标注[1]的缺陷也暴露出来。首先是代价太高，据统计，各大搜索引擎如百度、谷歌的图片库图片数量均已超过十亿，Facebook网站平均每天上传图片量就达到了850万张，对如此庞大且实时更新的图像数据库进行人工标注，显然是不可能实现的。 其次是图像标注不一致问题[2]，对于同一张图像，不同研究方向由于需求的不同，其预期得到的标签也会不同。这使得一幅图像的文本标注关键词可能有差异甚至千差万别，造成了主题缺失、产生歧义，难以形成图片标签的统一化管理。因此，寻找其它图像管理方式显得尤为迫切。 二、当前深度学习的相关工作 随着深度学习在图像分类领域不断取得突破，为图片分类问题提供了新的思路和方法，其中具有代表性的有以下三种。 2.1监督学习 监督学习通过输入带标签数据集来训练网络。由于所输入的数据集带有标签，因此训练网络可以通过寻找数据集的特征和标签之间的关系，来使学习网络获得较高的学习效果。从而对无标签数据进行分类，获得其预测结果。但由于数据集一般较大，在对数据集进行标注时，往往耗费大量的人力物力。 2.2无监督学习[4] 不同于监督学习，无监督学习通过不使用带标签的数据集来训练网络。其通过对数据集特征进行聚类来获得数据集内部各数据的特征，相比该类算法耗费资源较小。例如：根据给定基因把人群分类[3]。我们可以通过测定DNA中一个特定基因的表达来将一组人分类，该种情境下我们仅需将其分类即可，尽管类别很多，但我们不需要将分好的类进行标记。 2.3迁移学习 迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，从而更快地解决问题[1]。迁移学习被赋予这样一个任务：从以前的任务当中学习知识或经验，并应用于新的任务。 迁移学习可以通过将从一类源域任务中获取的经验应用到另一类目标域任务中去。例如，将猫鸡分类的学习模型迁移到其它相似的任务上面，用来分辨老虎，或者是对应的卡通图像。但由于迁移方和被迁移方相似性的限制，即必须在足够相似时才适用。 虽然监督学习的效果最好，其在较多领域的识别准确率已经达到了百分之九十以上，但由于其需要标注大量数据集，该缺点很难通过算法改进。而迁移学习的算法本质也受限于应用的场景。因此改进无监督学习算法，提升学习准确率已经成了当前深度学习领域的重要研究方向之一。而自监督学习则是无监督学习领域学习效率最为突出的方法之一。 自监督学习通过聚类的方法将无标签数据集进行分类，然后从已经分类的数据集中学习新的特征，达到学习迁移的效果。不同于迁移学习的是，其迁移是内部学习经验的转化，不受学习情景相似性的限制。 三、关键技术以及相关工作 将模糊聚类应用在自监督学习领域，可以有效提高自监督学习的准确率，该方法主要用到了以下三种关键技术。 3.1基于深度学习的特征提取技术 随着深度学习的不断发展，我们用模型保存已经训练好的神经网络，利用效果优异的CNN网络模型，如VGGNet、Resnet网络等进行特征提取。网络的适当选取极为重要，比如可以选用resnet-34，resnet-50，resnet-101以及resnet-152网络进行特征提取，比较其最终效果，综合考虑来选取特征提取网络。 3.2模糊聚类算法 K均值聚类（K-means）与模糊C均值聚类（FCM）都是经典的聚类算法，该算法具有排他性，即在数据集中的某个数据点与某个类别的从属关系为百分百或零，不存在其他情况;而FCM算法中某个数据点与某个类别的从属关系为任意百分比（0到1之间）。 因此FCM算法相较于K-means算法在类属方面具有更好的折中性以及柔韧性，在数据集呈正态分布的情况下，具有更好的应用性。 FCM算法作为一种较成熟的聚类算法，是众多模糊聚类算法中应用最广泛且较成功的算法之一，其通过优化目标函数，得到每个数据对所有类别的隶属度，从而自动地对样本数据进行分类，由于该算法良好的稳定性、对离散型数据良好的适应性，该算法在数据挖掘、图像识别、目标检测等领域有广泛应用。 3.3自监督学习 提取的特征经过模糊聚类后，可以采用得到的隶属度作为该数據的标签，作为自监督学习的基础。自监督学习模块的第二部分是自编码网络，自编码网络是一种可以自动从无标注的数据集中学习新的特征，并重构输入信息的网络。它可以给输入信息赋予新学习的特征描述，从而可以用通过该网络学习的特征来取代或增强原始数据，以取得更好效果。 除此之外还可以通过让提取的特征进入自编码网络训练得到重构信息，分析和原来输入信息的差别距离，不断拉近预期标签和模糊聚类标签之间的距离，达到自监督学习的目的。 通过三种方法的结合，巧妙的利用了模糊聚类输出结果的特点，实现了自监督学习，避免了使用大量的标注数据集进行训练。在实际应用中，既可以节省研发费用，又降低了对于训练机器的要求。 四、模糊聚类与自监督学习结合的优势 将模糊聚类方法与自监督学习结合主要有以下两方面的优势： 1.针对数据集标注昂贵、不一的问题，可以采用自监督方法解决，即采用模糊聚类方法为无标记数据集打上软标签。该类方法可充分发挥计算机的计算效率，无需人工干预，这也正是未来深度学习和图像分类问题的发展趋势。 2.针对缺乏身份标签导致的性能较低的问题，可以采用多重自监督，分层训练的方法，两个自监督的部分互相监督，分层次训练，不断优化参数，最后得的到结果将优异于纯粹的自监督方法，以此解决由于自监督学习无标记数据导致的分类准确度较低的问题。 五、综述 由于缺少身份标签的学习，自监督学习的性能和准确度是要比监督学习差一些，但是通过采用多重自监督的策略，分层次不同时的训练，理论上就可以大幅度提升自监督学习的性能。除此之外，在聚类方法的使用上也应该加以甄别，在不同情境下，使用不同聚类的方法最终所能体现出的效果也会有所差异。 例如K-means方法虽然有简单、大型数据集下具有较高效率的特点，但也会有聚类中心K值难以确定等缺点;模糊聚类由于其隶属度取值较多，对于满足正态分布的数据聚类效果更好，但其也有可能陷入局部最优解的缺点。因此要根据不同的情景来决定使用何种聚类方式进行聚类。 通过将模糊聚类和自监督学习结合建立图像分类器，识别图片中物体、场景、行为等信息，返回对应标签信息。该技术可以应用于图像分类的各种领域，如当前智能手机中图库照片自动分类，或者在对图像打软标签之后，根据用户浏览、拍摄、删除的图片类型，学习用户喜好，针对性的进行推荐搜索、推荐阅读、推荐购物等，具有很强的应用价值。 参 ?考 ?文 ?献 [1] Ozdenizci O ， Wang Y ， Koike-Akino T ， et al. Transfer Learning in Brain-Computer Interfaces with Adversarial Variational Autoencoders[C]// 2019 9th International IEEE/EMBS Conference on Neural Engineering （NER）. IEEE， 2019. [2] David Monllaó Olivé， Huynh D Q ， Reynolds M ， et al. A supervised learning framework： using assessment to identify students at risk of dropping out of a MOOC[J]. Journal of Computing in Higher Education， 2019（1）. [3] Huang C J . Clustered defect detection of high quality chips using self-supervised multilayer perceptron[J]. Expert Systems with Applications， 2007， 33（4）：996-1003. [4]李亚丽， 王敏， 李静. 基于半监督学习的迁移学习方法[J]. 河南科技， 2014， 07（4）：211-211. 范少帅（2000.12-），男，汉族，祖籍河北石家庄，本科在读，现就读于河北大学网络空间安全与计算机学院，研究方向：深度学习、图像分类; 马啸天（2000.11-），男，汉族，祖籍河北邢台，本科在读，现就读于河北大学网络空间安全与计算机学院，研究方向：行人重识别; 张泽平（2001.04-），男，祖籍河北保定，本科在读，现就读于河北大学网络空间安全与计算机学院，研究方向：目标检测。 本文是河北大学大学生创新创业训练计划资助项目，课题编号：202010075206 |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。