《基于卷积网络的概率离散事件系统错误诊断研究》-工学论文，软件工程论文-论文范文参考-科学狗论文网

标题

基于卷积网络的概率离散事件系统错误诊断研究

范文

邓伟林姜程林森彬

摘要：在已知模型系统中，采用基于模型的方法可以较好解决概率离散事件系统错误诊断问题。然而在某些实际系统中，要得到完备的概率模型非常困难。关于不完备系统的诊断问题，业内主流解决方案是采用基于数据方法，如关键观察方法和关键树方法。卷积神经网络是一个非常好的数据拟合工具。因此，首先将错误诊断问题转化为文本分类问题，然后应用卷积神经网络求解该问题。仿真实验结果表明，在可诊断概率系统中，该方法在仿真数据集上的平均诊断准确率比关键树方法高出15%。

关键词：概率离散事件系统;错误诊断;卷积神经网络

DOI：10. 11907/rjdk. 201676 开放科学（资源服务）标识码（OSID）：

中图分类号：TP303文献标识码：A 文章编号：1672-7800（2020）008-0010-04

Abstract：The fault diagnosis in a complete model can be well done by means of the model-based approaches. However， in some practical systems， it is hard to obtain their complete model. For the fault diagnosis of incomplete systems， the data-based approaches， such as the critical observations approach and critical tree approach， are popular. As an excellent fitting tool， convolutional neural network has been successfully applied to solve many pattern recognition issues. In this paper， we transfer？the issue of fault diagnosis to？the issue of text classification firstly， and then apply the convolutional neural network to solve this problem. The simulation？experiments are performed in diagnosable systems and the results show that the diagnosis accuracy？of this approach exceeds？15 percents of that of critical trees approach on average.

Key Words：probabilistic discrete event systems; fault diagnosis; convolutional neural network

0 引言

离散事件系统（Discrete Event Systems，DES）是具有离散状态空间，并且系统状态演化由不定时发生的事件驱动的一类系统[1]。DES是生活中很常见的一类系统，如在逻辑层面，柔性制造系统、通信系统、排队系统及交通系统都属于DES[2]。在许多实际的DES系统建模过程中往往需要刻画系统的不确定性。系统不确定性分为主观不确定性与客观不确定性。DES主观不确定性用模糊离散事件系统（Fuzzy Discrete Event Systems，FDES）刻画;DES客观不确定性用概率离散事件系统（Probabilistic Discrete Event Systems，PDES）刻画。近年陆续建立起FDES的基础理论[3-6]和PDES的监督控制[7-8]、错误诊断[9]理论等。

值得注意的是，现有DES基础理论研究基本上是在完备模型下讨论的，即假设系统模型可完全被相关智能体（如监控器、诊断器、预测器）获取。然而，随着科学技术的发展，特别是信息技术的日新月异，现代系统越来越大，结构也越来越复杂，获取系统的完备模型也变得越来越困难。因此，建立不完备DES系统相关理论是一个紧迫任务，同时也是一个巨大挑战[10-11]。

本文主要关注不完备PDES系统错误诊断问题。不完备系统在本文的内涵主要包括：①已知系统可以建模为PDES;②具体的系统模型（概率自动机及其生成的概率语言）不可知;③已知系统（足够大的）带标签的运行记录集。

错误诊断的基本任务是在系统发生错误后，诊断器能及时发现和定位系统错误，以防止系统在错误状态下长期运行给系统带来重大破坏。一个系统被称为是可诊断（Diagnosable），当且仅当诊断器可在任何系统错误发生后的有限延迟内发现并隔离该错误。Sampath等 [12]最早在DES框架下给出可诊断性的形式化定义、验证算法和诊断器构造方法。考虑到Sampath提出的可诊断性验证算法指数复杂，Jiang等[13]进一步提出一种基于双树的可诊断性验证算法，该算法拥有多项式复杂度。在PDES框架下，David等 [9]提出一种概率意义下的可诊断性：A-可诊断性。A-可诊断性是一种弱化的可诊断性，其概率系统可以包含不可诊断的字符串，这些字符串概率趋于0。

针对不完备的DES系统，Christopher等 [10]提出一种基于关键观察（critical observations）的DES诊断方法。关键观察指一类特殊的字符模式，只有包含特定错误类型的字符串才能匹配该模式;Christopher等 [10]提出关键观察的求解算法，遗憾的是该算法复杂度非常高;文献[11]提出一种基于关键树的DES诊断方法。关键树是一种特殊的决策树，给出多项式时间的关键树构造算法。通过搜索關键树，可在线性时间复杂度内完成错误诊断。关键树方法[10]在诊断器的构造复杂度及错误诊断准确率上均明显优于关键观察法[11]。由于文献[10]和文献[11]的方法只依赖系统运行记录，因此这两种方法也可用于不完备PDES系统的错误诊断。

关键树方法提出一种可证明运行记录上的错误诊断的正确性算法，也即在理论上证明给定运行记录集上生成的关键树，对该运行记录集中的任何一条记录均可给出正确的诊断结果。然而，从机器学习观点看，关键树方法在训练数据集上过度拟合，可能会在一定程度上影响算法的泛化能力[14]。另一方面，卷积神经网络（Convolutional Neural Network）在图片识别、机器视觉、文本分类等模式识别问题中展现出良好的拟合能力和泛化能力[14]。因此，本文首先将错误诊断问题转化为文本分类问题，然后应用卷积神经网络求解此问题，该方法可在一定程度上改善前期工作[11]出现的过拟合现象。

1 完备DES及PDES系统可诊断性

定义2说明在概率系统中，A-可诊断性允许出现不可诊断的字符串[st]。随着系统持续运行，错误字符串[s]的同长度不可诊断后继概率趋于零。

在完备的DES系统和PDES系统中，Sampath等 [9]和David等 [11] 分别给出可诊断性和A-可诊断性的判定算法，及相应诊断器构造方法，此处不再赘述，具体方法请查看文献[9]、文献[11]。

2 不完备系统运行记录及关键观察

针对完备PDES系统，学者已经建立相对成熟的错误诊断理论。然而，在实际系统中通常很难获取完备的系统模型。因此，不完备系统上的错误诊断是一个亟待解决的问题。不完备系统诊断主要依赖系统的运行记录集（running-record set）。

定义3：一个运行记录集[L]是二元组[l=（ω，tag）]的集合，该二元组满足以下两个条件：① 存在一个系统行为[s∈LG]使得[ω=P（s）];②[tag]为错误类型标签，表示串[s]中发生了[tag]对应的错误类型事件，[tag=fi]，[i>0]，表示觀察到[ω]时系统发生第[i]类错误，[tag=f0]代表没有发生错误。

定义4：运行记录集[L]是正确的，当[L]中任意一个运行记录[l=（ω，tag）]满足以下两个条件： ①[tag=fi，i>0？][（？s∈LG，fi∈Efi）][P（s）=ω∧fi∈s];②[tag=t0？（？s∈LG）] [P（s）=ω∧Ef？s=？]。

假设运行记录[L]总是满足正确性的，否则基于数据的诊断方法准确率将无法保证。另外需要说明的是，在广义情形下系统是可以同时发生多种错误的。考虑到多种错误的叠加，可以定义为另一种新的错误类型。因此，本文只考虑错误不叠加情形。

除保证运行记录集正确性外，运行记录集大小、运行记录长度对基于数据的诊断方法（如关键观察法[12、关键树法[13）非常敏感。在不充分大的记录集或不足够长的运行记录上都很难保证诊断的准确率。本文前期工作[13]中就运行记录集的大小及运行记录的长度对诊断算法准确率的影响问题作了较详细的实验研究。

3 不完备概率离散事件系统错误诊断

随着计算机算力的提升及深度学习理论的提出，人工神经网络模型能够很好地完成模型学习任务，特别是卷积神经网络（Convolutional Neural Network，CNN）。许多研究者发现CNN非常适合从训练数据中提取模型特征。CNN广泛应用于计算机视觉、自然语言处理、语音识别、文本序列分类等众多问题[14]。

在不完备PDES系统中，如果能够得到一个足够大、充分长且符合系统概率特征的运行记录集，则可很自然地将错误诊断问题转换为文本序列分类问题求解。信息记录集[L]可看作带分类标签的文本数据集，通过将[L]输入到CNN进行网络参数训练和测试，从而得到一个满意的网络结构诊断器。

3.1 仿真数据集生成及预处理

为验证该方法的有效性，需构造出一个足够大、充分长且符合系统概率特征的运行记录集。因此，首先随机构造出若干个概率自动机，然后根据文献[11]提出的验证算法对概率自动机进行A-可诊断性验证。仅保留满足A-可诊断性的PDES模型，因为在一个不可诊断的系统中进行错误诊断是没有意义的。

模拟运行该可诊断的PDES模型，在运行过程中仅记录其可观字符，并根据实际情况对运行记录打上标签，生成一个带标签运行记录集。为生成错误的运行记录集，在随机构造概率自动机时，首先生成[k]类错误状态子集和1个正常状态子集，同时只生成从正常状态到错误状态的跳转（由相应的类型错误事件驱动），以及同一类错误状态间的跳转（仅有正确事件或相应类型的错误事件驱动）。

仿真数据集生成后需要对其进行以下预处理：

（1）删除标签冲突记录。

（2）记录字符编码：首先根据字符出现频率从高到低对字符排序，然后按照排序结果依次将字符编码为：11， 101，1001，10001，……。这种编码方式的优点：①字符的编码不互为前缀，可简化解码、检索等后续处理;②基于哈夫曼思想的编码压缩率高，可减少CNN训练的收敛时间[14]。

根据上述方法构造如表1所示的若干个数据集。

3.2 卷积神经网络基本结构

本文采用的fdConv1d 模型是一个典型的卷积网络，具有3个卷积层，1个汇聚层，1个丢弃层，2个全连接层。由于本文研究的问题可以转化为序列多标签分类问题，因此模型最后的全连接层使用 softmax 作为激活函数。结构使用单个通道，模型的输入是一个序列向量。卷积层中的filters和kernel size等参数的调优从一组默认值开始，每次固定其中一个参数取值，然后选择另一个参数的一组取值进行测试。对于一对参数组合进行多次实验，经测试发现，当filters取值64，kernel_size取值29、33及37时，卷积模型均能很好地拟合数据。取值过大，卷积运算需要更多的时间，模型随参数增加变得更复杂。

本文编程软件包含Java、Python 3.7及Tensorflow 2.0，操作系统是 Ubuntu 18.04，主要硬件为：Intel i7 9700 CPU、 Nvidia GTX 960M 2G显卡及16G内存。随机选取80%的样本作为训练数据，剩下20%样本作为测试数据。模型在数据集上的训练时间以及测试精度如表2所示。

3.3 实验结果及分析

在数据集Data_20_4_30和Data_40_8_30上做CNN方法与 F-正确关键树方法[9]（以下简写为 FCCtT）的诊断准确率与运行记录集大小及运行记录的最小长度之间关系实验（取平均准确率）。在第一个实验中选取长度在30～200之间的运行记录，实验结果如图1（a）所示;在第二个实验中，选取满足条件的大小为50 000的运行记录子集，实验结果如图1（b）所示。

从图1可以看出，总体运行记录集越大，记录长度越长，基于CNN和关键树的算法诊断准确率越高。但是当集合大小和记录长度达到一定程度后，准确率改善不再明显。另外，基于CNN的诊断方法总体上好于基于关键树的诊断方法。同时，随着运行记录集合及最大记录长度的提升，CNN算法相对于关键树算法优势逐渐减弱，这与预估匹配。因为关键树算法优势在于可以完全拟合所有给定的运行记录集，运行记录集增大意味着测试案例来自于学习案例的可能性越大，准确率就越高。关键树算法在一定程度上展现的是“存储器”功能，但实际上始终无法创建一个无限大的“存储器”。因此，处理一个大规模不完备模型的错误诊断，机器学习方法也许能提供一个更加有效的解决方案。

4 结语

本文将不完备PDES模型的错误诊断问题转化为文本标签分类问题，并采用CNN求解该问题。CNN网络在PDES模型的运行记录集上具备良好的学习和泛化能力，通过较短的时间学习就可得到一个准确率较高的诊断器。仿真实验结果表明，该方法的诊断准确率优于关键树诊断方法。未来工作是对CNN网络结构进一步优化和改进，使其能有效求解规模更大、错误类型更多的不完备PDES模型错误诊断问题。

参考文献：

[1] CASSANDRAS CG， LAFORTUNE S. Introduction to discrete event systems[M]. ?New York， NY， USA： Springer， 2008.

[2] 郑大钟，赵千川. 离散事件動态系统[M]. 北京：清华大学出版社， 2001.

[3] LIN F， YING H. Modeling and control of fuzzy discrete event systems [J]. ?IEEE Transactions on Systems， Man， and Cybernetics， Part B， 2002， 32（4）：408-415.

[4] QIU D. Supervisory control of fuzzy discrete event systems： a formal approach[J]. ?IEEE Transactions on Systems， Man， and Cybernetics， Part B， 2005， 35（1）：72-88.

[5] DENG W， QIU D. State-based decentralized diagnosis of bi-fuzzy discrete event systems [J]. ?IEEE Transactions on Fuzzy Systems， 2017， 25（4）：854-867.

[6] DENG W， QIU D， YANG J. Opacity measures of fuzzy discrete event systems [J]. ?IEEE Transactions on Fuzzy Systems， 2020，33（9）：481-495.

[7] PANTELIC V， LAWFORD M， POSTMA S. A framework for supervisory control of probabilistic discrete event systems [J]. ?IFAC Proceedings Volumes， 2014， 47（2）： 477-484.

[8] DENG W， YANG J，QIU D. Supervisory control of probabilistic discrete event systems under partial observation[J]. ?IEEE Transactions on Automatic Control， 2019， 64（12）： 5051-5065.

[9] DAVID T，DEMOSTHENIS T. Diagnosability of stochastic discrete-event systems [J]， IEEE Transactions on Automatic Control， 2005， 50（4）： 476-492.

[10] CHRISTOPHER C J， GRASTIEN A. Formulating event-based critical observations in diagnostic problems [C]. ?The IEEE Conference on Decision and Control （CDC）， 2015： 4462-4467.

[11] JIANG C， DENG W， QIU D. Fault diagnosis in unknown discrete event systems via critical tree [C]. ?The Chinese Control and Decision Conference （CCDC）， 2019： 1846-1851.

[12] SAMPATH M， SENGUPTA R， LAFORTUNE S， et al. Diagnosability of discrete-event systems[J]. ?IEEE Transactions on Automatic Control， 1995， 40（9）： 1555-1575.

[13] JIANG S， HUANG Z， CHANDRA V， et al. A polynomial algorithm for testing diagnosability of discrete-event systems [J]. ?IEEE Transactions on Automatic Control， 2001， 46（8）： 1318-1321.

[14] GU J， WANG Z， KUEN J， et al. Recent advances in convolutional neural networks [J]. ?Pattern Recognition， 2018， 77（6）： 354-377.

[15] MARINHO W， MARTí L， SANCHEZ-PI N. A compact encoding for efficient character-level deep text classification [C]. ?The International Joint Conference on Neural Networks （IJCNN）， 2018： 1-8.

（责任编辑：杜能钢）

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。