深度学习在气象领域的应用课程的建设方案
穆斌 马少阳 袁时金 林冰轩 杨丹
摘要：作者针对深度学习和气象领域两个学科的特点，结合当下前沿的深度学习方法和气候领域热点问题，基于ENSO案例，点面结合，组织并讲授两个学科间的知识体系和具体应用实例。本文从课堂授课内容、实践环节、论文阅读三个方面对这门课程的建设方案进行了全面阐述。
关键词：深度学习;气象领域;ENSO;时空序列预测
中图分类号：G434 ?文献标识码：A ?论文编号：1674-2117（2019）20-0093-05
背景
深度学习（Deep Learning，DL）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法[1]，其优势是能够通过学习算法自动获得数据特征，同时，由于模型的层次、参数很多，容量足够，所以可以用于表示大规模数据。气象领域由于包含大量相关物理量数据（如海表面温度、风速等），是广泛应用深度学习方法的一个候选场景。近年来，陆续有相关学者将深度学习方法应用于各类气象领域问题的研究（如台风[2]、厄尔尼诺事件[3]等），取得了一系列有意义的成果，为传统的气象研究开辟了新思路。
在此学科交叉背景下，开展基于深度学习的气象领域应用类课程，具有相当的实用性和前瞻性，据了解，当前国内并没有高校开设同类课程，此类结合尚属首创。以下笔者将从课堂授课内容、实践环节、论文阅读三个方面总结针对此课程的建设方案和经验。
课堂授课内容
深度学习是一门实践性和理论性都很强的课程，学习本门课程需要综合运用多门课程的知识，如微积分、线性代数、概率论、高等几何、机器学习等，这对教师和学生都有很高的要求。尤其是近年来人工智能的发展，又为这一学科不断添加许多新的内容和方法，使其在各类科学问题的研究上发挥越来越重要的作用。具体到本课程针对的气象学而言，其是将大气当作研究客体，从定性和定量两方面说明大气特征的学科，经过几百年的发展，已成为一门涵盖诸多气象主题、知识体系复杂的学科。如何有效结合上述两者，完成一次软件工程学科与气象学科的交叉学科的最佳实践，这是本课程面临的严峻挑战，其主要原因在于，深度学习和气象科学都是非常庞大且复杂的知识体系，两者结合后知识的深度和广度均远远超出了一门普通课程可以讲授的范围，如果希望涵盖所有知识点，将所有内容都走马观花地讲授一遍，必然导致课程内容深度上的欠缺，也不利于学生思维和能力的培养。因此，本课程拟主要选取气象领域中最具代表性的厄尔尼诺-南方涛动（El Nio-Southern Oscillation，ENSO）事件作为案例，应用深度学习中的时空序列预测方法，对ENSO进行预测和分析，同时基于该案例，逐步展开至两门学科中的代表性内容，使得学生能在较短的时间内全面了解该领域的前沿知识，学会举一反三，为他们在此方向的继续深入打下良好的基础。同时，所选授课内容都是学术界新近发表的研究成果，也比较契合产业界当前的最新需求，所学内容对学生自身的求职竞争力也有相当的提高。
1.ENSO现象
ENSO现象是短期气候年际变化中的最强信号，其发生会造成全球性的气候异常，同时对我国天气和气候也会产生重大影响。鉴于ENSO的重要性，其可预报性研究一直是学术界的热点问题。当前，ENSO的预测研究主要基于气候模式，其可以理解为描述大气或海洋的数学模型。目前IRI/CPC提供了19个动力学模式与8个统计学模式的ENSO实时预测结果，与回报试验结果相比，ENSO实时预测的不确定性较大。根据IRI/CPC历史实时预测结果，2014年1月起报的实时预测结果如图1左所示，大部分模式将该年预测为厄尔尼诺年，但实际上该年为正常年份;2015年1月起报的实时预测结果如图1右所示，各个模式的预报结果散度较大，且大多数模式的预测结果与实际厄尔尼诺事件强度差异较大。可见，数值模式的实时预测结果和实际仍有较大差距，需要引入新的研究方法。
本专题的主要知识点包括气象学概述、气候模式及其原理、气候模式应用、热带太平洋—大气耦合系统的年代际变化、ENSO现象与研究现状、ENSO形成机制等。
2.数据集构建与预处理
数据集的构建和预处理是应用深度学习非常关键的一步，没有丰富的数据源，设计再精良的模型也很难获得好的训练结果。经过前期的充分调研发现，NOAA等网站已经公开了从1870年至今的月度各Nio数据（下页图2展示了NOAA上ENSO相关数据的可视化实例），以及不同分辨率（包括0.25°×0.25°、1°×1°等）的SST全球格点数据集，这些公开的原始数据很大程度上解決了数据源的问题，也有利于教学活动的展开。
但是，由于ENSO事件预测本身是一个非典型的序列生成问题，上述原始数据并不能直接作为模型输入用于训练。为此，需要结合ENSO事件的数据特性（时空特性、周期性等），以及模型的输入要求等因素来进一步构建合理的输入数据集，以充分挖掘ENSO相关数据本身的时空相关性特征，来对ENSO预测问题自身做更深层次的分析。更具体地，ENSO预测可以划分为Nino指数预测和海表面温度（Sea Surface Temperature，SST）格点模态预测两个问题，其中Nio指数预测是一个时序预测问题，SST格点模态预测是一个时空序列预测问题。较之传统的时空序列预测问题，ENSO事件因自身存在诸多相关物理量（如盐度、海洋次表层温度等），如何分析并量化各种物理变量数据组合对ENSO预测不确定性的影响，以确定合适的多物理变量组合，达到更准确预测ENSO事件的目的。该探索过程属于深度学习实践中的一部分，通过该部分内容的学习，学生可以掌握数据预处理的基本方法，这些方法对于其他数据相关问题也是适用的。
在本专题中，教师会基于ENSO事件的特性，逐步介绍数据挖掘和预处理的基本知识。主要涉及的知识点有时序数据准备、特征工程方法、数据归一化（normalization）、数据平稳化（stationary）、数据可视化等。
3.基于深度学习的时空序列预测方法
将深度学习成功应用于气象领域的关键在于构建合适的预测模型，而其背后的逻辑在于充分挖掘已构建数据集中的时空特性，学习到数据间的内在表示，从而得到理想的预测效果。具体而言，深度神经网络是一种典型的非线性系统，而ENSO是一个具有非线性特征的气候现象，理论上来说，只要数据集足够充分，神经网络结构合理，深度神经网络能通过挖掘数据间潜在关系，学习到ENSO目前还未被揭示的动力学机制，进而对ENSO进行准确预测。Shi等[4]系统总结了机器学习方法在时空序列预测问题中的应用，具体到深度学习领域而言，时空序列预测中的相关问题，如视频生成、短临降雨、交通速度预测等方面，都可以运用深度学习的方法取得优异的效果，并因此衍生出一系列针对特别问题的相关网络结构，如卷积长短时记忆网络（Convolutional Long Short-Term Memory，ConvLSTM）[5]等，都是深度学习于时空序列预测具体问题的成功应用。就ENSO事件而言，已有一些学者将深度学习方法应用于ENSO相关指数数据的时序预测（如Nio3.4指数[6]等），这些工作都为该专题的展开提供了良好的参考价值，本部分的讲授也主要基于这些最前沿的工作展开。
本专题的主要知识点包括深度学习及其训练过程、随机梯度下降法（stochastic gradient descent）、损失函数（loss function）、深度卷积神经网络（Convolutional Neural Networks，CNN）、长短时记忆神经网络（Long Short-Term Memory，LSTM）、卷积长短时记忆神经网络（Convolutional Long Short-Term Memory，ConvLSTM）等。
4.模型评价标准及与主流气候模式的对比
对于气象领域而言，预测结果仅仅从单一的数值上的接近（如最小化均方根误差）并不一定能表示很好的效果。实验结果分析应该是多方面的，需要结合Nio指数的实际发展和SST的实际模态来进行进一步判断。而从机器学习的角度而言，由于训练的目标函数就是最小化损失值，所以现行的评判标准也多为均方根误差的最小化。针对ENSO预测的评判基准（benchmark）的选定，也是在教学过程中需要传递和启发学生的关键内容，不能仅通过单一的评价指标来判断结果的好坏。在实现模型并得到预测结果后，需要进一步引导学生将结果与当前主流的气候模式结果进行比较和分析，传授比较研究的基本方法，帮助学生进一步完成更全面的实验报告。
本专题的主要知识点包括MSE（mean squared error）指标的问题、SSIM（structural similarity）算法、召回率（recall）和精度（precise）、ROC曲线等。
实践环节
通过课堂内容的学习，学生可以了解到深度学习方法在典型气象事件中的应用过程和前沿技术，但深度学习本身是一门应用性极强的课程，因此课程中的实践环节尤为重要。在实践环节中，主要基于上述课堂讲授内容的四部分——问题、数据、模型、评价，来设计实践内容，该过程就是一次对深度学习方法应用于气象領域的完整实践。
由于气象领域的特殊性，深入了解其中的某个问题往往需要很强的专业背景，考虑到学生的知识背景多为软件工程，缺乏气象领域的相关知识。如果由学生自主选择问题，很可能探索得到的结果并不深入，课程本身也很难形成统一的评估标准。所以，笔者定义好了ENSO预测问题（并在授课部分重点介绍该内容），同时提供可供参考的数据集和模型（图3为一份实践框架图），学生可以参考该思路开展学习和模型实现。深度学习应用是一种实践工作，特征选择、模型构建、参数调节等都需要充分的编程实践，学生需要基于特定的编程语言（如Python、MATLAB等），自主或借助已有深度学习开源框架（如Keras、PyTorch等）实现深度神经网络并调优，最终得到并分析实验结果。该实践部分也是学生发挥主观能动性，掌握深度学习方法在气象领域应用的关键。
在实践环节中，考虑到项目规模，一般安排两到三人组成一个小组来协作完成一个课题，这客观上也培养了学生团结合作的能力。课程最终会以小组答辩的形式考核每组学生的创新性、完整性等。
论文阅读
科技文献阅读能力也是研究生教学过程中需要重点培养的一种能力。文献阅读会贯穿整个研究工作的始终。从找到研究问题、了解当前发展现状、提出可行方案、制订实验方案，再到最终论文撰写，都离不开文献阅读。同时，本课程内容多与学术前沿相关，课程建设也仅仅提供学习框架，没有既定教材，需要学生充分发挥主观能动性，进一步探索更新更前沿的方法。因此，笔者在本课程中安排了文献阅读环节，学生在教师的指导之下，从指定的范围内选择一篇合适的论文进行精读，然后在课堂上进行讲演和分析，并将论文中的方法应用于项目的问题中。所选择的论文主要是近年来发表在深度学习领域顶级期刊上的论文，以及气象预测领域最新的进展等。讲演环节的评分主要会考虑到以下因素：能否清晰介绍问题背景，能否清晰介绍论文所提方案的设计动机，能否清晰介绍论文所提方案，能否清晰介绍论文方案所取得的效果，能否提出自己的改进想法，以及该论文对小组实验方案的改进（不强求，但有加分）等。
课程建设方案效果评估
通过课堂教学，学生掌握了深度学习的基本概念和其中主流的时序预测方法，同时对气象领域有了基本的了解。结合具体的ENSO事件，学生完成了一次“问题—数据—模型—评价”的完整应用过程。在实践环节中，学生锻炼了分析问题、综合运用所学知识解决问题以及团队协作的能力;在文献阅读环节中，在教师的指导下，学生提升了查阅文献、获取论文中的有效信息、提炼想法和做讲演等方面的能力。课程建设方案达到了这门课程的开设目的。
结语
深度学习在气象领域的应用课程是同济大学软件学院在新一轮人工智能浪潮下，全新开设的一门前沿课程，覆盖了多项深度学习领域的前沿研究内容。经过初步实践，该课程已经取得了良好的教学效果，获得了相关专家和修读此课的学生的高度评价。在今后的教学实践中，笔者还将认真听取相关专家和学生的建设性意见，对课程建设方案不断进行完善，与时俱进，从而持续提升该课程的教学质量。
参考文献：
[1]LeCun Y，Bengio Y，Hinton G. Deep learning[J].Nature，2015，521（7553）：436-444.
[2]蒋众名.基于遥感数据的台风识别与中心定位方法研究[D].哈尔滨：哈尔滨工业大学，2018.
[3]许柏宁，姜金荣，郝卉群，等.一种基于区域海表面温度异常预测的ENSO预报深度学习模型[J].科研信息化技术与应用，2017（06）：65-76.
[4]Shi X，Yeung D Y. Machine Learning for Spatiotemporal Sequence Forecasting：A Survey[J].arXiv preprint arXiv：1808.06865，2018.
[5]苏爱芳，栗晗，崔利曼，等.ConvLSTM算法在临近预报的应用[C].第35届中国气象学会年会S1灾害天气监测、分析与预报，2018.
[6]Mcdermott P L，Wikle C K. Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data[J].Entropy，2017.
基金项目：本研究受同济大学研究生教育研究与改革项目资助（项目编号：ZD19040603）。
