基于大数据的港口煤炭物流可视化分析平台
贾婷
摘要：基于大数据的可视分析理论与技术已经被应用于很多不同的领域。大数据时代背景下，秦皇岛港已经实现了生产业务信息化，并且积累了大量的生产作业数据。蕴含在港口生产业务数据中的潜在价值有待挖掘。为了使港口能更有效地管理和应用数据资源，本文结合港口业务与数据特点，提出了基于大数据的港口煤炭物流可视化分析平台，分析了平台总体设计思路，介绍了该平台的总体架构，阐述了该平台在秦皇岛港的应用效果。实际应用表明，该平台实现了港口企业内部数据的全面管理和应用，为港口企业管理、决策、预警等提供全面可靠的数据支撑。
关键词：大数据 港口 煤炭物流 可视化分析
0 引 言
近年来，秦皇岛港面临愈加激烈的竞争环境。作为国内的百年大港，秦皇岛港具有深厚的基础设施优势、网络设备优势、数据资源优势以及客户资源优势，尤其是秦皇岛港所积淀的海量数据资源是新建港口码头所无法比拟的。充分发挥港口底蕴优势，通过物联网、云计算、数据挖掘等技术手段对港口供应链上的信息进行感知、存储、归纳、整理并盘活；分析煤炭物流数据资源的消费趋势，从中发现优质货源；对客户进行分析，以制定有效的客户政策，优化港口生产作业各环节和供应链流程，以推动形成基于大数据的增值信息服务新业态。
1 问题分析
1.1 必要性分析
作为煤炭供应链的枢纽节点，秦皇岛港在生产调度、煤炭生产、货运费收等生产过程中积淀了海量的数据。这些生产数据背后蕴藏着高价值的信息，然而，由于港口业务数据具有海量、高维、网络化及地理相关等数据特性，使得数据分析人员很难在现有数据资源的基础上洞察港口现已积累数据的潜藏价值，无法全面地掌握、理解、分析港口业务情况。生产管理数据价值增值环节的缺失，导致不能为港口生产经营决策管理提供有效的数据支撑。为此，亟待通过有效的可视化技术来解决上述问题，实现港口的数据增值应用。
1.2 港口数据分析
本文主要从结合港口煤炭物流数据多源性、异构性和多维性的特征，通过对海量煤炭物流数据进行分析。
（1）多源性
秦皇岛港在信息化发展过程中，在不同的历史时期，为满足不同的业务需求，采用不同的数据库技术构建系统，为此，港口煤炭物流数据具有多源属性。
（2）异构性
一方面，港口数据的多源属性使得获取的数据格式、数据组成具有异构性。其次，不同信息系统所采用的采集系统并不相同，导致所采集获得的数据模型具有异构性。
（3）多维性
港口数据具有异构、多源等特征，使得数据的描述可以从多个不同维度展开。例如，针对一个车次的煤炭调进数据描述，包括煤种、吨数、车次、发货人、委托人、所属分公司等信息。
结合港口煤炭物流数据的实际特点，以发现煤炭物流趋势、规则等潜藏在数据背后的有价值信息。
2 技术思路
以港口煤炭物流大数据的结构特征为基础，综合运用数据挖掘技术、基于OLAP的多维分析技术及可视化交互等技术，实现对数据多维度、深层次的挖掘，以实现对信息的洞察，避免在信息中迷航，在尽可能短的时间内，以最自然的方式获得和理解所需信息并做出决策。
（1）港口煤炭物流大数据经过可视化模型处理后，可以得到可视化数据，通过对可视化数据建模分析，利用数据挖掘等数据分析技术，实现数据的实时分析与管理，可为港口的决策提供及时、准确、权威的数据依据，使秦港能及时掌握市场环境的需求变化，从而能够及时进行战略调整，赢得市场先机。
港口煤炭物流大数据分析模型如图1所示。
（2）基于OLAP的大数据多维分析技术
通过采用多维分析技术对港口煤炭物流大数据进行上卷、下钻、切片、切块、旋转等分析操作，实现了数据从高维度抽象至低维度细节的全方位剖析展示，使分析者、决策者能从多个角度、多个侧面观察数据库中的数据，有利于钻取、挖掘数据潜藏的信息价值与内涵。
以秦港煤炭调进数据为例，应用多维分析技术可从委托人、公司、时间各维度分析数据，如下图所示：
（3）系统可视化开发技术框架
采用商业智能软件Tableau，没有复杂的代码编辑，控制台可完全自定义配置。在控制台上，不仅能够监测信息，而且还提供完整的分析能力，通过导入业务系统数据信息，简单拖放数据字段信息即可形成可视化图形。
3 平台构成
港口煤炭物流大数据可视化分析平台主要基于数据挖掘、中间件、可视化等技术实现港口煤炭物流大数据的集成、管理与应用。平台总体架构可以分为感知层、网络层、数据存储层、数据分析层与展示层。
（1）感知层：以秦皇岛港物联网设备、PLC等数据采集设备为基础，实现数据的自动化采集，为数据应用提供数据来源。
（2）网络层：以港口网络为核心，基于互联网、移动互联网、WIFI等，实现数据通讯与实时数据采集。
（3）数据存储层：面向业务构建主题数据库，通过整个各个系统数据，构建基于数据挖掘的数据仓库，大数据分析挖掘提供数据支撑。
（4）数据分析层：采用数据分析模型，利用数据挖掘、OLAP等技术，挖掘数据的关联关系，实现数据聚类分析与预测，发现数据潜藏的规律与价值，通过盖层实现整个平台数据的增值应用。
（5）数据展示层： 利用系统可视化开发框架，从数据多维分析、数据交互等多个方面对港口煤炭大数据进行挖掘、分析与展示，从而实现港口煤炭物流大数据的可视化管理。
4 实施效果
以港口煤炭物流数据为研究对象，对其进行业务建模，分析煤炭调进数据维度之间的关系，并利用可视化开发框架对数据进行可视化展现与交互，可以得到如图4所示的煤炭可视化分析结果。
通过对煤炭调进数据进行挖掘、分析，可以从委托人层面分析煤炭调进业务量排名，各公司所占比例；从子公司层面，可以分析子公司各煤种调进业务量所占的比例；还可分析出煤炭从不同发货公司按月或按日的调进详细趋势。
实际应用表明，平台为港口企业管理、决策、预警等提供全面可靠的数据支撑。
5 结 论
本文以日益增长的秦皇岛港海量生产业务数据为研究对象，综合运用大数据技术、可视化开发技术框架、数据挖掘技术，对生产数据进行多维分析挖掘与交互动态展示，促进了系统的智能思考，实现了秦皇岛港煤炭大数据的增值输出，为管理者的理性决策提供可靠、直观的数据依據，有效地满足了新形势下港口的决策管理需要，促进了港口生产从劳动密集型向集约型管理的转变。
参考文献：
[1] 任磊，杜一，马帅.大数据可视分析综述[J].软件学报，2014（9）：1909-1936.
[2] 沈汉威，张小龙，陈为.可视化及可视分析专题前言[J].软件学报，2016（5）：1059-1060.
[3] 何贤国，孙国道，高家全.出租车GPS大数据的道路行车可视分析[J].计算机辅助设计与图形学学报.2014（12）：2163-2172.
[4] 张繁，袁兆康，肖凡平.基于Spark的大数据热图可视化方法[J].计算机辅助设计与图形学学报2016（11）：1881-1886.
[5] 徐计，王国胤，于洪.基于粒计算的大数据处理[J].计算机学报.2015（8）：1497-1517.
[6] 王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013（6）：1125-1138.
[7] 沈国辉，孙丽卿，游大宁.智能调度系统信息综合可视化方法[J].电力系统保护与控制，2014（13）：129-134.
[8] 郭晓波，赵书良，王长宾.一种新的面向普通用户的多值属性关联规则可视化挖掘方法[J].电子学报，2015（2）：344-352.
摘要：基于大数据的可视分析理论与技术已经被应用于很多不同的领域。大数据时代背景下，秦皇岛港已经实现了生产业务信息化，并且积累了大量的生产作业数据。蕴含在港口生产业务数据中的潜在价值有待挖掘。为了使港口能更有效地管理和应用数据资源，本文结合港口业务与数据特点，提出了基于大数据的港口煤炭物流可视化分析平台，分析了平台总体设计思路，介绍了该平台的总体架构，阐述了该平台在秦皇岛港的应用效果。实际应用表明，该平台实现了港口企业内部数据的全面管理和应用，为港口企业管理、决策、预警等提供全面可靠的数据支撑。
关键词：大数据 港口 煤炭物流 可视化分析
0 引 言
近年来，秦皇岛港面临愈加激烈的竞争环境。作为国内的百年大港，秦皇岛港具有深厚的基础设施优势、网络设备优势、数据资源优势以及客户资源优势，尤其是秦皇岛港所积淀的海量数据资源是新建港口码头所无法比拟的。充分发挥港口底蕴优势，通过物联网、云计算、数据挖掘等技术手段对港口供应链上的信息进行感知、存储、归纳、整理并盘活；分析煤炭物流数据资源的消费趋势，从中发现优质货源；对客户进行分析，以制定有效的客户政策，优化港口生产作业各环节和供应链流程，以推动形成基于大数据的增值信息服务新业态。
1 问题分析
1.1 必要性分析
作为煤炭供应链的枢纽节点，秦皇岛港在生产调度、煤炭生产、货运费收等生产过程中积淀了海量的数据。这些生产数据背后蕴藏着高价值的信息，然而，由于港口业务数据具有海量、高维、网络化及地理相关等数据特性，使得数据分析人员很难在现有数据资源的基础上洞察港口现已积累数据的潜藏价值，无法全面地掌握、理解、分析港口业务情况。生产管理数据价值增值环节的缺失，导致不能为港口生产经营决策管理提供有效的数据支撑。为此，亟待通过有效的可视化技术来解决上述问题，实现港口的数据增值应用。
1.2 港口数据分析
本文主要从结合港口煤炭物流数据多源性、异构性和多维性的特征，通过对海量煤炭物流数据进行分析。
（1）多源性
秦皇岛港在信息化发展过程中，在不同的历史时期，为满足不同的业务需求，采用不同的数据库技术构建系统，为此，港口煤炭物流数据具有多源属性。
（2）异构性
一方面，港口数据的多源属性使得获取的数据格式、数据组成具有异构性。其次，不同信息系统所采用的采集系统并不相同，导致所采集获得的数据模型具有异构性。
（3）多维性
港口数据具有异构、多源等特征，使得数据的描述可以从多个不同维度展开。例如，针对一个车次的煤炭调进数据描述，包括煤种、吨数、车次、发货人、委托人、所属分公司等信息。
结合港口煤炭物流数据的实际特点，以发现煤炭物流趋势、规则等潜藏在数据背后的有价值信息。
2 技术思路
以港口煤炭物流大数据的结构特征为基础，综合运用数据挖掘技术、基于OLAP的多维分析技术及可视化交互等技术，实现对数据多维度、深层次的挖掘，以实现对信息的洞察，避免在信息中迷航，在尽可能短的时间内，以最自然的方式获得和理解所需信息并做出决策。
（1）港口煤炭物流大数据经过可视化模型处理后，可以得到可视化数据，通过对可视化数据建模分析，利用数据挖掘等数据分析技术，实现数据的实时分析与管理，可为港口的决策提供及时、准确、权威的数据依据，使秦港能及时掌握市场环境的需求变化，从而能够及时进行战略调整，赢得市场先机。
港口煤炭物流大数据分析模型如图1所示。
（2）基于OLAP的大数据多维分析技术
通过采用多维分析技术对港口煤炭物流大数据进行上卷、下钻、切片、切块、旋转等分析操作，实现了数据从高维度抽象至低维度细节的全方位剖析展示，使分析者、决策者能从多个角度、多个侧面观察数据库中的数据，有利于钻取、挖掘数据潜藏的信息价值与内涵。
以秦港煤炭调进数据为例，应用多维分析技术可从委托人、公司、时间各维度分析数据，如下图所示：
（3）系统可视化开发技术框架
采用商业智能软件Tableau，没有复杂的代码编辑，控制台可完全自定义配置。在控制台上，不仅能够监测信息，而且还提供完整的分析能力，通过导入业务系统数据信息，简单拖放数据字段信息即可形成可视化图形。
3 平台构成
港口煤炭物流大数据可视化分析平台主要基于数据挖掘、中间件、可视化等技术实现港口煤炭物流大数据的集成、管理与应用。平台总体架构可以分为感知层、网络层、数据存储层、数据分析层与展示层。
（1）感知层：以秦皇岛港物联网设备、PLC等数据采集设备为基础，实现数据的自动化采集，为数据应用提供数据来源。
（2）网络层：以港口网络为核心，基于互联网、移动互联网、WIFI等，实现数据通讯与实时数据采集。
（3）数据存储层：面向业务构建主题数据库，通过整个各个系统数据，构建基于数据挖掘的数据仓库，大数据分析挖掘提供数据支撑。
（4）数据分析层：采用数据分析模型，利用数据挖掘、OLAP等技术，挖掘数据的关联关系，实现数据聚类分析与预测，发现数据潜藏的规律与价值，通过盖层实现整个平台数据的增值应用。
（5）数据展示层： 利用系统可视化开发框架，从数据多维分析、数据交互等多个方面对港口煤炭大数据进行挖掘、分析与展示，从而实现港口煤炭物流大数据的可视化管理。
4 实施效果
以港口煤炭物流数据为研究对象，对其进行业务建模，分析煤炭调进数据维度之间的关系，并利用可视化开发框架对数据进行可视化展现与交互，可以得到如图4所示的煤炭可视化分析结果。
通过对煤炭调进数据进行挖掘、分析，可以从委托人层面分析煤炭调进业务量排名，各公司所占比例；从子公司层面，可以分析子公司各煤种调进业务量所占的比例；还可分析出煤炭从不同发货公司按月或按日的调进详细趋势。
实际应用表明，平台为港口企业管理、决策、预警等提供全面可靠的数据支撑。
5 结 论
本文以日益增长的秦皇岛港海量生产业务数据为研究对象，综合运用大数据技术、可视化开发技术框架、数据挖掘技术，对生产数据进行多维分析挖掘与交互动态展示，促进了系统的智能思考，实现了秦皇岛港煤炭大数据的增值输出，为管理者的理性决策提供可靠、直观的数据依據，有效地满足了新形势下港口的决策管理需要，促进了港口生产从劳动密集型向集约型管理的转变。
参考文献：
[1] 任磊，杜一，马帅.大数据可视分析综述[J].软件学报，2014（9）：1909-1936.
[2] 沈汉威，张小龙，陈为.可视化及可视分析专题前言[J].软件学报，2016（5）：1059-1060.
[3] 何贤国，孙国道，高家全.出租车GPS大数据的道路行车可视分析[J].计算机辅助设计与图形学学报.2014（12）：2163-2172.
[4] 张繁，袁兆康，肖凡平.基于Spark的大数据热图可视化方法[J].计算机辅助设计与图形学学报2016（11）：1881-1886.
[5] 徐计，王国胤，于洪.基于粒计算的大数据处理[J].计算机学报.2015（8）：1497-1517.
[6] 王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013（6）：1125-1138.
[7] 沈国辉，孙丽卿，游大宁.智能调度系统信息综合可视化方法[J].电力系统保护与控制，2014（13）：129-134.
[8] 郭晓波，赵书良，王长宾.一种新的面向普通用户的多值属性关联规则可视化挖掘方法[J].电子学报，2015（2）：344-352.
