工业大数据可视化与分析平台在中国平煤神马集团的应用

林健

摘要：目前工业生产中产生大量的数据，这些数据存在时间维度不统一的情况，数据来源于无数个工业生产环境和设备信息传感器采集而来，作为测试分析数据，我们希望采集出来的传感器数据时间维度一致，也就是说，原始数据在每一个时间点能包含所有传感器的值，如果在时间点上的数据不完整势必会影响到最终的数据分析成果，然而实际上在工业装备中，受多方面的影响，诸如温度、设备老化、传感器种类、采样周期差异等多方面原因，传感器采集出来的数据很难保证时间维度一致，这样我们就需要对原始数据进行预处理，将时间维度对齐。工业数据是传感器采集到的一些温度、湿度、人员、瓦斯安全等，同时经营管理数据、生产管理、安全隐患等数据都是直白的数据，表面上很难体现出企业生产和管理过程的系统性情况等，大数据可视化就要将这些数据进一步处理，转换成有意义的数据。

关键词：大数据、可视化、传感器、效率

Abstract：At present, a large number of data are produced in industrial production, and the time dimension of these data is not unified. The data are collected from numerous industrial production environment and equipment information sensors. As test and analysis data, we hope that the collected sensor data have the same time dimension, that is, the original data can contain the values of all sensors at each time point, If the data at the time point is not complete, it will inevitably affect the final data analysis results. However, in industrial equipment, due to various factors, such as temperature, equipment aging, sensor type, sampling cycle difference and other reasons, the data collected by sensors is difficult to ensure the consistency of time dimension, so we need to preprocess the original data , align the time dimension. Industrial data is some temperature, humidity, personnel, gas safety, etc. collected by sensors. At the same time, business management data, production management, safety risks and other data are straightforward data, which is difficult to reflect the systematic situation of enterprise production and management process on the surface. Large data visualization needs to further process these data and convert them into meaningful data.

Keywords：Big data, visualization, sensors, efficiency

一、引言

中国平煤神马集团经过了几十年的发展，构建了以煤焦、尼龙化工、新能源新材料为核心产业，多元支撑、协同发展的产业新体系，打通了煤基尼龙、炭素和光伏三条全国能源化工行业独具特色的产业链条。

在发展的过程中国，积累了大量的工业数据，这些大量的工业数据处理和应用对工业生产具有重要的价值和作用。尤其是当前智慧矿山建设过程中面临的各种各种问题，井下环境复杂，随着自动化设备和各种传感设备的增加，井下信息系统变得越来越复杂，如何有效的管理和洞察井下安全和生产情况，通过清晰明了的方式快速了解井下生产进度、安全状态、设备运转等信息，同时辅助企业管理团队高效管理、智慧决策，就成为了当务之急。

打造智慧矿山，实现“五化”即：设备管理精细化、生产过程一体化、企业管理标准化、分析应用数据化、和决策支持科学化，这些都离不开大数据技术的应用于开发，这也是决定一个工业企业运转效率核心。然而工业大数据有其特殊之处，相比于传统大数据，工业大数据需要解决以下3 个问题:

1) 隐匿性，即需要洞悉特征背后的意义;

2) 碎片化，即需要避免断续、注重时效性;

3) 透明化，即透过数据窥探真实世界

复杂的海量工业数据只有在被合理采集、解读与表达之后才能完美展现它们的瑰丽与深奥，而可视化则无疑是让数据变的亲切和便于理解的最有效的途径。由于这是一个高度综合的交叉型领域，深度和广度缺一不可。在如今的大数据可视化领域，相关研宄人员都从各自的角度出发，有自己的独特认识和理解。 但是由于缺乏复合型技术人才，尤其在工业领域，针对数据可视化的研究相对较少。经过国内外同行调研以及查询得知，目前国内煤炭企业还没有完全相同的工业互联网大数据可视化研究成果。

因此，需要对工业互联网大数据可视化技术有一个深入透彻的研究和应用，针对工业企业生产过程建立一个有效的工业互联网大数据可视化展现平台。直观、明了地辅助管理层经营管理，成为了企业智能、智慧生产管理发展趋势和必由之路。

二、现状分析

目前工业生产中产生大量的数据，这些数据存在时间维度不统一的情况，数据来源于无数个工业生产环境和设备信息传感器采集而来，作为测试分析数据，我们希望采集出来的传感器数据时间维度一致，也就是说，原始数据在每一个时间点能包含所有传感器的值，如果在时间点上的数据不完整势必会影响到最终的数据分析成果，然而实际上在工业装备中，受多方面的影响，诸如温度、设备老化、传感器种类、采样周期差异等多方面原因，传感器采集出来的数据很难保证时间维度一致，这样我们就需要对原始数据进行预处理，将时间维度对齐。工业数据是传感器采集到的一些温度、湿度、人员、瓦斯安全等，同时经营管理数据、生产管理、安全隐患等数据都是直白的数据，表面上很难体现出企业生产和管理过程的系统性情况等，大数据可视化就要将这些数据进一步处理，转换成有意义的数据。

三、系统建设目标

工业互联网大数据可视化系统是一个基于人员定位系统、安全监测系统、龙软一张图业务系统、物资管理系统、销售及党建等文本数据进行数据抽取和整合，实现大屏的数据可视化展示和应用。

根据矿上目前多种数据源的现状系统建设为底蕴，建立智慧平煤神马数据共享平台，将十矿党建、销售经营、人员定位系统、安全监测系统、物资管理系统等集成等三个大屏页面。提高数据测量和计算的可靠性，据此提供给领导或管理部门进行组织建设、生产计划、安全隐患分析等，真正实现领导层的一张图管理与应用。同时，系统可以为保证正常运行提供多样而又灵活的调节技术手段，协调供应和控制。既满足生产过程的安全及精细化需求，又能合理避免负荷高峰。

建设企业级的工业大数据仓库，打通的各业务系统。向上， 可以通过全区域、全产品线、全业务、全系统的数据，汇总分析支撑战略规划；向下，通过对公司每日各项指标的把控和指导，把控业务运营管理全过程，不同层级的职员，通过对汇总数据的细化，逐级分配到自己所负责的业务范围和人员，实现运营管理的数字分析决策。向上涵盖战略和经营，向下涵盖管理和操作查询的具体展现层分析模块。从而实现智慧生产管理，合理销售与分销分析管理、供应链分析管理（采购与库存分析管理）、财务分析管理等集成化综合工业大数据分析应用平台。

四、系统设计原则

依据现有系统和相关大屏展示的要求进行本系统的设计开发和展示。

1. 商业智能

即商业智能，是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。

使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为决策提供可靠的依据。

2. 主题和数据仓库

数据仓库采用原有四大主业务系统+企管及党建业务数据来实现，不单独产生任何数据。

3. 维、报表

维是进行OLAP分析的核心概念。维表示对指标要从哪些方面来分析，指分析问题的角度，例如：名称、位置、时间、产品类别等。

报表分两类：

1、固定报表：报表的行、列数和标题都是确定的，不会因为数据而发生改变，这样的报表我们称之为固定报表。

2、变长报表/浮动报表：报表的行数或者列数以及行列标题是不固定的，会根据某一属性或者规则进行变化，这样的报表我们称之为变长报表或者浮动报表。

4. 数据仓储技术

1. 多级缓冲机制：数据库侧、结果数据集、报表页面；

2. 聚集主题及导航：按需定义聚集，实现动态性能优化；

3. 新型数据库支持：列式、MPP架构等；

4. In memory OLAP支持：通过内存运算，获得突破性的性能优势；

5. 支持Hadoop架构的大数据分析：对于超级海量数据，能支持大数据分析架构。

5. 易用性设计原则

1. 报表设计器：象Excel那样操作简单

2. 报表引擎：产生正确、优化的查询

3. 统计图表：类型多样、样式丰富、定义快捷

4. Dashboard：展现炫丽、定义直观简单

5. EasyQuery：快捷式应用，支持突发数据处理和分析

6. OLAP：功能强大，操作方便，方便业务人员使用

6. 开发框架原则

100%J2EE体系架构J2EE是主流的技术体系，J2EE已成为一个工业标准，围绕着J2EE有众多的厂家和产品，但是真正实现100%j2EE的产品屈指可数。J2EE技术的基础是JAVA语言，JAVA语言的与平台无关性，保证了基于J2EE平台开发的应用系统和支撑环境可以跨平台运行。合理集成以J2EE为标准的软件产品构建信息集成平台，可以得到较好的稳定性、高可靠性和扩展性。平台采用流行的100%J2EE体系架构进行开发,J2EE体系架构是支持强大的企业级计算的成熟的技术路线。

7. 可视化前端应用原则

支持的统计图类型

常用：柱形图、条形图、线形图、面积图、饼图。

晋级：箱线图、散点图、直方图、箱线图、走势图、仪表盘、温度计。

专业：K线图、雷达图、气泡图、帕累托图

微型图：统计图定义不再繁复通过工具栏、属性编辑器等，所见即所得持无限Undo类似EXCEL那样的风格切换系统内置了跟EXCEL相似的大量风格，并提供了类似EXCEL那样的切换UI支持统计图上的多点钻取定义图块、标注、标题、图例等都允许定义钻取点。在以上数据展示基础上，系统融合业界最先进的WebGL和3.js技术实现立体，三维等多种可视化展现方式的整合，这也是未来大数据可视发展方向，目前在业界处于绝对领先地位。

8. 权限控制原则

平台内置独创的数据级次控制模型，无需额外加控制，一体化、原生的数据级次管控机制。在数据查询引擎层控制数据级次，严格确保每一层级用户只能访问本级或其管辖的下级数据。

五、平台构架

系统构架图

平台基于100%的J2EE研发构架，可以实现无缝兼容跨平台部署和跨平台数据的融合，实现多种数据源和多种数据类型的接入抽取。通过对获取的初步数据进行转换、清晰、挖掘、多维度关联分析最终形成多种的可视化数据面板，满足多种场景的大数据可视应用展示。

六、业务构架

数据抽取流向图

本平台目标结合前端应用开发技术，实现真正的工业互联网大数据可视化综合应用看板。可视化大屏宽18m高3m，共计设计三个大屏到一个页面上进行展示，最终实现3*10的大屏展示，整体展示效果如下：

实际应用效果图

以上总体内容分解为三个屏幕，具体细节内容如下：

主页面主要显示当日产量、月累计产量、实时井下人员数、隐患治理、安全风险、人员违章等内容，结合图层进行展示井下的相关人员位置提醒等同时通过人员定位分站信息结合实时定位算法，实现人员流动趋势分析，并进行可视化趋势展现。

第二屏展示各个采面与综采队的融合为分组，实现该最小单元的对比分析，通过展示采面设计目标，当前完成的情况实现计划完成情况的对比。同时利用通过采面与综采队的组合，以颜色为区分，以产量为依据实现综采队在各个采面的劳动成果。便于精细化分析相关产量情况。

第三屏展示，左上部分展示党建情况：包含正式党员和预备党员情况，当支部情况。同时对党员情况进行分析，展示出十矿党员的性别和年龄分布，从图中可以看出，十矿党员接近66%为20-40岁之间，团队相对比较成熟稳健。在团队学习活动方面，十矿也展现出相当丰富的学习安排。

左下部分：通过展示十矿戊组和己组两部分煤的销售情况以及各个占线的消耗情况进行对比分析，让决策层更清晰的看到，收入与消耗是否合理。

同时在下面可以看到每日的库存及销售情况，人均产值、收入、人员结构等信息，便于决策层整体把控十矿人员结构是否合理，团队效能如何优化等。

七、大数据可视化分析与应用平台的意义

工业互联网大数据可视化平台是一个基于人员定位系统、安全监测系统、一张图业务系统、物资管理系统、销售及党建等文本数据进行数据抽取和整合，实现大屏的数据可视化展示和应用提升企业三大管理目标。

1. 管理目标

实现管理层整体把控企业全景数字化全貌及市场行情全局信息，便于综合决策。同时形成决策依据经验库，实现智能决策方案推荐。同时实现移动化管理决策场景，满足不同层级管理人员相应的业务管理需求。

2. 技术目标

通过对各生产系统数据的整合分析，挖掘生产指标最优模型，建立生产要素模型库，同时整合业务专家经验库，实现生产过程中智能监测，智能优化生产方案。

3. 经营目标

通过对企业生产、供应链、财务、管理等多业务系统数据整合，实现全局可视化数据分析与安全隐患的防范与治理，另外结合行业互联网数据实时监测，实现企业大数据和行业大数据的互动，让企业生产和行业发展形成实时高效的联营互动，为企业减负增效，提升企业在市场上的综合竞争力。

根据企业目前多种数据源的现状系统建设为底蕴，建立智慧平煤神马工业互联网可视化平台，将党建、销售经营、人员定位系统、安全监测系统、物资管理系统等集成等三个大屏页面。提高数据测量和计算的可靠性，据此提供给领导或管理部门进行组织建设、生产计划、安全隐患分析等，真正实现领导层的一张图管理与应用。同时，系统可以为保证正常运行提供多样而又灵活的调节技术手段，协调供应和控制。既满足生产过程的安全及精细化需求，又能合理避免负荷高峰。

建设企业级的工业大数据仓库，打通的各业务系统。向上， 可以通过全区域、全产品线、全业务、全系统的数据，汇总分析支撑战略规划；向下，通过对公司每日各项指标的把控和指导，把控业务运营管理全过程，不同层级的职员，通过对汇总数据的细化，逐级分配到自己所负责的业务范围和人员，实现运营管理的数字分析决策。向上涵盖战略和经营，向下涵盖管理和操作查询的具体展现层分析模块。从而实现智慧生产管理，合理销售与分销分析管理、供应链分析管理（采购与库存分析管理）、财务分析管理等集成化综合工业互联网大数据可视化应用平台。

因此，系统建成后，有利于管理部门和领导层更及时有效地制定的正确运营决策和长期战略既能保障高效安全生产，又能实现对企业管理决策提供数据可视化支撑，让管理层轻松易懂的把大数据真正应用到企业管理和生产过程中。对中国平煤神马集团的工业智能制造长远发展，对经济效益和社会效益的提升有不可忽略的重要影响。

10