大数据分析在气象部门中的应用探索

赵碧珂

引言

目前，大数据的研究以及应用逐渐发展成为各个领域数据研究的重点。在气象部门各项业务工作中，由于气象数据的不断增多，大数据的典型特征不断显现。如何高效地这些庞大的数据进行组织和分析处理，从这大批量数据资料中提取有效数据资料，更为精准、高效的为社会公众提供气象服务，已经成为现阶段气象部门工作中迫切需要解决的问题。

1.大数据应用技术

大数据可以看成是人们立足于庞大规模数据的基础上能够完成的事情。数据量具备体量大（Volume），数据类型复杂多样（Varity）、数据值价值高（Value）、数据处理速度快（Velocity）等特点。大数据涉猎到的技术较多，包括计算机、统计学、应用数学等各类学科，涵盖数据分析技术、数据管理技术、数据挖掘技术、数据处理技术、数据可视化技术等相关技术。在这些技术中，数据分析技术包括人工智能和商业智能技术，如机器学习，关联规则挖掘、遗传算法、聚类分析、神经网络等；数据管理技术主要涵盖着数据库技术、数据融合技术以及数据抽取、过滤技术等；数据挖掘技术主要指的是采取依据数据库管理的统计以及机器学习方法，从大数据集中对于常规模式进行提取的一种技术；数据处理技术主要涵盖内存计算技术、分布式计算技术以及流处理技术等；数据可视化技术包含信息流呈现技术、历史流回放技术等；再者，还涵盖大数据平台中构建的数据安全技术。当前，我国主流大数据信息服务平台大都运用的是基于MapReduce和并行数据库的混合架构，是基于虚拟化管理技术和Hadoop平台的动态可扩展数据处理平台。应用业务方面包括：企业运营数据分析、情报信息数据挖掘等诸多领域。

2.气象大数据特征分析

气象大数据主要是指在气象领域围绕智能预报和智慧服务，从气象数据采集、加工处理、预报预测、共享服务、存储归档等气象业务和科研工作各个环节所产生的各类数据。主要有气象观测数据，以及在此基础上加工形成的气象产品数据，以及互联网气象数据。气象大数据主要具备下述特征。

2.1体积大但总量可控

气象部门的体量最大的数据主要来源于地面观测、天气雷达、数值预报产品以及气象卫星遥感。由于地面和高空观测站的迅速增加，我国现在每年新增的气象数据已达到PB量级。地面观测数据量越来越大的原因，主要是因为自动气象站建设密度以及观测频度均不断加密。这种站点扩充以及观测频度加密主要是基于预报以及服务需求经过科学论证来实施的；当观测台站以及观测频度可以较好的满足气象部门的业务需求时，气象台站数以及观测频度不会无限制的加密，所以总量是可预测的，同时也是可控的。对于气象部门天气雷达来说，布网工作已基本上完成，现阶段天气雷达已基本上实现了7×24h全天候不间断探测。所以天气雷达的资料量比较稳定，未来增加量可控。数值预报模式产品资料属于各级预报员不可或缺的预报参考数据资料，这些资料产品一经制成，便会立即传输至天气预报以及气候预测专家的桌面，以供业务应用。气象卫星资料和其他三种资料一样涉及到许多的数据，但是可以进行管控。所以，气象资料体积虽然较大，在量级上可以称之为"大数据",但却一直处于可控可管可用的状况。

2.2种类多但来源单一

依据行业标准《气象资料分类与编码》，可以把气象资料分成14大类，计有数百种之多。该标准几乎囊括了气象资料的全部内容。故根据内容可知，气象资料在现阶段与可预见的未来，不会超越该行标所规定的范围。数百种的气象资料虽说涉及到的种类较多，但是每种资料所包含的信息却比较单纯。大量气象数据主要是由气象观测系统与数值预报业务系统所形成，来源单一；而网络大数据则通常由人来给予，主要来源于人类社会的各个方面，是人类活动的真实记录。

2.3价值单一而明确

气象探测业务系统一般仅采集那些可以对自然界气象状态进行反映的要素，所以气象观探测数据通常只包含且只涵盖丰富的气象信息，而以观探测数据为唯一数据以及信息来源的气象数值模式，其生成的产品中所涵盖的信息也仅仅局限于未来天气或者是气候状态的预测。所以"气象大数据"本身的作用是天气预报、气象服务等气象业务。

3.气象大数据的应用探索

3.1预报预测

气象大数据的关键核心在于"预测"。大数据可以预测未来，主要是凭借对相关性的掌握，凭借相关关联对过去进行分析，进而对未来进行预测。对于预报预测的准确率的提升，始终是社会大众对于气象部门的需求，也是气象工作者认真工作、努力探索的不竭动力。针对天气预报来说，尤其是灾害性天气预报，它的主要工作目标之一，便是对天气现象的发生时间、地点、类型以及强度进行准确预报预测。大数据的数据处理技术能够为气象服务给予功能多样、格式统一、精细化程度高以及内容更为全面的气象数据资料。相关实践研究表明，多模式集合平均之后的效果要比单一模式的效果更佳。相对于单模式而言，多模式集合预报能够大大减小单模式的预报误差,提升预报准确率。现阶段，多模式集合预报能够大幅度提升天气预报水平，这属于大数据技术应用的经典范例。

3.2防灾减灾

防灾减灾属于气象部门极其关键的工作任务之一，气象数据现在融入国家发展还有经济社会的各方面，尤其在防灾减灾应急管理方面，暴雨、雷电等数据发挥了极其重要的作用。还有农业领域，气象数据可以帮助农民更好划定农业种植范围，提升农产品品质，还可以利用气象数据来做精准的智慧农业，根据整个农业施肥灌溉还有病虫害防控的需求，结合气象遥感数据来实时监测，提供比较精准的建议。在大数据论述中，"防灾"是应对灾害的重点，因而，气象预警信息十分关键。气象预警的确定，通常需要一系列复杂冗多的气象数据分析，再依据地形、地貌等有关数据进行分析获取。但是，防灾减灾的主要方向，不但是对预警系统进行完善以及提高预警准确率，并且还需要制定广大群众可以明白意思的预警服务产品。气象大数据在这些工作中无疑起到特别有效的作用，利用大数据技术进行有效的数据融合以及数据挖掘，可以较好地指导群众进行防灾避灾。

3.3商业价值

将气象大数据与社会诸多商业行为进行有机融合，会发挥其更多的价值。气象部门是属高科技部门，积累了许多的气象数据，这些数据均为特别有价值的资源，应尽可能挖掘这些数据的价值，充分利用有效资源，和政府部门、社会组织以及企业等机构进行紧密合作，如此才能够提供更为精准性以及针对性的气象服务产品。气象大数据对创造商业价值，增长社会效益以及经济效益方面均具备极其重要的意义，例如公共卫生，通过门诊量以及药品销量加上气象历史数据分析就能够推测发病率趋势；在饮品方面，凭借销量以及气象要素关联性便能够握销量变化，从而进行科学决策，获取最佳的经济效益。

参考文献：

[1]李社宏.大数据时代气象数据分析应用的新趋势[J].陕西气象,2014(2):41-44.

[2]赵蓓.大数据时代对气象服务的推动[J].考试周刊,2014(4):195-196.