人工智能大数据平台构建及应用

郑汝莲

【摘要】人工智能作为信息科学的分支，在大数据时代下，人工智能已然成为了社会发展的重要方向。随着现代化科学技术、人类的研究水平整体层次提高，人们对于事物的认知更为全面性、细致化，因此对于信息处理技术也提出了更高水平的要求。人工智能与大数据之间有着密切关联，人工智能可利用大数据开发出更为智能的应用程序，并且人工智能可以借助强大的计算能力以及智能算法对大数据平台进行优化处理。基于此，本文将分析人工智能大数据平台构建及应用。

【关键词】人工智能；大数据平台；平台构建及应用

大数据属于社会数字化的产物，随着其业务成熟度逐渐提高，在面对多样化、个性化的需求时，对于大数据的创新性要求也逐渐提高。因此可以说智能数据是大数据发展的高级阶段，也是大数据在应用创新方向发展的核心要求。人工智能在人们的生产、生活当中，已经能够通过智能化的方式对人类的个性化需求进行满足[1-2]。但是人工智能的发展过程中，离不开大数据技术的支撑，从大数据角度来看，人工智能的高阶发展，需要海量的数据进行支撑，而大数据技术能够较大限度的对数据存储、传输进行改善。并且人工智能在对数据进行分类、识别、数据价值获得等方面，也能够获得更高的效率及稳定性。大数据与人工智能的发展，二者均可相互影响。人工智能的发展与革新，需要大数据技术的支撑，充分利用大数据技术对数据信息更好的分类、识别以及分析，从而对事物的发展趋势做出更为准确的预测分析，促使大数据服务对人们的生产及生活进行改变[3]。

1.人工智能大数据平台的构建要点

1.1云平台总体架构

人工智能大数据平台，是一个具有统一性的数据源、数据口径以及入口的平台，能够针对不同的多学科进行合理性分析，并且对其信息模型实现统一及优化处理。人工智能大数据平台系统可分为三项架构（PaaS环境、PaaS业务、PaaS服务），其中PaaS环境是基于Hadoop技术（Hadoop是人工智能大数据平台的关键技术之一，其可以对大规模的数据实现存储及处理，并且能够支持多种不同类型的程序应用。）之上的大数据分析，借助软件组件、多样化中间件以及数据等，对业务需求提供相应的支持；而PaaS业务则是对业务功能实现的各种要素，例如后合程序、数据处理算法以及业务数据等。PaaS层的存在，是将业务层的业务、算法以及数据等，通过界面方式直接接到上层前端运用程序。而云平台的整体结构，主要是对于典型数据中心的运用，混合IT资源的统一性访问，构建出云计算模式下的基础资源调度，并且将PaaS功能作为中心点，以服务形式提供相应系统的软件部件，并且实现统一性的环境支持，达到管理与监测的统一性。通过将大数据平台作为典型业务部件，并且集成在云计算平台上进行统一管控，更好的满足大数据能力的运用。

1.2数据分级储存

  对数据实现分级储存，首先要遵循以下几方面的基本原则：（1）重视数据生命周期，根据数据的生命周期将其过渡到一般性能储存；（2）确保主干道畅通状态的前提条件下，利用分级规则实现数据传输全覆盖。通过重构核心模型，转换为已有的主数据仓库核心模型，促使数据冗余降低。在完成集成改造后，通过整合数据库，将主要数据仓库的重要关键数据转换为低成本的分布式数据库，以此达到减轻系统存储压力的目的。并且该存储器还可以实现对数据的深度分析。

1.3数据处理流程梳理

  数据处理流程中，需对流程进行梳理，确保数据处理流程有序进展。梳理数据处理流程如下：（1）在ETL中导入原始数据，并且对于数据进行清洗、转换以及入库处理；（2）迁移基础数据到主仓库中，并对其计划性存储3年；（3）针对完成清洗、变化后的ODS，将其迁移到分布式数据库当中，并更改存储时间为2个月；在分布数据库中对特定数据实现分析与汇总处理，并对于这一部分的数据计划存储2年；（4）ODS数据、非结构性数据，如爬到网页的数据FTP至 Hadoop平台中实现长期存储；（5）将非结性数据放置于Hadoop平台中惊醒分析，并对生成结果转入分布式数据库当中；（6）将产生KPI以及高度集的数振转入主要数据库当中；（7）实现服务应用程序通过数据存取界面获得所需资料。

2.人工智能大数据平台的应用

2.1搭建基础数据库

人工智能技术的应用，其主要核心是对大量的数据完成准确判断及筛选，但是机器人与人类有着不同差异，无法自主独立对数据进行准确的判断与选择。为了更好的满足平台需求，在构建人工智能大数据平台时，需要借助海量的数据作为运行支撑，才能够更好的为后续的开发工作奠定良好基础，也是对于基础数据建设的重要要求[4]。如今的大数据平台，在人工智能的辅助作用下，重点是数据库的建立。不仅要考虑数据的纵向积累，同时还要对数据进行横向分析，根据模型的计算，获得平台最优表现。

2.2推动大数据算法优化

  大数据的存在并非是为了集合海量数据，而是通过集合海量数据，对数据进行计算与分析

[5]。在人工智能时代下，如何推动大数据算法的优化改良，是平台建设及应用的重点。通过对大数据算法实现进一步的优化处理，才能够让信息内容在原有基础上实现有效传输。并且为了能够获得更加优质的效果，需要对不同平台调性实现多维度的综合分析，最后确定大数据最优的算法。目前应用比较广泛的大数据优化技术，均以架构作为核心，将各种各样的信息内容作为依据，以此加强平台的针对性，促进发挥平台的作用价值。

2.3建立信息共享机制，整合规划数据

信息共享式建立统一数据系统的关键。而人工智能大数据平台的建设，首先需要解决数据封闭性、分散性等相关问题，积极建立统一的数据目录，构建信息共享平台，突破信息壁垒，有效时间高效的集成协作，促使大数据产业的高速发展。可有效通过确定产权、设立信息公开分享机制等方式方法，对于企业大数据、行业大数据以及政府大数据等信息进行公开化管理，实现信息共享。除此之外，还需要对行业数据实现全面规划干预，集中现有的分散、临时数据，并且充分应用数据价值，经由政府产业规划以及有关政策，加强对行业的导向，以此推动信息与数据的流动性，确保这些生产资源以及数据信息的作用价值最大限度的发挥。通过以产业为平台，加速推动大数据技术的运用及成果共享，促进大数据技术的应用交流及互动。

2.4积极开发数据采集系统

提高数据采集质量及工作效率，是提高数据应用价值的关键[6]。通过应用数据采集技术，从海量数据库、系统以及移动网络等资源当中，提取有效信息，同时为了避免信息的重复及遗漏，可借助查重、过滤以及转换等多种预处理手段，对数据信息实现标准化、规范化的采集，确保信息质量。还可以借助数据挖掘技术的运用，在数据采集过程中，辅助有效的技术作为支撑，然价格数据采集工作充分应用在产品开发、生产、销售、营销以及售后等整个产品生命周期体系当中，促使企业从内部与外部途径获得更多的有价值数据信息。最终通过数据挖掘技术，提高数据采集科学性及有效性，实现智能化采集技术，综合自动化、系统科学、概率统计以及计算机电子信息等多学科，提高数据采集效率，提升数据应用价值。

结语

    人工智能与大数据技术的有机融合，共同搭建一体化的数据平台，有助于促进网络技术进一步发展，不断深入人们对于人工智能的认识，加强技术运用意识。人工智能大数据平台式当前信息技术的发展导向，其在于各个领域当中均具有重要的影响作用及运用意义。人工智能大数据平台课有效实现数据的采集、分析及运用，有利于提高系统效率，促进提高应用效果。

参考文献

[1]李浩,周媛媛.人工智能,大数据和云计算的融合发展及应用[J].无线互联科技, 2023，20（10）：114-116.

[2]曾青云.人工智能在大数据技术中的应用[J].IT经理世界, 2022, 25(7):1-4.

[3]董卉.人工智能大数据平台研究与应用分析[J].信息记录材料, 2023(10):131-133.

[4]邱宜宁.关于人工智能大数据平台构建及应用的思考[J].休闲, 2021(9):1-2.

[5]申屠晓明,沈旭东.人工智能大数据平台研究及运用[J].电子技术与软件工程, 2022(7):194-197.

[6]梁运.人工智能大数据平台研究及运用[J].大众商务, 2022(15):0142-0144.