学科分类
/ 1
13 个结果
  • 简介:ETL(Extract-Transform-Load)通常包括三个阶段:抽取,转变,并且装载。在造数据仓库里,它起数据注射的作用并且是最费时间的活动。因此改进ETL的表演是必要的。在这份报纸,一条新ETL途径,电话(Transform-Extract-Load)被建议。电话途径使用虚拟表格在抽取舞台和装载舞台前认识到转变阶段,在存储从每迥异的来源数据系统提取的未加工的数据的数据阶段区域或阶段数据库外面。电话途径减少数据传播负担,并且从存取层改进询问的性能。试验性的结果基于我们的建议基准证明电话途径可行、实际。

  • 标签: ETL 虚拟化 临时数据库 数据仓库 原始数据 数据传输
  • 简介:摘要随着企业规模的不断扩大,企业内部的管理系统越来越多,各系统之间的数据往往不能进行有效的集成,通常ETL工具为解决这些难题扮演着重要角色。另外在企业的信息化进程中,系统集成和整合是个长期的过程,这时也需要ETL工具的参与。本文着重介绍了基于B/S架构的ETL工具的开发。

  • 标签: ETL B/S 插件
  • 简介:摘要:增值税审核系统的数据来源于其他外围的系统,其他外围的系统(如资金系统、财务系统、客户信息系统等)已按照增值税审核管理系统的开发时间同步完成各自的优化和改造。各外围系统与增值税审核系统数据之间存在差异性,因此需要通过ETL技术将各外围系统的数据处理为增值税审核系统所定义的格式,才能完成后续增值税审核系统的工作。

  • 标签: ETL 增值税 审核系统 设计 实现
  • 简介:开展不动产统一登记业务,保障不动产统一登记平稳、全面、快速推进,需要建立不动产统一登记应用数据库体系。以房、地存量登记数据整合为例,通过对分散登记时代的多源异构房、地登记数据的分析,结合数据库ETL技术,建立ETL数据整合模型,以地籍数据为基础、宗地统一编码为索引,对存量不动产登记数据进行整理、清洗、转换编码、装载入库,建立内容完整、逻辑一致的不动产登记数据库,支撑不动产统一登记业务和不动产登记信息依法查询。

  • 标签: 不动产统一登记 数据整合 ETL 存量数据
  • 简介:摘要针对目前高速公路由于缺乏统一的数据规划导致各路段中心数据标准不一致,难以共享使用,出现了一个个的“信息孤岛”的现象,采用ETL技术可实现无缝共享和交换数据的需要。基于ETL技术,本文提出一种高速公路监控设备数据的集成方案。

  • 标签: ETL 高速公路 数据抽取
  • 简介:随着城市建设的快速发展,人口和规模急剧扩张,视频作为城市最重要的感知数据,为了更好地服务于公共安全,需要我们对海量视频监控数据迅速完成数据的价值“提纯”并进行深度应用.基于Hadoop技术与ETL技术,通过建立大数据平台、数据交换共享平台和数据集市来实现视频数据清洗与处理业务.视频数据清洗与处理业务重点完成海量视频数据的统一存储、管理、信息共享和提供数据资源服务,并作为应用系统的支撑,针对不同业务建立不同专题,建立完善的视频数据采集、加载、存储、分析和应用展示的架构体系,实现海量视频数据的深度应用.

  • 标签: HADOOP ETL 大数据 视频监控
  • 简介:摘要:随着刚性接触网服役时间的增多,地铁运营公司积累了大量的检修相关数据。将这些数据集成在一起进行多维数据信息的挖掘对刚性接触网健康状态评价具有重要指导意义。但是由于刚性接触网的设计参数、实时监测、维修日志等数据的记录方式和储存结构各异,将这些数据集成一起面临着困难。为有效解决多源异构数据的集成管理问题,本文通过ETL相关技术,将源数据抽取并转化为拥有一致性维度的标准化数据,加载到刚性接触网数据仓库的故障主题数据集市中。

  • 标签: 刚性接触网 数据仓库 ETL[第一作者宁航。中铁第一勘察设计院集团有限公司
  • 简介:摘要:本论文介绍了一种多引擎适配的ETL数据处理系统的设计和实现。该系统能够灵活地适配不同的计算引擎,支持数据抽取、转换和加载等操作。通过设计通用的接口和配置,实现了ETL任务的可扩展性和互操作性。通过对多个计算引擎的测试和性能评估,验证系统的有效性和可行性。该系统主要包括引擎适配接口、数据抽取和加载接口、数据转换和处理接口、任务调度接口和引擎配置接口等几个部分。通过设计这些接口,并根据不同计算引擎的特性和限制,实现了与多个计算引擎的交互和集成。同时,考虑了系统的可扩展性和互操作性,使用了标准的接口规范和协议。

  • 标签: ELT 多引擎 数据处理
  • 简介:随着天津市教育招生考试院信息化的建设,院内积累了大量软硬件平台各异的应用系统,并且在各种应用系统中存储了丰富的异构数据资源。本文分析了当前数据集成技术的优缺点,并基于ETL技术设计实现了考试信息资源系统的整合。该系统能够收集、处理和合并各种不同的考试数据信息,以便将有用的数据应用到数据仓库、数据集市、OLAP和分析报告程序当中。目前该系统已经投入使用,实现了考试相关的信息资源的统一管理和协同,为考试院的发展提供了决策支持。

  • 标签: 异构数据源 ETL 考试
  • 简介:摘要:本论文提出了一种基于ETL(Extract,Transform,Load)技术协同多通讯协议的数据交换方法及装置。该方法通过ETL技术实现了多源数据的提取、转换和加载,并利用多种通讯协议进行数据交换,提高了数据交换的效率和灵活性。同时,我们还设计了一种数据交换装置,该装置能够实现多种通讯协议的集成和协同工作,提高了数据交换的可靠性和稳定性。

  • 标签: 数据交换 ETL技术 技术协调 通讯协议