存储进行增量更

新。

早期的ETL解决方案通常以固定的周期运行批处理工作Y从平面文件和

关系数据库中捕捉数据Y并把这些数据整合到数据仓库中最近这几年Y

商业ETL工具供应商已经对产品做了很大的改进Y对产品功能进行了扩

展Y具体如下X

1额外的数据源

2额外的目标

3改进的数据转换功能

4更好的管理

5更好的性能

6改进的可用性

7增强的安全性

8支持基于数据联邦的数据集成方法

数据抽取模块的功能X

1确定数据源Y即从哪些源系统进行数据抽取。

2定义数据接口Y对每个源文件及系统的每个字段进行详细说明。

3确定数据抽取的方式X是主动抽取还是由源系统推送Y是增量抽取。

还是全量抽取Y是每日抽取还是每月抽取。

数据清洗与切换

数据清洗与转换X

数据清洗主要是对不完整数据错误数据重复数据进行处理

数据转换包括如下操作