专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > 数据仓库

请问ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案

发布时间:2010-05-24 21:27:54 文章来源:www.iduyao.cn 采编人员:星星草
请教ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案?
请教ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案?

公司正在研发一个内部使用的ETL工具,现在一个很大的问题,就是中间数据结果的存储和处理问题,如做大数据量的 排序,或比较,该使用什么样的处理方式来存储中间数据结果?

以下存储方式有什么优缺点:

a,在指定存储区,临时文件存储

b,临时数据库

c,小量数据的转换的 内存

请大家一起讨论!

------解决方案--------------------
回楼上,以下是我的个人意见:
如果你的源和目标都是同一个类型的数据库,你这种思路是可行的并且效率是很高的,但注意这个临时表最好不要用物理存在的表,比如若为oracle数据库的话最好使用create temporary table显示声明中间表是临时表(设为会话或事务);
如果在目标数据库可以建立源库的dblink视图,可以将你的工具定义好的转换映射过程全部转化为底层sql脚本,直接放到目标库中执行即可。
若数据源类型繁多,则使用内存来逐行处理比较可行。
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

热门推荐: