Web服务是否适合ETL用途？

Question

我的公司正在考虑使用Web服务作为ETL过程的意思.但是我不认为Web服务符合这个目的,原因有以下几点:1.生成大型xml时,Web服务可能会消耗大量内存.2. xml是一种臃肿的格式.3.如果服务器花费大量时间生成数据,可能会超时4.文件大小限制？(对于Windows,它是2Gb,如果我的记忆对我有用)

我不是网络服务专家,所以我需要你的意见.:)

谢谢.

Answer 1

Web服务工具棚中有许多技术可以解决您所阐述的所有问题.有面向流的XML碎化,有用于交付的XML压缩格式,处理碎片和公平性的协议,并且有许多存储系统可以容纳数TB的TB级数据.

如果通过Web服务,你想象一个接口的大学新生家庭作业混合,接受一个带有2GB序列化表的单个glop参数,那么你的所有参数都是有效的.但是,如果您向具有WS-ReliableMessaging和WS-Transaction所涉及概念知识的经验丰富的团队提出您的要求, 那么就没有理由不围绕Web服务进行ETL过程.请注意,我并不主张SOAP协议本身,但我确实提倡对所涉及概念的知识和理解.

既然如此,面向Web服务的ETL过程是否对您有意义取决于一系列其他原因.但是,您对Web服务技术的反驳并不成立.

Answer 2

我不会使用 Web 服务来执行 ETL 任务。有更适合该任务的专用工具（例如 Ab Initio、Informatica 等）。

如果您有大量数据，我想说网络引入的额外延迟的代价将是令人望而却步的。