IBM MQ用于文件传输

Question

我们面临着使用IBM MQ over SFTP进行文件传输的选择.我听说过这种方法的优点,但我从未见过有人将它用于大文件.

所以主要问题:IMB MQ如何处理大文件的传输(最多100 MB)？它稳定吗？它是从大型机到UNIX服务器,如果它确实重要.

非常感谢.

Answer 1

我已经将MQ用于大小不超过8GB的文件,没有任何意外.您必须为MQ分配足够的空间来管理它们,但它可以工作.

Answer 2

MQ本身在程序之间提供基于消息的通信.您无法直接使用它来传输文件.人们谈论"通过MQ发送文件"通常意味着他们会自己编写程序来从文件中读取,通过MQ发送,从MQ接收并写入另一个文件.这听起来很琐碎,但如果你想让它变得健壮,很快就变得非常复杂.不建议.

如果要在文件传输中涉及MQ,那么您应该做的是使用位于MQ上的文件传输产品之一.有许多成熟产品,我几乎一无所知,还有来自IBM自己的新产品("Websphere MQ文件传输版"),该产品正在积极开发并最近宣布更新版本(7.0.1).

为了回答你的具体问题,我个人使用WMQFTE将一台1000GB的文件从AIX机器传输到Windows机器,所以我不认为你的"大"100MB文件会出问题:-).我没有尽可能多地参与大型机,但它是FTE的核心平台.

Answer 3

供应商已经通过诸如WebSphere MQ之类的消息传递系统进行文件传输超过12年.我没有使用过IBM产品.然而,我知道直到最近IBM还转售了Metastorm的产品(以PM4Data为品牌),并且最近才以第一代产品进入市场.

我见过Metastorm Integration Manager一直处理TB级文件; 在WebSphere MQ中分解消息并执行缓冲区确认,以免溢出消息队列或不必执行大量MQ管理.

使用消息传递系统进行文件传输与SFTP的其他值得考虑的因素包括:

1. 数据移动前和数据移动处理 - 作为网络传输,SFTP移动数据(文件传输产品通过WebSphere MQ).要进行移动前或移动后处理,您必须编写自己的监视,触发,错误处理等.通过消息传递空间进行文件传输的成熟供应商为您提供开箱即用的基础架构.根据您的应用,他们也可以提供帮助
2. 审计跟踪 - SFTP提供的通常提供系统级日志记录.通常,通过MQ提供文件集成的供应商具有更强的审计功能,包括数据前后移动处理.一些供应商还提供安全的基于Web的系统,以向授权用户公开某些集成.
3. 异常处理 - SFTP将提供同步错误消息,然后您可以从中编写错误逻辑代码.通过MQ提供文件集成的供应商通常提供异常功能,范围从"这是队列中表示发生问题的消息......祝你好运"到基于Web的控制台甚至BPM系统的内置集成.
4. 将文件传输作为服务处理 - 文件传输通常是更大业务流程的一部分.一些供应商利用它来链接文件传输,甚至让他们与以人为中心的流程协作,以提供围绕点对点文件传输的上下文的端到端可见性.此外,使用消息传递系统进行文件传输有助于将组织转移到更加实时,消息驱动的方法.

我希望其他细节可以为您的评估提供一些细节.祝好运!