如何将174 GB的数据存入我的Azure表存储

Question

我需要174 GB的XML文件才能进入我的Azure表存储,这样做的最佳方法是什么？应该解析XML文件,并在上载后将其内容放入Azure计算实例上的Azure表存储中的不同表中.

Answer 1

这是很多数据.今天,进入Windows Azure的唯一方法是通过HTTP上传它们.174GB将需要很长时间才能通过大多数网络连接上传.

话虽这么说,我建议将XML上传到blob存储,然后运行代码(以工作者角色),从blob存储中提取XML,解析它,并将其写入表.换句话说,使用原始XML进行上载,并将其转换为云中的表,其中延迟较低且带宽较高.

Answer 2

我会压缩它们并将文件存储在blob存储中.从那里,我将文件拉入工作角色并进行实际插入.要记住的事情:

1. 带宽在Windows Azure中是免费的,因此上传blob只需要时间.
2. 存储事务不是免费的,因此您应尽可能尝试使用批量插入(相同的表,相同的分区键).1M插入将是1美元.
3. 您将获得Windows Azure内最快的性能.在实例之间并行下载文件(使用租约来跟踪)并执行插入.