Avro入门

Question

我想开始使用Avro和Map Reduce.有人可以建议一个很好的教程/示例来开始.通过互联网搜索我找不到多少.

Answer 1

我最近做了一个非常基于Avro数据的项目,之前没有使用过这种数据格式,我不得不从头开始.你是对的,因为在开始使用Avro时很难获得在线资源的帮助.我建议你的材料是:

• 到目前为止,我找到的最有用的资源是Tom White的Hadoop:The Definitive Guide一书中的Avro部分(p103-p116)以及他在本书中使用的代码的Github页面.
• 有关其他代码示例,我查看了Ron Bodkin的Github页面avro-mr-sample.
• 在我的情况下,我使用Python来读取和编写Avro文件,为此我使用了本教程.
• 即使很明显,我也会将链接添加到Avro Users邮件列表中.在那里可以找到大量的信息,在我阅读了上述材料并实现了大量代码后,我发现自己花了几个小时查看档案.

最后,我的最后一个建议是将Avro 1.4.1与Hadoop 0.20.2一起使用,并且仅使用该组合.我有一些重大问题让我的代码运行使用Hadoop 0.21和更新的Avro版本.