在哪里可以找到安装和运行cascading.jruby的教程？

Question

我安装了Hadoop并且测试正常,但无法找到任何关于n00b的说明

如何设置级联和cascading.jruby.在哪里放置级联Jars以及如何配置jading以正确构建ruby组件？

是否有人使用jenkins自动构建？

编辑:更多细节我正在尝试从https://github.com/etsy/cascading.jruby构建示例字计数作业

我安装了

1. hadoop,并成功运行测试.
2. 安装了jruby
3. gem install cascading.jruby
4. 玉 - https://github.com/etsy/jading

5. 安装蚂蚁

6. 创建了wordcount示例wc.rb

7. 运行jade将wc.rb编译为jar

   jade wc.rb

8. 我得到以下编译错误

   Buildfile:build.xml不存在!构建失败RuntimeError:Ant检索失败(root)at/usr/bin/hjade:89

看看玉代码是有道理的,但这个示例用法中没有涉及到这一点？我在这里错过了什么？

Answer 1

抱歉耽搁了; 这是我的第一个答案.

您描述的问题,Jading在从符号链接调用时无法找到其Ant构建脚本,确实是个问题.我建议只将Jading克隆添加到PATH而不是创建符号链接(或提交拉取请求来解决问题!).

为了解决您的其他一些问题,我在Jading wiki中创建了一个入门页面,这可能会有所帮助.它将指导您使用本地和远程cascading.jruby作业启动和运行,而无需安装除preqs之外的任何内容(Java,Ant,JRuby和Hadoop客户端+配置).现在包括一个完整的示例wordcount脚本,它应该在本地和Hadoop集群上运行,并且已经在Etsy自己的内部集群上进行了测试.

并进一步备份以解决关于Jenkins的问题,是的,在Etsy,我们使用Jenkins构建并将cascading.jruby(和Scalding)部署到我们的集群.但是,该构建过程当前不使用Jading来生成作业jar.我们的构建早于Jading和Jading是尝试发布我们制作该jar的过程的更清洁版本.我们的构建可以很容易地使用Jading(原始示例来自我们代码的实际用法),但是我们对构建产生的工件的要求略有不同.

如果您对Jading有任何其他问题,请随时向github项目提交问题或提取请求.