JD *_*ong 3 streaming hadoop amazon-emr
我正在为Amazon Elastic Map Reduce开发一个Hadoop流工作流程,它涉及序列化一些二进制对象并将它们流式传输到Hadoop.Hadoop是否具有流输入的最大行长度？
我开始测试越来越大的线,但我想先问一下这里.
线路长度似乎没有强制限制.自从提出问题以来,我一直在编写序列化二进制对象的代码,在base64中对它们进行编码,然后将它们放入流中进行处理.结果,一些线很长.Hadoop一直咀嚼,没有抱怨.
| 归档时间： |
|
| 查看次数： |
801 次 |
| 最近记录： |