将HDFS校验和与本地文件系统校验和进行比较

Question

我正在尝试编写一个简单的脚本来验证HDFS和本地文件系统校验和.

在HDFS我得到 -

[m@x01tbipapp3a ~]$ hadoop fs -checksum /user/m/file.txt
/user/m/file.txt  MD5-of-0MD5-of-512CRC32C        **000002000000000000000000755ca25bd89d1a2d64990a68dedb5514**

在本地文件系统上,我得到 -

[m@x01tbipapp3a ~]$ cksum file.txt
**3802590149 26276247** file.txt
[m@x01tbipapp3a ~]$ md5sum file.txt
**c1aae0db584d72402d5bcf5cbc29134c**  file.txt

现在我如何比较它们.我试图将HDFS校验和从十六进制转换为十进制,以查看它是否与chksum匹配,但它不...

有没有办法比较使用任何算法的2校验和？

谢谢

Answer 1

这不是解决方案，而是可以使用的解决方法。本地文件校验和：cksum test.txt

HDFS 校验和：cksum hadoop fs -cat /user/test/test.txt > tmp.txttmp.txt

你可以比较它们。

希望能帮助到你。