小编epi*_*ong的帖子

Datanode 未启动:不兼容的 clusterID Hadoop

尝试启动 hadoop 2.7.3 服务 datanode 未启动:

java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/dfs/data: namenode clusterID = CID-4808098e-de31-469d-9761-9a4558fdaf70; datanode clusterID = CID-492135f3-fc08-46f1-a574-878855ae865e
Run Code Online (Sandbox Code Playgroud)

我已经将 namenode clusterId 复制到 tmp 文件夹中的 datanode 并重新格式化 namenode。另外,我删除了 tmp 文件夹,重新格式化并重新开始。

启动它的唯一方法是每次我想重新启动时手动删除 tmp foder。

hadoop bigdata

5
推荐指数
1
解决办法
2518
查看次数

在Spark中将两个rdds的值相除(python)

我在spark中有这两个键值RDD:

rdd1 = [(u'Key1', 4), (u'Key2', 6), (u'Key3', 10)]
rdd2 = [(u'Key1', 4), (u'Key2', 3), (u'Key3', 2)]
Run Code Online (Sandbox Code Playgroud)

我在寻找spark函数来获取值的除法:(rdd3 =(rdd1 / rdd2))

在这种情况下:

rdd3 = [(u'Key1', 1), (u'Key2', 2), (u'Key3', 5)]
Run Code Online (Sandbox Code Playgroud)

python division bigdata apache-spark rdd

4
推荐指数
1
解决办法
878
查看次数

标签 统计

bigdata ×2

apache-spark ×1

division ×1

hadoop ×1

python ×1

rdd ×1