小编Moh*_*ooq的帖子

Pyspark中的HDFS文件存在检查

任何人都可以建议在pyspark中检查文件存在的最佳方法。

目前正在使用以下方法进行检查,请指教。

def path_exist(path):

try:
    rdd=sparkSqlCtx.read.format("orc").load(path)
    rdd.take(1)
    return True

except Exception as e:
    return False
Run Code Online (Sandbox Code Playgroud)

python-3.x pyspark

4
推荐指数
2
解决办法
5913
查看次数

标签 统计

pyspark ×1

python-3.x ×1