任何人都可以建议在pyspark中检查文件存在的最佳方法。
目前正在使用以下方法进行检查,请指教。
def path_exist(path): try: rdd=sparkSqlCtx.read.format("orc").load(path) rdd.take(1) return True except Exception as e: return False
python-3.x pyspark
pyspark ×1
python-3.x ×1