所以我想出了如何使用 python 查找最新文件。现在我想知道是否可以使用 pyspark 找到最新的文件。目前我指定了一个路径,但我希望 pyspark 获取最新修改的文件。
当前代码如下所示:
df = sc.read.csv("Path://to/file", header=True, inderSchema=True)
在此先感谢您的帮助。
apache-spark pyspark
apache-spark ×1
pyspark ×1