小编Shw*_*Pri的帖子

如何将 Parquet 转换为 Spark Delta Lake?

我试图将一组镶木地板文件就地转换为 delta 格式。我尝试使用 Databricks 文档中提到的 CONVERT 命令。https://docs.databricks.com/spark/latest/spark-sql/language-manual/convert-to-delta.html

CONVERT TO DELTA parquet.'path/to/table'

我正在使用 Spark 2.4.4 和 PySpark(Python 版本 3.5.3)。这是我正在执行的命令

spark.sql("CONVERT TO DELTA parquet. '/usr/spark-2.4.4/data/delta-parquet/'") 其中'/usr/spark-2.4.4/data/delta-parquet/'是镶木地板文件所在的路径。

但是,我得到了一个例外。

  File "/usr/spark-2.4.4/python/pyspark/sql/utils.py", line 63, in deco
    return f(*a, **kw)
  File "/usr/spark-2.4.4/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o25.sql.
: org.apache.spark.sql.catalyst.parser.ParseException: 
mismatched input 'CONVERT' expecting {'(', 'SELECT', 'FROM', 'ADD', 'DESC', 'WITH', 'VALUES', 'CREATE', 'TABLE', 'INSERT', 'DELETE', 'DESCRIBE', 'EXPLAIN', 'SHOW', 'USE', 'DROP', 'ALTER', 'MAP', 'SET', 'RESET', 'START', 'COMMIT', …
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark-sql delta-lake

0
推荐指数
1
解决办法
3632
查看次数

标签 统计

apache-spark ×1

delta-lake ×1

pyspark-sql ×1