有没有办法用sqlalchemy连接Spark-Sql

sam*_*ami 5 python sqlalchemy apache-spark pyspark

有没有一种方法可以将Spark-Sql与sqlalchemy连接起来我有使用sqlalchemy的遗留代码我如何使其使用spark-sql,我可以使sqlalchemy作为spark-sql的转换层吗?

sam*_*ami 7

是的,看看这个项目 https://github.com/dropbox/PyHive

您需要做一些调整,幸运的是 SQLAlchemy 就是为此而构建的