如何使用 jupyter notebook 在 pyspark 中的 Hive 上使用 %sql Magic string 启用 spark SQL

Question

如何启用%sql Magic stringjupyter notebook 以及如何使用以下代码行在单元格上使用 %sql 魔术字符串。

spark.sql('select * from test').show()

Answer 1

尝试

%%sparksql
select * from test

在尝试安装之前

pip 安装 sparksql-magic

参考：https : //github.com/cryeo/sparksql-magic