小编Aks*_*kar的帖子

如何使用spark sql获取多个表

我正在使用 pyspark 从 mysql 中获取数据,其中只有一个表。我想从 mysql db 中获取所有表。不想一次又一次地调用 jdbc 连接。看下面的代码

是否可以简化我的代码?先感谢您

url = "jdbc:mysql://localhost:3306/dbname"
table_df=sqlContext.read.format("jdbc").option("url",url).option("dbtable","table_name").option("user","root").option("password", "root").load()
sqlContext.registerDataFrameAsTable(table_df, "table1")

table_df_1=sqlContext.read.format("jdbc").option("url",url).option("dbtable","table_name_1").option("user","root").option("password", "root").load()
sqlContext.registerDataFrameAsTable(table_df_1, "table2")
Run Code Online (Sandbox Code Playgroud)

python pyspark-sql

2
推荐指数
1
解决办法
2502
查看次数

标签 统计

pyspark-sql ×1

python ×1