SparkSQL使用Python从MySQL数据库表中读取

Question

我在MySQL中有一个'用户'表.我想把它读到我的Spark SQL程序.如何使用Python从MySQL读取表格到Apache Spark的SparkSQL模块？我可以使用连接器执行此任务吗？谢谢.

Answer 1

还有类似的问题得到解答.pyspark像这样开始

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38

然后跑吧

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql",
driver="com.mysql.jdbc.Driver",
dbtable="user",
user="root",
password=""
).load().take(10) 

这很可能只是工作.但这取决于你的mysql设置,所以如果它不尝试更改密码,用户名,db-url和其他设置.