PySpark没有找到适合的驱动程序jdbc：mysql：// dbhost

Question

我正在尝试将数据帧写入mysql表。No suitable driver found for jdbc:mysql://dbhost当我尝试写作时，我得到了。

作为预处理的一部分，我从同一数据库中的其他表中读取数据，这样做没有问题。我可以进行完整运行并将行保存到拼花文件中，因此绝对可以从mysql DB中读取。

我正在使用以下方法提交：

spark-submit --conf spark.executor.extraClassPath=/home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --driver-class-path /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --jars /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar main.py

我在写：

df.write.jdbc(url="jdbc:mysql://dbhost/dbname", table="tablename", mode="append", properties={"user":"dbuser", "password": "s3cret"})

Answer 1

这是与类加载器相关的错误。这是它的票证： https: //issues.apache.org/jira/browse/SPARK-8463这是它的拉取请求： https: //github.com/apache/spark/pull/6900。

解决方法是将 mysql-connector-java-5.1.35-bin.jar 复制到每台计算机上与驱动程序上相同的位置。