在Spark中关闭MYSQL JDBC连接

Question

我通过JDBC将数据从MYSQL服务器加载到Spark,但我需要在加载数据后关闭该连接.关闭连接的确切语法是什么？

df_mysql = sqlContext.read.format("jdbc").options(
  url="jdbc:mysql://***/****”,
  driver="com.mysql.jdbc.Driver",
  dbtable="((SELECT jobid, system, FROM Jobs LIMIT 500)  as T)",
  user=“*****”,
  password=“*****”).load()

我试过dbtable.close().那不起作用.

Answer 1

这里真的没有什么可以封闭的.DateFrameobject不是JDBC连接,load也不是真正的load数据.它只是获取构建所需的元数据DataFrame.

实际数据处理仅在您执行包含取决于此特定输入的任务的作业时执行,并由相应的执行程序处理.负责管理连接和获取数据,此过程不会向用户公开.