尝试从 Spark 连接到 Oracle

Question

我正在尝试将 Oracle 连接到 Spark，并希望从某些表和 SQL 查询中提取数据。但我无法连接到 Oracle。我尝试过不同的解决方案，但没有看到。我已按照以下步骤操作。如果我需要进行任何更改，请纠正我。

我使用的是 Windows 7 机器。我使用 Jupyter 笔记本来使用 Pyspark。我有 python 2.7 和 Spark 2.1.0。我在环境变量中设置了spark类路径：

  SPARK_CLASS_PATH = C:\Oracle\Product\11.2.0\client_1\jdbc\lib\ojdbc6.jar

jdbcDF = sqlContext.read.format("jdbc").option("driver", "oracle.jdbc.driver.OracleDriver").option("url", "jdbc:oracle://dbserver:port#/database" ).option("dbtable","Table_name").option("用户","用户名").option("密码","密码").load()

错误：

1.Py4JJava错误：

An error occurred while calling o148.load.
: java.sql.SQLException: Invalid Oracle URL specified

2.Py4JJava错误：

An error occurred while calling o114.load. : java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

另一种情况：

  from pyspark import SparkContext, SparkConf
    from pyspark.sql import SQLContext
    ORACLE_DRIVER_PATH = "C:\Oracle\Product\11.2.0\client_1\jdbc\lib\ojdbc7.jar"                                            
    Oracle_CONNECTION_URL ="jdbc:oracle:thin:username/password@servername:port#/dbservicename"    
   conf = SparkConf()
   conf.setMaster("local")
   conf.setAppName("Oracle_imp_exp")       
   sqlContext = SQLContext(sc)
   ora_tmp=sqlContext.read.format('jdbc').options(
        url=Oracle_CONNECTION_URL,
        dbtable="tablename",
        driver="oracle.jdbc.OracleDriver"
        ).load() 

我遇到以下错误。

Error: IllegalArgumentException: u"Error while instantiating org.apache.spark.sql.hive.HiveSessionState':"

请帮我解决这个问题。

Answer 1

这个改变就解决了这个问题。

   sqlContext = SQLContext(sc)
   ora_tmp=spark.read.format('jdbc').options(
        url=Oracle_CONNECTION_URL,
        dbtable="tablename",
        driver="oracle.jdbc.OracleDriver"
        ).load()