我正在尝试访问 Spark 中的 MariaDB 数据库以对其执行 SQL 查询。它确实成功打印了表的架构,因此连接正常工作,但是每当我尝试访问数据库内的任何列或值时,我总是会遇到超出范围的异常:java.sql.SQLException:超出列的范围值:价值规范
完整的日志和堆栈跟踪如下。
我可以访问 Spark 外部的数据库并成功获取数据库的值。此外,我尝试使用已弃用的类(例如 SparkSQLContext)来访问数据库,并获得类似的结果。
object Main {
def main(args: Array[String]) {
// parse commandline parameters, get database properties
val commandLineParser = new CommandLineParser()
val commandLineParameters = commandLineParser.parseCommandLineParameters(args)
val databaseProperties = PropertiesParser.readPropertiesFile(commandLineParameters.configFilePath)
if (commandLineParameters.sparkSupport) {
val spark =
if (commandLineParameters.localMode) {
SparkSession
.builder()
.appName("Spark Benchmark CLI")
.config("spark.master", "local")
.config("spark.driver.extraClassPath", "/opt/spark-apps/spark-apps/mariadb-java-client-2.4.1.jar")
.getOrCreate()
}
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._
// connect
Class.forName("org.mariadb.jdbc.Driver")
val connection = DriverManager.getConnection(databaseProperties.jdbcURL, databaseProperties.user, databaseProperties.password)
connection.isClosed …Run Code Online (Sandbox Code Playgroud)