小编ind*_*der的帖子

使用 Dataframes 的 JDBC 从 Informix 到 Spark

我可以使用简单的 JDBC 连接程序连接到 Informix 数据库,但是当我尝试使用 Spark Dataframes 加载表时,我遇到了异常。我们是否需要使用特定的连接器来进行 Informix Spark 连接?

下面是异常的堆栈跟踪:

java.sql.SQLException: System or internal error java.lang.NumberFormatException: For input string: "table_name"
at com.informix.util.IfxErrMsg.getSQLException(IfxErrMsg.java:482)
at com.informix.jdbc.IfxChar.toLong(IfxChar.java:666)
at com.informix.jdbc.IfxResultSet.getLong(IfxResultSet.java:1123)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.getNext(JDBCRDD.scala:411)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.hasNext(JDBCRDD.scala:472)
at org.apache.spark.sql.execution.datasources.DefaultWriterContainer.writeRows(WriterContainer.scala:241)
at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelation$$anonfun$run$1$$anonfun$apply$mcV$sp$3.apply(InsertIntoHadoopFsRelation.scala:150)
at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelation$$anonfun$run$1$$anonfun$apply$mcV$sp$3.apply(InsertIntoHadoopFsRelation.scala:150)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:88)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Run Code Online (Sandbox Code Playgroud)

informix apache-spark apache-spark-sql

3
推荐指数
1
解决办法
909
查看次数

气流任务未被触发

我正在安排dag,它显示在运行状态但任务没有被触发.Airflow调度程序和Web服务器启动并运行.我在UI上将dag切换为ON.我仍然无法解决问题.我正在使用CeleryExecutor尝试更改为SequentialExecutor但没有运气.

scheduler airflow apache-airflow

1
推荐指数
1
解决办法
1685
查看次数