Sky*_*Fox 3 jdbc apache-spark apache-spark-sql
在JDBC To Other Databases中,我找到了以下dbtable参数说明:
应该读取的JDBC表.请注意,可以使用在SQL查询的FROM子句中有效的任何内容.例如,您也可以在括号中使用子查询,而不是完整的表.
当我使用代码时:
CREATE TEMPORARY TABLE jdbcTable
USING org.apache.spark.sql.jdbc
OPTIONS (
url "jdbc:postgresql:dbserver",
dbtable "mytable"
)
Run Code Online (Sandbox Code Playgroud)
一切都很好,但以下内容:
dbtable "SELECT * FROM mytable"
Run Code Online (Sandbox Code Playgroud)
导致错误:
怎么了?
zer*_*323 15
因为它dbtable被用作SELECT语句的源,所以它具有对普通SQL查询有效的形式.如果要使用子查询,则应在括号中传递查询并提供别名:
CREATE TEMPORARY TABLE jdbcTable
USING org.apache.spark.sql.jdbc
OPTIONS (
url "jdbc:postgresql:dbserver",
dbtable "(SELECT * FROM mytable) tmp"
);
Run Code Online (Sandbox Code Playgroud)
它将作为以下内容传递给数据库:
SELECT * FROM (SELECT * FROM mytable) tmp WHERE 1=0
Run Code Online (Sandbox Code Playgroud)