小编Bjo*_*ern的帖子

Google Data Fusion 中的 SQL Server 源不起作用(SSL 握手问题)

我在 Data Fusion 中创建了一个简单的管道,它从单个 MS SQL Server 表读取数据并写入 BigQuery。当连接到 SQL Server 时由于套接字握手错误而失败。

我在创建自己的 dataproc 集群时看到了这个问题,并且我知道这与 dataproc 在执行 ssl 时使用 conscrypt 作为默认值有关。我还找到了一个解决方法,即在创建集群时设置一个属性:dataproc:dataproc.conscrypt.provider.enable=false

运行数据融合时这是不可能的,因为我无法控制集群的创建方式。我尝试将该属性添加到引擎配置部分,但它不起作用,并且该属性没有显示在 dataproc 集群配置页面中。

这是数据融合中的堆栈跟踪:

java.net.SocketException:套接字已关闭
    在 org.conscrypt.NativeSsl.doHandshake(NativeSsl.java:390) ~[libconscrypt.jar:1.2.0-SNAPSHOT]
    在 org.conscrypt.ConscryptFileDescriptorSocket.startHandshake(ConscryptFileDescriptorSocket.java:225) ~[libconscrypt.jar:1.2.0-SNAPSHOT]
    在 com.microsoft.sqlserver.jdbc.TDShannel.enableSSL(IOBuffer.java:1688) ~[na:na]
    在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectHelper(SQLServerConnection.java:1977) ~[na:na]
    在 com.microsoft.sqlserver.jdbc.SQLServerConnection.login(SQLServerConnection.java:1628) ~[na:na]
    在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connectInternal(SQLServerConnection.java:1459) ~[na:na]
    在 com.microsoft.sqlserver.jdbc.SQLServerConnection.connect(SQLServerConnection.java:773) ~[na:na]
    在 com.microsoft.sqlserver.jdbc.SQLServerDriver.connect(SQLServerDriver.java:1168) ~[na:na]
    在 io.cdap.plugin.db.JDBCDriverShim.connect(JDBCDriverShim.java:60) ~[na:na]
    在 java.sql.DriverManager.getConnection(DriverManager.java:664) ~[na:1.8.0_212]
    在 java.sql.DriverManager.getConnection(DriverManager.java:208) ~[na:1.8.0_212]

我只想在 Data Fusion 中从 SQL Server 读取数据。

sql-server google-cloud-dataproc google-cloud-data-fusion

2
推荐指数
1
解决办法
834
查看次数

在 Cloud Data Fusion 中加载多个表失败并显示 DAG 错误

我有一个包含大约 1000 个表的 MS SQL Server 数据源,我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的临时表中,然后对它们执行转换。但是,一旦我创建了一个带有两个“岛”的管道,它就会出现 DAG 错误。这是一个功能还是我做错了什么?我在文档中找不到任何内容。我的管道如下所示:

在此处输入图片说明

我在尝试部署时遇到的错误是:“无效的 DAG。有一个由阶段 BigTest、BigQuery BigTest 组成的岛(没有其他阶段连接到它们)。”

google-cloud-data-fusion

2
推荐指数
1
解决办法
528
查看次数