有没有办法使用 ADO.Net 连接到 databricks？

Question

我想构建一个 API 来查询数据块的表并将结果输出为 JSON。实现此目的的一种方法是调用 databricks Jobs REST API来执行作业并读取作业输出，但数据大小有限制（最大为 5MB，我的 API 结果集可能超过 20MB）。相反，我可以使用 Microsoft.Net 集群提供的 JDBC/ODBC 端点连接到 databricks，还是有其他方式可以直接连接？我的 API 层最好需要在 Microsoft.Net 中构建。不过，我愿意尝试Python。

Answer 1

我发现了几种连接到 databricks 集群的方法

1. 使用 ODBC 连接与 Simba 驱动程序进行连接 ( https://pages.databricks.com/ODBC-Driver-Download.html )。另外，@EdHarper 在上面的评论中分享
2. 使用 cdata nuget 包 - https://www.cdata.com/drivers/spark/ado/但是，涉及许可证成本
3. 使用提供的 JDBC 连接字符串，可能需要 Java 代码

我继续选择#1，下面是一个示例 C# 代码。

// Build connection string
OdbcConnectionStringBuilder odbcConnectionStringBuilder = new OdbcConnectionStringBuilder
        {
            Driver = "Simba Spark ODBC Driver"
        };
        odbcConnectionStringBuilder.Add("Host", "adb-xxxxxxxxxxxxx.7.xxxxxxxbricks.net");
        odbcConnectionStringBuilder.Add("Port", "443");
        odbcConnectionStringBuilder.Add("SSL", "1");             
        odbcConnectionStringBuilder.Add("ThriftTransport", "2");
        odbcConnectionStringBuilder.Add("AuthMech", "3");
        odbcConnectionStringBuilder.Add("UID", "token");
        odbcConnectionStringBuilder.Add("PWD", "<Access token generated in databricks>");
        odbcConnectionStringBuilder.Add("HTTPPath", "sql/protocolv1/o/xxxxxxxxxxxxxxx/yyyy8-dfcccf-tyyujjk8");


    using (OdbcConnection connection = new OdbcConnection(odbcConnectionStringBuilder.ConnectionString))
    {
        string sqlQuery = "select * from yourdb.TableName";
        OdbcCommand command = new OdbcCommand(sqlQuery, connection);
        connection.Open();
        OdbcDataReader reader = command.ExecuteReader();

        for (int i = 0; i < reader.FieldCount; i++)
        {
            Console.Write(reader.GetName(i) + "\t");
        }

        Console.Write("\n");

        reader.Close();
        command.Dispose();
    }

此外，如果您愿意，可以使用 DSN 进行连接，更多详细信息请参见 - https://www.simba.com/products/Spark/doc/v1/ODBC_InstallGuide/win/content/odbc/hi/windows/dsn.htm