小编Mic*_*Rys的帖子

我想知道是否有一种方法可以使用C#编写查询以在Apache spark上运行.我知道spark SQL查询可以用java/scala/python编写.c#有接口吗？

根据标题,我想请求计算Spark集群(Azure中的local/HDInsight)并从C#应用程序返回结果.

我承认Livy的存在,我理解它是一个位于Spark之上的REST API应用程序来查询它,我还没有找到一个标准的C#API包.这是工作的正确工具吗？它只是缺少一个众所周知的C#API吗？

在星火集群需要访问Azure的宇宙DB,所以我需要能够以提交包括连接器的jar库(或其上的群集驱动器路径)的一个工作,星火从读取数据宇宙.

已经尝试了建议的JSONPath选项,但似乎JSONExtractor只识别根级别.在我的情况下,我必须处理嵌套的json结构,也有一个数组(见下面的例子).没有多个中间文件的任何提取选项？

"relation": {
"relationid": "123456",
"name": "relation1",
"addresses": {
    "address": [{
        "addressid": "1",
        "street": "Street 1",
        "postcode": "1234 AB",
        "city": "City 1"
        },
    {
        "addressid": "2",
        "street": "Street 2",
        "postcode": "5678 CD",
        "city": "City 2"
    }]
}}

SELECT relationid,addressid,street,postcode,city？