为什么数据流接收器缓存没有所有数据预览结果？

Question

我发现使用缓存接收器与数据集接收器时数据流结果存在显着差异。我重新创建了一个简单的例子来演示。

我将一个简单的 JSON 文件上传到 Azure Data Lake Storage Gen 2：

{
  "data": [
    {
      "id": 123,
      "name": "ABC"
    },
    {
      "id": 456,
      "name": "DEF"
    },
    {
      "id": 789,
      "name": "GHI"
    }
  ]
}

我创建了一个简单的数据流，用于加载此 JSON 文件，将其展平，然后通过接收器返回它。我主要对使用缓存接收器感兴趣，因为输出很小，并且我最终需要下一个管道步骤的输出。（检查写入活动输出。）

您可以看到数据预览显示了全部 3 行。（在这个例子中我有两个接收器，只是因为我要说明它们不匹配。）

接下来，我创建一个管道来运行数据流：

现在，当我调试它时，数据流输出仅显示 1 条记录：

        "output": {
            "TestCacheSink": {
                "value": [
                    {
                        "id": 123,
                        "name": "ABC"
                    }
                ],
                "count": 1
            }
        },

然而，第二个数据集接收器包含全部 3 条记录：

{"id":123,"name":"ABC"}
{"id":456,"name":"DEF"}
{"id":789,"name":"GHI"}

我预计 Cache Sink 的输出也会有 3 条记录。 为什么会出现差异呢？

Answer 1

当您选择缓存作为接收器时，将不允许您使用日志记录。在调试之前的验证过程中，您会看到以下错误。

为了解决这个问题，当您选择“无”进行日志记录时，它会自动检查“仅第一行”属性！这导致它仅将第一行写入缓存接收器。您只需在运行调试之前手动取消选中它即可。

它看起来是这样的......