索引器运行后，Azure 搜索不删除数据

Question

我在 blob storage 中有一个文件folder/new/data1.json。

data1 包含 json 数组。

[   
    {
        "name": "na",
        "data": {
            "1":"something1",
            "2":"something2"

        }
    },
    {
        "name": "ha",
        "data": {
            "1":"something1",
            "2":"something2"
        }
    }
]

我的数据源正文：

{
    "name" : "datasource",
    "type" : "azureblob",
    "credentials" : { "connectionString" : "MyStorageConnStrning" },
    "container" : { "name" : "mycontaner", "query" : "folder/new" }
}   

我的索引体：

{
    "name" : "index",
    "fields": [
       { "name": "id", "type": "Edm.String", "key": true, "searchable": false },
       { "name": "name", "type": "Edm.String", "searchable": true, "filterable": false, "sortable": true, "facetable": true},
       { "name": "data", "type": "Edm.String", "searchable": false}
    ]
}

索引器主体：

{
    "name" : "indexer",
    "dataSourceName" : "datasource",
    "targetIndexName" : "index",
    "parameters" : { "configuration" : { "parsingMode" : "jsonArray" } }
}

创建时，我可以搜索na和ha并得到结果。

但是如果我folder/new/data1.json从 blob 存储中删除并运行索引器并尝试搜索na，ha我仍然会得到结果。

我发现如果我删除索引器并重新创建它na并ha远离搜索。

有没有办法在不删除索引器的情况下删除以前的数据？

Answer 1

使用索引器删除文档有点棘手，尤其是当您的 blob 包含多个文档时；如果您直接删除 blob，则索引器将看不到 blob，也不会尝试从索引中删除任何内容。

要使索引器删除文档，您需要使用软删除删除检测策略，例如：

{
  "@odata.type": "#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
  "softDeleteColumnName": "IsDeleted",
  "softDeleteMarkerValue": "true"
}

当您要删除文档时，请添加"IsDeleted": true到 JSON 对象。在 blob 中的所有文档都被软删除并且索引器已删除删除后，只有这样您才能进行硬删除并删除 blob。

这里的一个微妙之处是您不能添加/删除/重新排列数组的元素，因为您使用的是默认文档 ID，这取决于 blob 路径和数组索引。如果您使用该name字段作为键，那么您将可以灵活地在 blob 内进行部分硬删除。