规范化分片的SOLR记录:_version_问题

Question

作为我的DSpace实例的一部分,我有一个包含1200万使用情况统计记录的SOLR存储库.某些记录已通过多个SOLR升级进行迁移,并且不符合当前架构.其中500万条记录缺少我的架构中指定的唯一ID字段.

DSpace系统提供了一种机制,可使用以下代码将较旧的使用情况统计信息记录分片到单独的solr分片中.

DSPACE SHARD LOGIC:

        for (File tempCsv : filesToUpload) {
            //Upload the data in the csv files to our new solr core
            ContentStreamUpdateRequest contentStreamUpdateRequest = new ContentStreamUpdateRequest("/update/csv");
            contentStreamUpdateRequest.setParam("stream.contentType", "text/plain;charset=utf-8");
            contentStreamUpdateRequest.setAction(AbstractUpdateRequest.ACTION.COMMIT, true, true);
            contentStreamUpdateRequest.addFile(tempCsv, "text/plain;charset=utf-8");

            statisticsYearServer.request(contentStreamUpdateRequest);
        }
        statisticsYearServer.commit(true, true);

当我尝试运行此过程时,我收到了一条错误消息,指出我的每条记录都缺少唯一的id字段,并且该过程丢弃了500万条记录.

我试图替换这500万条记录,以强制在每条记录上创建唯一的id字段.这是我正在运行以触发该更新的代码.查询myQuery迭代数千条记录的批次.

我的录音修复程序:

    ArrayList<SolrInputDocument> idocs = new ArrayList<SolrInputDocument>();
    SolrQuery sq = new SolrQuery();
    sq.setQuery(myQuery);
    sq.setRows(MAX);
    sq.setSort("time", ORDER.asc);

    QueryResponse resp  = server.query(sq);
    SolrDocumentList list = resp.getResults();

    if (list.size() > 0) {
        for(int i=0; i<list.size(); i++) {
            SolrDocument doc = list.get(i);
            SolrInputDocument idoc = ClientUtils.toSolrInputDocument(doc);
            idocs.add(idoc);
        }           
    }

    server.add(idocs);
    server.commit(true, true);
    server.deleteByQuery(myQuery);
    server.commit(true, true);

运行此过程后,存储库中的所有记录都分配了唯一的ID.我触摸的记录也有一个_version_字段.

当我尝试重新运行上面包含的分片过程时,我收到与_version_字段值相关的错误,并且该过程终止.如果我尝试显式设置版本字段,则会收到相同的错误.

这是我在调用分片进程时遇到的错误消息:

Exception: version conflict for e8b7ba64-8c1e-4963-8bcb-f36b33216d69 expected=1484794833191043072 actual=-1
org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: version conflict for e8b7ba64-8c1e-4963-8bcb-f36b33216d69 expected=1484794833191043072 actual=-1
    at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:424)
    at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:180)

我的目标是修复我的记录,以便我可以运行DSpace提供的分片过程.您能否建议我应该采取任何其他措施来修复这些记录？

Answer 1

SolrLogger 中的分片代码将记录复制到新的空核心中。问题在于，DSpace 3以后的DSpace使用统计文档中包含一个_version_字段，并且该字段在分片时包含在副本中。

当包含字段的文档_version_添加到 Solr 索引时，这会触发 Solr 的乐观并发功能，该功能会检查索引中是否存在具有相同唯一 ID 的现有文档。逻辑大致如下（参见http://yonik.com/solr/optimistic-concurrency/）：

• _version_> 1：文档版本必须完全匹配
• _version_= 1: 文档必须存在
• _version_< 0：文档必须不存在
• _version_= 0：不关心（如果存在则正常覆盖）

因此，包含值 > 1 的使用统计文档_version_使 Solr 在新创建的年份分片中查找具有相同唯一 ID 的现有文档；然而，显然当时没有这样的文档，因此存在版本冲突。

分片期间的复制过程会创建临时 CSV 文件，然后将其导入到新核心中。幸运的是，可以使用skip参数告诉Solr的CSV更新处理程序从导入中排除特定字段： https: //wiki.apache.org/solr/UpdateCSV#skip

像这样更改分片代码

//Upload the data in the csv files to our new solr core
ContentStreamUpdateRequest contentStreamUpdateRequest = new ContentStreamUpdateRequest("/update/csv");
contentStreamUpdateRequest.setParam("stream.contentType", "text/plain;charset=utf-8");
+ contentStreamUpdateRequest.setParam("skip", "_version_");
contentStreamUpdateRequest.setAction(AbstractUpdateRequest.ACTION.COMMIT, true, true);
contentStreamUpdateRequest.addFile(tempCsv, "text/plain;charset=utf-8");

跳过该_version_字段，从而禁用乐观并发检查。

这在https://jira.duraspace.org/browse/DS-2212中进行了讨论，并在https://github.com/DSpace/DSpace/pull/893上提出了拉取请求；希望这将包含在 DSpace 5.2 中。