文档更新前的CouchDB附件操作

Question

我需要转换附加到每个文档的图像(实际上需要将图像缩小到400px宽度).实现这一目标的最佳方法是什么？正在考虑让nodejs代码监听_changes并对文档保存执行必要的操作.然而,这有一些缺点:a)文档更改并不总是意味着添加了新附件b)我们必须处理已经缩小的图像(至少检查图像宽度)

Answer 1

我认为你基本上在数据库中有一些数据,你的大多数问题只是应用程序逻辑和实现.我可以想象一个使用Drizzle的应用程序的非常相似的需求列表.无论如何,你的应用程序如何"减少粮食"并使用CouchDB的优势？

Node.js _changes监听器听起来是一个非常好的起点.Node.js有很多炒作和愚蠢的辩论.但是为了从CouchDB接收"待办事项列表"并同时执行该列表,Node.js是理想的.

Memoizing

我立刻认为文档中的图像元数据会对你有所帮助.获取图像并检查它是否为400px可能会变得昂贵.如果您可以在文档中指明"shrunk":true或"width":400类似的内容,您将立即知道跳过该文档.(这是一个优化,您可以在项目的早期阶段跳过它.)

但是,如何使元数据与图像保持同步？也许有人会在以后附上大图,而元数据仍然会说"shrunk":true.一个答案是验证功能.validate_doc_update()有权检查旧的和新的(候选)文档版本.如果不满意,可以throw()例外以防止更改.因此,它可以通过以下几种方式强制执行您的政策:

• 每次附加新图像时,"shrunk"也必须删除密钥
• 或者,您的外部Node.js工具具有访问CouchDB的专用用户名."shrunk":true除非用户是您的工具,否则不得设置文档

值得研究的另一个想法是,"shrunk":true将其设置为图像的MD5校验和,而不是设置.(这已经在文档中,在._attachments对象中.)因此,如果您的Node.js工具看到此文档,它就知道它有工作要做.

{ "_id": "a_doc"
, "shrunk": "md5-D2yx50i1wwF37YAtZYhy4Q=="
, "_attachments":
  { "an_image.png":
    { "content_type":"image/png"
    , "revpos": 1
    , "digest": "md5-55LMUZwLfzmiKDySOGNiBg=="
    }
  }
}

换一种说法:

if(doc.shrunk == doc._attachments["an_image.png"].digest)
  console.log("This doc is fine")
else
  console.log("Uh oh, I need to check %s and maybe shrink the image", doc._id)

执行

我有偏见因为我写了以下工具.但是我已经取得了成功,其他人已经报告使用Node.js包成功跟随观看_changes事件:https://github.com/iriscouch/follow

然后在CouchDB文档中使用Txn进行ACID事务:https://github.com/iriscouch/txn

模式是,

• follow()在_changes URL上运行,也许"include_docs":true在选项中运行.
• 对于每个更改,确定它是否需要工作.如果是,则执行一个函数以进行必要的更改,并且txn()如果存在临时错误,请注意提取和更新,以及可能的重试.

例如,Txn可以帮助您以原子方式调整图像大小,并且可以非常轻松地更新元数据.

最后,如果您的程序崩溃,您可能会获取许多已经处理过的文档.这可能没问题(如果你的元数据有效); 但是你可能偶尔想要记录一个检查点.记住你看到的变化.

var db = "http://localhost:5984/my_db"
var checkpoint = get_the_checkpoint_somehow() // Synchronous, for simplicity

follow({"db":db, "since":checkpoint}, function(er, change) {
  if(change.seq % 100 == 0)
    store_the_checkpoint_somehow(change.seq) // Another synchronous call
})

工作队列

再一次,我很尴尬地指出我自己的所有工具.但图像处理是工作队列情况的典型示例.需要工作的每个文档都放在队列中.一个无限的,有弹性的工人队伍接受一份工作,修复文件,并标记完成的工作(删除).

我自己经常使用这个,这就是我制作CQS,CouchDB队列系统的原因:https://github.com/iriscouch/cqs

它适用于Node.js,它与Amazon SQS完全相同,只不过它使用您自己的CouchDB服务器.如果您已经在使用CouchDB,那么CQS可能会简化您的项目.