电子邮件数据库设计(架构)

Flo*_*ris 5 database email relational-database bigdata database-schema

目前,我们正在开发一个相当大的应用程序,该应用程序必须处理大量记录。

这个想法是,电子邮件必须被存储(带有附件),并且用户应该能够通过 web-api 在他们存储的电子邮件中进行搜索。用户应该能够(在他们自己导出到数据库/存储的消息中)至少搜索以下项目:

  • 主题
  • 日期范围)
  • 附件(仅限名称和类型)
  • 留言内容
  • (可选)邮箱/文件夹结构

该应用程序应该能够处理大量用户和大量电子邮件(很容易从数百万增长到数十亿)。用户应该能够下载完整的原始邮件(带有附件),以便他们可以将其导入到他们的电子邮件客户端中。

我正在考虑将电子邮件索引到数据库中,然后将带有唯一密钥的附件的完整电子邮件作为packagea 存储到单独的存储中。通过这种方式,我应该保持数据库负载尽可能低,因此搜索尽可能快。

我发现了几个用于处理这样的电子邮件的数据库模式。我找不到任何能够处理数亿甚至数十亿条记录(电子邮件)的数据库。

这是保持简单、高效和快速的最有效方法还是我忘记了什么?

// 编辑 这个想法是在亚马逊云上运行它(也许有与之相关的建议?)

Jay*_*tel 6

您可以使用 mongoDB 数据库来处理此数据量。这是 mongoDb 的详细信息。http://www.mongodb.org/

在 mongoDb 中,mysql 表被称为集合,行被称为文档。

Mongo 以基于 JSON 的对象格式存储数据。

在这里创建数据库模式的一种可能方法。

from : string
to : string
subject: string
date (range): datetime
attachments (names & types only) : Object Array
message contents : string
(optional) mailbox / folder structure: string

for example:
from: from@gmail.com
to: to@gmail.com
subject: "test subject"
date: "current date",
attachments: {
 [0]=>{
   names: "attachments1",
   types: "text"
},
[1]=>{
  names: "attachments2",
   types: "pdf"
}
}
Run Code Online (Sandbox Code Playgroud)