标签: weed-fs

从Hadoop提供静态文件

我的工作是为静态图像/视频文件设计分布式系统.数据大小约为数十TB.它主要用于HTTP访问(因此不对数据进行处理;或者只进行简单的处理,例如调整大小 - 但这并不重要,因为它可以直接在应用程序中完成).

为了更清楚一点,它是一个系统:

  1. 必须分布(水平刻度),因为数据的总大小非常大.
  2. 主要通过HTTP提供小型静态文件(如图像,缩略图,短视频).
  3. 通常,不需要处理数据(因此不需要MapReduce)
  4. 可以轻松地对数据设置HTTP访问.
  5. (应该)良好的吞吐量.

我正在考虑:

  1. 本机网络文件系统:但似乎不可行,因为数据无法放入一台机器.

  2. Hadoop文件系统.之前我使用过Hadoop mapreduce,但我没有使用Hadoop作为HTTP请求的静态文件存储库的经验.所以我不知道它是否可能或是否是推荐的方式.

  3. MogileFS.这似乎很有希望,但我觉得使用MySQL来管理本地文件(在一台机器上)会产生太多的开销.

有什么建议吗?

distributed hadoop scalability mapreduce weed-fs

4
推荐指数
1
解决办法
1335
查看次数

标签 统计

distributed ×1

hadoop ×1

mapreduce ×1

scalability ×1

weed-fs ×1