sri*_*ran -2 performance hadoop bigdata apache-spark hpcc
我需要在一秒钟内将 PB 级文本数据加载到存储 (RAM/SSD) 中。
下面是解决上述问题的一些问题。
1) 实际上/理论上是否可以在一秒钟内加载 PB 级的数据？2) 为了实现亚秒级快速加载 PB 级数据，最佳设计方法是什么。3）有可用的基准方法吗？
我可以使用任何类型的技术来实现，例如 Hadoop、spark、HPCC 等......
“拍字节......在一秒钟之内”。严重地？请查看维基百科 Petabyte：它是 1.000.000 GB！
另请检查维基百科内存带宽。即使是最快的 RAM 也无法处理超过 10 GB/s 的速度（实际上这个值要低得多）。
只是好奇：您的用例是什么？
| 归档时间： |
|
| 查看次数： |
274 次 |
| 最近记录： |