我正在开发一个基于社交网络的应用程序,该应用程序使用Apache Web服务器和MYSQL服务器用于具有codeigniter MVC框架的数据库.我不知道如何在这个应用程序中集成Hadoop以及如何编写map-reduce程序.
mkr*_*kro 14
Hadoop和map-reduce与Web应用程序没有直接关系.只要您将Web应用程序理解为(快速)响应用户输入(Web请求)的内容,就不应将Hadoop集成到Web应用程序中.
Hadoop和map-reduce对于在大型数据集上运行的算法非常有用,以便从这些数据集转换/提取数据/知识.
小智 9
虽然Hadoop现在主要用于"离线分析",但它对Web项目也很有用.例如,预先计算随后提供给网站用户的推荐或建议.
另一种使用情况是能够从多个数据源进行ETL以产生网站的倒排索引(例如,具有大量输入数据的工作/汽车/租赁类网站).
当您遇到"大数据"问题时,请始终考虑Hadoop,而不是在您的网站管理少量数据时.
使用Hadoop解决这类问题有一些优点和缺点.显而易见的优点是它使任何类型的批处理过程(如我提到的例子)透明地扩展.缺点是它不是实时的:你不能每5秒钟使用Hadoop来更新你的网站.
| 归档时间： |
|
| 查看次数： |
21324 次 |
| 最近记录： |