hadoop初学者的问题

Omn*_*ent 6 java oracle hadoop

我已经阅读了一些关于hadoop的文档并看到了令人印象深刻的结果.我得到了更大的图片,但我觉得它是否适合我们的设置很难.问题不是编程相关但我渴望得到目前使用hadoop的人的意见以及它如何适合我们的设置:

  • 我们使用Oracle作为后端
  • 用于前端的Java(Struts2/Servlets/iBatis)
  • 每晚我们得到需要总结的数据.这是一个批处理过程(需要5个小时)

我们正在寻找一种方法将这5小时缩短到更短的时间.

hadoop在哪里适合这张照片?即使在hadoop之后我们还能继续使用Oracle吗?

APC*_*APC 4

您很可能可以通过一些简单的调整来显着减少批处理过程的运行时间。我是根据过去的经验进行简单的分析。批处理过程往往写得很差,正是因为它们是自主的,所以没有愤怒的用户要求更好的响应时间。

当然,我认为在新技术中投入大量时间和精力重新实现我们的应用程序是没有任何意义的——无论它多么新鲜和酷——直到我们用尽了当前架构的功能。 。

如果您需要一些有关如何调整批量查询的具体建议,那么这将是一个新问题。