标签: hadoop

我在Eclipse中使用Hadoop-1.0.1.我正在尝试运行wordcount应用程序但是当我运行我的WordCount.java时,Eclipse会向我显示以下错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
    at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:143)
    at test.WordCount.main(WordCount.java:56)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory
    at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
    ... 2 more

我的hadoop-core-1.0.1.jar classpath.应用程序是否需要更多jar

所以我们很多人都在谈论大数据问题.我知道一些应用程序,如页面排名,k-means和其他机器学习算法以及web索引等.

有没有人知道任何其他类型的大数据应用程序.

Hadoop技术对我来说非常混乱(Hbase,flume,oozie,scoop,zookeeper,Hive,hue,Bigtop,pig)以及现在它的黑斑羚.有人可以定义它们是如何集成的吗？(我是一个信息开发人员,对Java的知识很少)至少是数据软件的外壳!

我是HBase的新手.实际上HBase称为无模式数据存储.但是要在特定列中存储值,我们应该指定表,然后是列族,然后是列名,然后是{Actual value}.

所以我很困惑,要将值放入hbase表中,为什么我们需要指定列名.

HBase是无模式的吗？

请澄清我的疑问？提前致谢.

我需要在一秒钟内将 PB 级文本数据加载到存储 (RAM/SSD) 中。

下面是解决上述问题的一些问题。

1) 实际上/理论上是否可以在一秒钟内加载 PB 级的数据？2) 为了实现亚秒级快速加载 PB 级数据，最佳设计方法是什么。3）有可用的基准方法吗？

我可以使用任何类型的技术来实现，例如 Hadoop、spark、HPCC 等......

我个别理解每个是什么,但我很难在用例的差异上解决问题.

可以简要描述一下每个是什么,以及一个用例何时可以选择其他人的例子.

我的理解是Spark和Cassandra甚至没有可比性,但我的同事认为它们是同一物种.

作为大数据的新手,如果这是一个严格的意见/首选基础,我会提前道歉.如果有,请告诉我,我会把问题记下来.

有人可以根据软件背后的想法解释什么是hadoop？是什么让它如此受欢迎和/或强大？