标签: hbase

分组在HBase

我对HBase几乎一无所知.对不起基本问题.

想象一下,我有一个包含10亿个行,一个日期时间和一个字符串列的1000亿行表.

  1. HBase是否允许查询此表并根据键(甚至是复合键)对结果进行分组?
  2. 如果是这样,它是否必须运行map/reduce作业?
  3. 你如何提供查询?
  4. HBase一般可以在表上执行实时查询吗?

hbase group-by

8
推荐指数
2
解决办法
1万
查看次数

获取行HBase的特定列族中的列

我正在编写一个应用程序,通过JSP在HBase中的特定表中显示数据.我想获取特定列系列中的所有列.

有没有办法做到这一点?

java hadoop hbase

8
推荐指数
2
解决办法
1万
查看次数

HBase 0.92在Windows上使用Cygwin独立

有没有人知道在Cygwin下如何在Windows上运行HBase的教程?

我设法设置所有内容,例如使用SSH自动登录的密钥,但我坚持以下错误消息:

localhost: +======================================================================+
localhost: |      Error: JAVA_HOME is not set and Java could not be found         |
localhost: +----------------------------------------------------------------------+
localhost: | Please download the latest Sun JDK from the Sun Java web site        |
localhost: |       > http://java.sun.com/javase/downloads/ <                      |
localhost: |                                                                      |
localhost: | HBase requires Java 1.6 or later.                                    |
localhost: | NOTE: This script will find Sun Java whether you install using the   |
localhost: |       binary or the RPM based installer.                             |
localhost: +======================================================================+
Run Code Online (Sandbox Code Playgroud)

... …

java cygwin hbase

8
推荐指数
2
解决办法
5078
查看次数

基于列或基于行的HBase

我想知道HBase是使用基于列的存储还是基于行的存储?

  • 我读了一些技术文档,并提到HBase的优点是使用基于列的存储将类似的数据存储在一起以促进压缩.所以它意味着不同行的相同列存储在一起;
  • 但我也了解到HBase是一个有序的键值映射.它使用key来解决该键(行)的所有相关列,因此它似乎是基于行的存储?

如果有人能澄清我的困惑,我们将不胜感激.

乔治,提前谢谢

hbase

8
推荐指数
1
解决办法
8935
查看次数

表在HBase中既不启用也不禁用

我面临着一个奇怪的问题.我通过API访问我的HBase表.在执行过程中途,我为表'x'获得了RegionNotServing.但我的HRegionServers工作正常.

当我试图从HBase Shell列出表时,我找不到我的表'x'.当我尝试禁用我的表'x'时,它抛出了一个TableNotEnabledException,当我尝试启用我的表'x'时,它向我扔了一个TableNotDisabledException.

附件是我得到的执行:

hbase(main):002:0> disable 'x'

ERROR: org.apache.hadoop.hbase.TableNotEnabledException: org.apache.hadoop.hbase.TableNotEnabledException: x
        at org.apache.hadoop.hbase.master.handler.DisableTableHandler.<init>(DisableTableHandler.java:75)
        at org.apache.hadoop.hbase.master.HMaster.disableTable(HMaster.java:1154)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:364)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1336)

Here is some help for this command:
Start disable of named table: e.g. "hbase> disable 't1'"


hbase(main):003:0> enable 'x'

ERROR: org.apache.hadoop.hbase.TableNotDisabledException: org.apache.hadoop.hbase.TableNotDisabledException: x
        at org.apache.hadoop.hbase.master.handler.EnableTableHandler.<init>(EnableTableHandler.java:74)
        at org.apache.hadoop.hbase.master.HMaster.enableTable(HMaster.java:1142)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:364)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1336)

Here is some help for this command:
Start enable of named table: …
Run Code Online (Sandbox Code Playgroud)

hbase

8
推荐指数
1
解决办法
9234
查看次数

Hbase错误.org.apache.hadoop.hbase.client.RetriesExhaustedException:尝试次数= 10后失败,异常

我正在使用Hbase,当我查询Hbase时,我开始遇到一个丑陋的错误.

问题是当我尝试与Hbase建立连接时出现此错误.唯一的问题是我使用线程,,,但实际上并不是太多.

Caused by: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=10, exceptions:
Wed Dec 04 16:09:13 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:14 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:15 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:16 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:18 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:20 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed Dec 04 16:09:24 CET 2013, org.apache.hadoop.hbase.client.HTable$5@7271601f, java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@35cc96e8 closed
Wed …
Run Code Online (Sandbox Code Playgroud)

hbase

8
推荐指数
1
解决办法
1万
查看次数

擦除Zookeeper数据目录

我是Hadoop/Hbase和zookeeper的新手.
我在运行create table命令时面临以下异常hbase shell.

org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
Run Code Online (Sandbox Code Playgroud)

这个问题中提到我需要遵循以下步骤:

1. Stop Zookeeper  
2. Wipe the Zookeeper data directory  
3. Restart it
Run Code Online (Sandbox Code Playgroud)

解决此问题.

有人可以解释如何在Ubuntu中执行这些步骤.
任何帮助将受到高度赞赏

ubuntu hadoop hbase apache-zookeeper

8
推荐指数
1
解决办法
2万
查看次数

Hbase 0.96,Spark v 1.0+

这种Hbase/Spark版本的组合似乎非常有毒.我花了好几个小时试图找到各种可行的MergeStrategy,但无济于事.

这是当前build.sbt的核心:

val sparkVersion = "1.0.0"
// val sparkVersion = "1.1.0-SNAPSHOT"

val hbaseVersion = "0.96.1.1-cdh5.0.2"

libraryDependencies ++= Seq(
    "org.apache.hbase" % "hbase-client" % hbaseVersion,
    "org.apache.hbase" % "hbase-common" % hbaseVersion,
    "org.apache.hbase" % "hbase-server" % hbaseVersion,
    "org.apache.hbase" % "hbase-protocol" % hbaseVersion,
    "org.apache.hbase" % "hbase-examples" % hbaseVersion,
  ("org.apache.spark" % "spark-core_2.10" % sparkVersion  withSources()).excludeAll(ExclusionRule("org.mortbay.jetty")),
  "org.apache.spark" % "spark-sql_2.10" % sparkVersion  withSources()
)
Run Code Online (Sandbox Code Playgroud)

以下是不可避免地重现的错误消息:

14/06/27 19:49:24 INFO HttpServer: Starting HTTP Server
[error] (run-main-0) java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in …
Run Code Online (Sandbox Code Playgroud)

hbase scala sbt apache-spark

8
推荐指数
1
解决办法
4465
查看次数

具有多个范围的HBase扫描

我有一个HBase表,我需要从几个范围得到结果.例如,我可能需要从不同的范围获取数据,如第1-6行,第100-150行......我知道每次扫描时,我都可以定义起始行和停止行.但如果我有6个范围,我需要扫描6次.有没有什么方法可以从一次扫描或一次RPC中获得多个范围的结果?我的HBase版本是0.98.

hbase database-scan

8
推荐指数
1
解决办法
3265
查看次数

java.lang.IllegalArgumentException:无法使用PTableType枚举获取'MATERIALIZED VIEW'的值与Phoenix和Hbase的异常

我是Saiku的新手.我想把saiku和凤凰融为一体.凤凰实习生与HBase联系.我创建了一个模式,当Saiku尝试加载phoenix schema xml时,Am触发了以下错误.我正在努力想弄明白.任何人都可以建议我错过了什么,做了什么.

我使用的是以下版本的s/ws:

Phoenix 4.4 HBase 1.1.2 Saiku 3.8

感谢您的支持.

请在下面找到异常跟踪:

 java.lang.IllegalArgumentException: Unable to PTableType enum for value of 'MATERIALIZED VIEW'
    at org.apache.phoenix.schema.PTableType.fromValue(PTableType.java:88)
    at org.apache.phoenix.jdbc.PhoenixDatabaseMetaData.getTables(PhoenixDatabaseMetaData.java:1057)
    at org.apache.commons.dbcp.DelegatingDatabaseMetaData.getTables(DelegatingDatabaseMetaData.java:604)
    at mondrian.rolap.aggmatcher.JdbcSchema.loadTablesOfType(JdbcSchema.java:1205)
    at mondrian.rolap.aggmatcher.JdbcSchema.loadTables(JdbcSchema.java:1162)
    at mondrian.rolap.aggmatcher.JdbcSchema.load(JdbcSchema.java:1042)
    at mondrian.rolap.RolapSchema$PhysSchema.<init>(RolapSchema.java:976)
    at mondrian.rolap.RolapSchemaLoader.createSyntheticPhysicalSchema(RolapSchemaLoader.java:1479)
    at mondrian.rolap.RolapSchemaLoader.validatePhysicalSchema(RolapSchemaLoader.java:684)
    at mondrian.rolap.RolapSchemaLoader.loadStage2(RolapSchemaLoader.java:376)
    at mondrian.rolap.RolapSchemaLoader.loadStage1(RolapSchemaLoader.java:336)
    at mondrian.rolap.RolapSchemaLoader.loadStage0(RolapSchemaLoader.java:272)
    at mondrian.rolap.RolapSchemaLoader.createSchema(RolapSchemaLoader.java:4304)
    at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:210)
    at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:62)
    at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:160)
    at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:84)
    at mondrian.olap.DriverManager.getConnection(DriverManager.java:112)
    at mondrian.olap.DriverManager.getConnection(DriverManager.java:68)
    at mondrian.olap4j.MondrianOlap4jConnection.<init>(MondrianOlap4jConnection.java:153)
    at mondrian.olap4j.FactoryJdbc4Plus$AbstractConnection.<init>(FactoryJdbc4Plus.java:323)
    at mondrian.olap4j.FactoryJdbc41Impl$MondrianOlap4jConnectionJdbc41.<init>(FactoryJdbc41Impl.java:118)
    at mondrian.olap4j.FactoryJdbc41Impl.newConnection(FactoryJdbc41Impl.java:32)
    at mondrian.olap4j.MondrianOlap4jDriver.connect(MondrianOlap4jDriver.java:139)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at org.saiku.datasources.connection.SaikuOlapConnection.connect(SaikuOlapConnection.java:111)
    at org.saiku.datasources.connection.SaikuOlapConnection.connect(SaikuOlapConnection.java:57)
    at org.saiku.datasources.connection.SaikuConnectionFactory.getConnection(SaikuConnectionFactory.java:29) …
Run Code Online (Sandbox Code Playgroud)

java olap hbase phoenix saiku

8
推荐指数
1
解决办法
173
查看次数