标签: hbase

HBase cassandra couchdb mongodb ..有什么根本区别?

我只是想知道hbase,cassandra,couchdb和monogodb之间是否存在根本区别?换句话说,他们是否都在完全相同的市场中竞争,并试图解决完全相同的问题.或者它们在不同情况下最适合?

这一切都是问题所在,我应该选择什么时候.品味问题?

谢谢,

费德里科

hbase couchdb mongodb cassandra nosql

15
推荐指数
3
解决办法
7637
查看次数

是否有一个很好的库来从Python访问HBase?

我花了一些时间环顾四周,而我所能找到的只是Jython.这是一个选项,但有什么东西可以用更pythonesque(更简单)的方式?

python hadoop hbase stargate

14
推荐指数
2
解决办法
9617
查看次数

Hbase客户端无法与远程Hbase服务器连接

我为远程服务器编写了以下hbase客户端类:

System.out.println("Hbase Demo Application ");

            // CONFIGURATION

                // ENSURE RUNNING
            try {
                HBaseConfiguration config = new HBaseConfiguration();
                config.clear();
                config.set("hbase.zookeeper.quorum", "192.168.15.20");
                config.set("hbase.zookeeper.property.clientPort","2181");
                config.set("hbase.master", "192.168.15.20:60000");
                //HBaseConfiguration config = HBaseConfiguration.create();
    //config.set("hbase.zookeeper.quorum", "localhost");  // Here we are running zookeeper locally
                HBaseAdmin.checkHBaseAvailable(config);


                System.out.println("HBase is running!");
            //  createTable(config);    
                //creating a new table
                HTable table = new HTable(config, "mytable");
                System.out.println("Table mytable obtained ");  
                addData(table);
            } catch (MasterNotRunningException e) {
                System.out.println("HBase is not running!");
                System.exit(1);
            }catch (Exception ce){ ce.printStackTrace();
Run Code Online (Sandbox Code Playgroud)

它抛出一些例外:

Oct 17, 2011 1:43:54 PM org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation getMaster
INFO: …
Run Code Online (Sandbox Code Playgroud)

java hadoop hbase

14
推荐指数
1
解决办法
4万
查看次数

Hbase把shell命令

如何在Hbase shell中使用put命令插入多个值.我有一个有五个限定符的列族.如何使用Put使用一个命令将值插入所有这5个限定符

shell hbase

14
推荐指数
1
解决办法
6190
查看次数

hbase连接被拒绝了

我是HBaseHadoop的新手.我已经完全设置了HBase并且开始完美.现在,当我尝试使用Java客户端从p1连接到HBase(其中HBase设置在p2上)时,它会抛出一个奇怪的异常.

12/04/17 14:36:37 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=192.168.15.20:2181 sessionTimeout=180000 watcher=hconnection
12/04/17 14:36:38 INFO zookeeper.ClientCnxn: Opening socket connection to server /192.168.15.20:2181
12/04/17 14:36:38 WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1119)
12/04/17 14:36:39 INFO zookeeper.ClientCnxn: Opening socket connection to server hbase.local/192.168.15.20:2181
12/04/17 14:36:39 WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection …
Run Code Online (Sandbox Code Playgroud)

java linux hadoop hbase java-ee

14
推荐指数
2
解决办法
3万
查看次数

如何从hbase扫描结果中获取行密钥

当逐行扫描hbase表时,如何获得行键?这是我的代码:

for (Result rr : scanner) {
   System.out.println(rr);
}
Run Code Online (Sandbox Code Playgroud)

有没有像我可以使用的getKey()方法?谢谢.

java hbase

14
推荐指数
1
解决办法
2万
查看次数

Hbase Schema嵌套实体

有没有人有关于如何使用嵌套实体创建Hbase表的示例?

UserName (string)
SSN  (string)
  + Books (collection)
Run Code Online (Sandbox Code Playgroud)

例如,书籍集合看起来像这样

图书

isbn
title
etc...
Run Code Online (Sandbox Code Playgroud)

我找不到一个例子是如何创建这样的表.我看到很多人都在谈论它,以及在某些情况下它是如何做到最好的做法,但我找不到一个如何在任何地方做到这一点的例子.

谢谢...

schema hadoop hbase

14
推荐指数
1
解决办法
4736
查看次数

如何确定HBase表的大小?有没有命令这样做?

我的Hbase shell上有多个表,我想复制到我的文件系统中.有些表超过100GB.但是,我的本地文件系统中只剩下55gb可用空间.因此,我想知道我的hbase表的大小,以便我只能导出小型表.任何建议表示赞赏.

谢谢,gautham

hadoop hbase export bigdata

14
推荐指数
3
解决办法
2万
查看次数

HBase扫描很慢

问题

我正在尝试与Phoenix建立二级索引.索引创建需要几个小时.这似乎是由于HBase扫描速度慢,因为我注意到以下性能:

  • 我可能需要2个小时来扫描表,而其他开发人员报告了几分钟的大表(1亿行).
  • HBase shell能够计算大约的行数.速率为每秒10.000,这意味着3800s(> 1小时!)来计算该表的所有行.

使用HBase shell和Java扫描程序.

注意:GET(通过rowkey)操作实现了良好的性能(约0.5秒).


上下文

  • 3800行/ 1000列/单列系列/ 96Go,带GZ压缩.
  • Cluster有6个节点(126Go RAM,24个核心),有5个区域服务器.
  • Hortonworks数据平台2.2.0

故障排除

基于HBase书籍(http://hbase.apache.org/book.html#performance),这是我已经检查过的内容:

1)硬件

  • IO(磁盘)
    • NMon称磁盘永远不会超过80%,最常见的是0到20%
    • Top说HBase JVM没有交换(检查5个RS中的2个)
  • IO(网络):每个节点活动接口站在同一个交换机上(所有第二个被动接口都插在不同的交换机上)

2)JVM

  • GC暂停OK(每分钟左右暂停几毫秒)
  • 堆看起来不错(在极限附近没有达到峰值太长)
  • CPU令人惊讶的低:从不超过10%
  • 主题:
    • 活动线程(10"RpServe.reader = N"+其他一些)显示没有争用
    • 许多停放的线程什么都不做(60"DefaultRpcServer.handler = n",大约15个其他)
    • 没有任何线程状态的巨大IPC客户端列表

3)数据

  • 使用Hive + completebulkload批量加载.
  • 地区数量:
    • 13个区域意味着每个RS有2到3个大区域,这是预期的.
    • 在强制进行主要压缩后,扫描性能保持不变.
    • 区域大小相当同质:11个区域为4,5Go(+/- 0.5),2个区域为2,5Go

4)HBase配置

  • 大多数配置保持不变.

    • HBase env仅指示JMX控制台的端口
    • HBase-site对Phoenix的设置很少
  • 一些对我来说看起来不错的params

    • hbase.hregion.memstore.block.multiplier
    • hbase.hregion.memstore.flush.size:134217728 bytes(134Go)
    • Xmx的Xmn比率:.2Xmn最大值:512Mb Xms:6144m
    • hbase.regionserver.global.memstore.lowerLimit:0.38
    • hbase.hstore.compactionTreshold:3
    • hfile.block.cache.size:0.4(块缓存大小占堆的AS%)
    • 最大HStoreFile(hbase.hregion.max.filesize):10 go(10737418240)
    • 客户端扫描程序缓存:100行zookeeper超时:30秒
    • 客户端最大密钥值大小:10mo
    • hbase.regionserver.global.memstore.lowerLimit:0.38
    • hbase.regionserver.global.memstore.upperLimit:0.40
    • hstore阻止storefiles:10
    • hbase.hregion.memstore.mslab.enabled:
    • 启用hbase.hregion.majorcompaction.jitter:0.5
  • 尝试以下配置更改而不会对性能产生任何影响

    • hbase-env.sh:尝试增加HBASE_HEAPSIZE = 6144(因为它默认为1000)
    • hbase-site.xml:
      • hbase.ipc.server.callqueue.read.ratio:0.9
      • hbase.ipc.server.callqueue.scan.ratio:0.9

5)日志没有任何用处

cat hbase-hbase-master-cox.log …

hbase phoenix

14
推荐指数
1
解决办法
5841
查看次数

使用Phoenix和Cloudera Hbase(从repo安装)

我可以让Phoenix在独立的Apache Hbase上工作

(注意,这一切都适用于RHEL6.5上的Hbase 1.0.0)

对于Hbase的Cloudera风味,但是如果没有它抛出异常,我永远不会让它工作.(甚至尝试过RHEL7 minimal as as OS)

对于Hbase 1.0,Phoenix 4.4也会发生同样的事情.

hbase(main):001:0> version
1.0.0-cdh5.4.4, rUnknown, Mon Jul  6 16:59:55 PDT 2015
Run Code Online (Sandbox Code Playgroud)

堆栈跟踪:

    [ec2-user@ip-172-31-60-109 phoenix-4.5.0-HBase-1.0-bin]$ bin/sqlline.py localhost:2181:/hbase
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:localhost:2181:/hbase none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenix:localhost:2181:/hbase
15/08/06 03:10:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/06 03:10:26 WARN impl.MetricsConfig: Cannot locate configuration: tried hadoop-metrics2-phoenix.properties,hadoop-metrics2.properties
15/08/06 03:10:27 WARN ipc.CoprocessorRpcChannel: Call failed on IOException
org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: SYSTEM.CATALOG: org.apache.hadoop.hbase.client.Scan.setRaw(Z)Lorg/apache/hadoop/hbase/client/Scan;
    at …
Run Code Online (Sandbox Code Playgroud)

hadoop hbase phoenix cloudera

14
推荐指数
1
解决办法
5002
查看次数

标签 统计

hbase ×10

hadoop ×6

java ×3

phoenix ×2

bigdata ×1

cassandra ×1

cloudera ×1

couchdb ×1

export ×1

java-ee ×1

linux ×1

mongodb ×1

nosql ×1

python ×1

schema ×1

shell ×1

stargate ×1