我经常在EC2上运行现场实例(用于Hadoop任务作业,临时节点等)其中一些是长期运行的现场实例.

它很容易计算按需或保留的EC2实例的成本 - 但是如何计算作为专色实例运行的特定节点(或节点)的成本？

我知道现场实例的成本每小时都会根据市场价格而变化 - 那么有没有办法计算运行现货实例的累计总成本？通过API或其他方式？

我知道很多人报告了几乎相同的问题,但我还没有找到解决方案.

我安装了eclipse.

1. 在我的计算机上安装了Kies以获取手机的ADB驱动程序.
2. 我可以在windows vista上看到ADBdriver.
3. 我把银河系置于开发者模式和USB故障排除模式.
4. 在Windows Vista中检测到手机.我可以在Windows资源管理器中看到它.
5. 如果我从"cmd"运行adb设备,它会列出我的手机.

但是在eclipse中它没有显示出来？我曾尝试重新安装驱动程序几次但没有成功.

请帮忙.

什么是NotServingRegionException在HBase的？

我的HBase集群一直运行良好,但在过去的几天里,一个像下面这样的奇怪错误消息不断弹出:

180次操作失败:NotServingRegionException:180次,服务器出现问题:xyza:60020,

我正在使用Thrift将数据插入HBase.看起来大多数数据插入正常,但作业仍然会抛出这个"错误".

在Internet上搜索显示此异常可能与区域拆分有关,但如何修复HBase或我的脚本以便不再抛出此异常？

我刚刚发现使用Amazon的Elastic Map Reduce,我可以指定一个步骤来选择三个ActionOnFailure中的一个:

• TERMINATE_JOB_FLOW
• CANCEL_AND_WAIT
• 继续

TERMINATE_JOB_FLOW是默认的并且显而易见 - 它在步骤失败时关闭整个群集.

CANCEL_AND_WAIT和CONTINUE有什么区别？在我看来,两者都将保持群集运行,并在添加时继续进行下一步.

嗨我在完全分布式模式下使用hBase,我正在尝试使用java代码连接Hbase并创建一个表.我收到一个错误.它没有连接到hbase.我检查了它们正常运行的所有进程: - namenode,datanode,nodemanager,资源管理器,hbase master,hbase regionservers,zookeeper.

错误

starting...
getting config...
12/07/25 18:48:31 WARN hbase.HBaseConfiguration: instantiating HBaseConfiguration() is deprecated. Please use HBaseConfiguration#create() to construct a plain Configuration
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.3.2-1031432, built on 11/05/2010 05:32 GMT
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:host.name=aniket
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.version=1.7.0_05
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Oracle Corporation
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.home=/usr/java/jdk1.7.0_05/jre
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.class.path=/root/workspace/HBaseTesting/bin:/usr/lib/hadoop-0.20-mapreduce/hadoop-core.jar:/usr/lib/hadoop/hadoop-common.jar:/root/Downloads/google-collect-1.0-rc1/google-collect-1.0-rc1.jar:/root/Downloads/hbase-0.90.5/hbase-0.90.5.jar:/root/Downloads/hbase-0.90.5/lib/activation-1.1.jar:/root/Downloads/hbase-0.90.5/lib/asm-3.1.jar:/root/Downloads/hbase-0.90.5/lib/avro-1.3.3.jar:/root/Downloads/hbase-0.90.5/lib/commons-cli-1.2.jar:/root/Downloads/hbase-0.90.5/lib/commons-codec-1.4.jar:/root/Downloads/hbase-0.90.5/lib/commons-el-1.0.jar:/root/Downloads/hbase-0.90.5/lib/commons-httpclient-3.1.jar:/root/Downloads/hbase-0.90.5/lib/commons-lang-2.5.jar:/root/Downloads/hbase-0.90.5/lib/commons-logging-1.1.1.jar:/root/Downloads/hbase-0.90.5/lib/commons-net-1.4.1.jar:/root/Downloads/hbase-0.90.5/lib/core-3.1.1.jar:/root/Downloads/hbase-0.90.5/lib/guava-r06.jar:/root/Downloads/hbase-0.90.5/lib/hadoop-core-0.20-append-r1056497.jar:/root/Downloads/hbase-0.90.5/lib/jackson-core-asl-1.5.5.jar:/root/Downloads/hbase-0.90.5/lib/jackson-jaxrs-1.5.5.jar:/root/Downloads/hbase-0.90.5/lib/jackson-mapper-asl-1.4.2.jar:/root/Downloads/hbase-0.90.5/lib/jackson-xc-1.5.5.jar:/root/Downloads/hbase-0.90.5/lib/jasper-compiler-5.5.23.jar:/root/Downloads/hbase-0.90.5/lib/jasper-runtime-5.5.23.jar:/root/Downloads/hbase-0.90.5/lib/jaxb-api-2.1.jar:/root/Downloads/hbase-0.90.5/lib/jaxb-impl-2.1.12.jar:/root/Downloads/hbase-0.90.5/lib/jersey-core-1.4.jar:/root/Downloads/hbase-0.90.5/lib/jersey-json-1.4.jar:/root/Downloads/hbase-0.90.5/lib/jersey-server-1.4.jar:/root/Downloads/hbase-0.90.5/lib/jettison-1.1.jar:/root/Downloads/hbase-0.90.5/lib/jetty-6.1.26.jar:/root/Downloads/hbase-0.90.5/lib/jetty-util-6.1.26.jar:/root/Downloads/hbase-0.90.5/lib/jruby-complete-1.6.0.jar:/root/Downloads/hbase-0.90.5/lib/jsp-2.1-6.1.14.jar:/root/Downloads/hbase-0.90.5/lib/jsp-api-2.1-6.1.14.jar:/root/Downloads/hbase-0.90.5/lib/jsr311-api-1.1.1.jar:/root/Downloads/hbase-0.90.5/lib/log4j-1.2.16.jar:/root/Downloads/hbase-0.90.5/lib/protobuf-java-2.3.0.jar:/root/Downloads/hbase-0.90.5/lib/servlet-api-2.5-6.1.14.jar:/root/Downloads/hbase-0.90.5/lib/slf4j-api-1.5.8.jar:/root/Downloads/hbase-0.90.5/lib/slf4j-log4j12-1.5.8.jar:/root/Downloads/hbase-0.90.5/lib/stax-api-1.0.1.jar:/root/Downloads/hbase-0.90.5/lib/thrift-0.2.0.jar:/root/Downloads/hbase-0.90.5/lib/xmlenc-0.52.jar:/root/Downloads/hbase-0.90.5/lib/zookeeper-3.3.2.jar:/root/Downloads/hbql-0.90.0.1/hbql-0.90.0.1.jar
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
12/07/25 18:48:32 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp
12/07/25 …

我正在为一个项目使用 SQLAlchemy，并且出于性能原因需要能够为一个特定调用指定会话变量/设置：

set session max_heap_table_size = 1024 * 1024 * 64;

我当然可以直接在 MySQL 中（在 shell 上）执行此操作，但是如何在 SQLAlchemy 会话中设置此会话变量？

我们正在考虑使用HBase进行实时分析.

在HBase之前,我们将在日志文件上运行Hadoop Map Reduce作业并聚合数据,并将细粒度聚合结果存储在HBase中,以实现对聚合数据的实时分析和查询.因此HBase表将具有预聚合数据(按日​​期).

我的问题是:如何最好地设计HBase数据库的模式和主键设计,以实现快速但灵活的查询.

例如,假设我们将以下行存储在数据库中:

timestamp, client_ip, url, referrer, useragent

并说我们的map-reduce作业产生三个不同的输出字段,每个字段我们要存储在一个单独的"表"(HBase列族)中:

• date,operating_system,browser
• 日期,网址,推荐人
• 日期,网址,国家/地区

(我们的map-reduce作业从用户代理和client_ip数据中获取operating_system,browser和country字段.)

我的问题是:我们如何构建HBase模式以允许对这些字段或组合中的任何字段进行快速,接近实时和灵活的查找？例如,用户必须能够指定:

• 按日期操作系统("此日期范围内有多少iPad用户？")
• 按国家/地区和日期划分的网址("上个月来自此国家/地区的网址数量是多少？")

基本上任何其他自定义查询？

我们应该使用这样的键:

• date_os_browser
• date_url_referrer
• date_url_country

如果是的话,我们可以完成上面指定的那种查询吗？

感谢Cloudera发行版,我在本地计算机上运行了HBase master/datanode + Thrift服务器,可以编写和测试HBase客户端程序并使用它,没问题.

但是,我现在需要在生产中使用Thrift,而且我无法找到有关如何使用生产HBase集群运行Thrift的文档.

据我所知,我需要在客户端节点上运行hbase-thrift程序,因为Thrift程序只是HBase的另一个中间客户端.

所以我猜我必须能够以某种方式将主节点主机名/ IP指定为HBase-Thrift？我该怎么做？

另外,有关如何在生产中扩大规模的任何建议？我只需要这样的设置:

Client <-> Thrift client <-> HBase Master <-> Multiple HBase workers

我正在使用EC2用户指南文档学习amazon EC2.我的目标是将EBS卷附加到正在运行的EC2实例.我已经成功完成了这项工作.但是我现在想要在从我的linux机器通过SSH连接之后安装它.我已成功完成手册中提供的步骤:

sudo mkdir /mnt/my-data 
sudo mount /dev/sdf /mnt/my-data

(但在我的情况下,sudo mount/dev/sdf1/mnt/my-data工作了)

但我无法使用ls /mnt/my-data(也在用户指南中作为步骤提供)查看内容.

你知道为什么会这样吗？