我想用java中的参数执行soem admin命令.
命令是:
{ enablesharding : "test" }
{ shardcollection : "test.test_collection", key : {"number":1} }
我怎么能用java驱动程序呢？
以下代码不起作用:
mongo.getDb("admin").command("{shardcollection : \"test.test_collection\", key:\"number\":1} }")
我想让cassandra在外部ip上使用jmx而不是默认情况下使用的0.0.0.0.我在cassandra-env中添加了标志,但它仍然在0.0.0.0接口上启动
JVM_OPTS="$JVM_OPTS -Dcom.sun.management.jmxremote.host=172.16.40.60"
我还该怎么办？
我正在运行以下代码:
new FileSystemXmlApplicationContext("/data/farm/Server/confData/1000004/contex.xml")
它扔了
java.io.FileNotFoundException: class path resource [data/farm/Server/confData/1000004/contex.xml] cannot be opened because it does not exist
该文件存在,我可以做
cat /data/farm/Server/confData/1000004/contex.xml
并查看其内容.此外在Windows中这个代码工作 - 问题是在linus(我有ubuntu操作系统)
任何人都可以建议这里有什么问题吗？
我想尝试kafka 0.8(据我所知它已经发布).但是我在哪里可以找到kafka maven存储库.
我应该添加哪些额外的存储库URL？
我找到了一些博客
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.8.0</artifactId>
<version>0.8.0-SHA</version>
</dependency>
但它不起作用.我正在寻找合适的maven依赖.或者我应该从git中检出它并部署在我们的内部神器中？
我正在研究应该通过kafka写入hdfs的项目.假设有在线服务器将消息写入kafka.每条消息都包含时间戳.我想根据消息中的时间戳创建一个输出将是文件/文件的作业.例如,如果kafka中的数据是
{"ts":"01-07-2013 15:25:35.994", "data": ...}
...
{"ts":"01-07-2013 16:25:35.994", "data": ...}
...
{"ts":"01-07-2013 17:25:35.994", "data": ...}
我想得到3个文件作为输出
kafka_file_2013-07-01_15.json
kafka_file_2013-07-01_16.json
kafka_file_2013-07-01_17.json
当然,如果我再次运行这个工作,并且有一个新的消息在队列中
{"ts":"01-07-2013 17:25:35.994", "data": ...}
它应该创建一个文件
kafka_file_2013-07-01_17_2.json // second chunk of hour 17
我见过一些开源,但大多数都是从kafka读到一些hdfs文件夹.这个问题的最佳解决方案/设计/开源是什么？
我正在研究akka http
"com.typesafe.akka" %% "akka-actor" % "2.4.6",
"com.typesafe.akka" % "akka-http-experimental_2.11" % "2.4.6"
我正在测试简单的代码,如下所示.我的主要问题是如何增强它以获得关闭连接的通知,那么我可以打印当前打开的连接数？
object StatsRepo{
val totConn = new AtomicInteger(0)
val currOpenConn = new AtomicInteger(0) // how to count this?
}
object Boot2 extends App{
implicit val system = ActorSystem("akka-http")
implicit val materializer = ActorMaterializer()
implicit val executionContext = system.dispatcher
val requestHandler: HttpRequest => Future[HttpResponse] = {
// do some work here...
}
val serverSource = Http().bind("0.0.0.0", 8080)
val bindingFuture: Future[Http.ServerBinding] =
serverSource.to(Sink.foreach { connection =>
StatsRepo.totConn.incrementAndGet()
connection handleWithAsyncHandler requestHandler …在 Maven 依赖项中，我添加了 hector 来评估 Cassandra
<dependency>
<groupId>org.hectorclient</groupId>
<artifactId>hector-core</artifactId>
<version>1.1-0</version>
</dependency>
并得到以下 logback 消息
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/C:/Users/yulia/.m2/repository/org/slf4j/slf4j- log4j12/1.6.1/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/C:/Users/yulia/.m2/repository/ch/qos/logback/logback-classic/0.9.24/logback-classic-0.9.24.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
如何从 hector 依赖项中排除 slf4j ？
我想监视hbase的主要压缩.对于我想知道的每张桌子
我该如何监控？
一般来说,我应该监控哪些附加参数来检测是否需要进行主要压实？
我在hdfs中有以下文件夹结构
/input/data/yyyy/mm/dd/
并在其中包含数据文件,例如:
/input/data/2013/05/01/
file_2013_05_01_01.json // file format yyyy_mm_dd_hh
file_2013_05_01_02.json // file format yyyy_mm_dd_hh
....
我为这个文件夹定义了hive外部表:
CREATE EXTERNAL TABLE input_data (
vr INT, ....
)
PARTITIONED BY (tsp STRING)
ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe'
STORED AS TEXTFILE;
为每个文件夹添加一个分区,如下所示:
alter table input_data ADD PARTITION (tsp="2013-05-01") LOCATION '/input/data/2013/05/01/';
以下查询将在日期2013-05-01中将所有文件作为输入
select ... from input_data where tps="2013-05-01"
我怎样才能只获取特定小时的文件？不更改hdfs结构,将每小时放在单独的文件夹中？
我有两个 Sbt 项目，my-commons和my-service。
与依赖关系
libraryDependencies ++= Seq(
"nz.ac.waikato.cms.weka" % "attributeSelectionSearchMethods" % "1.0.7",
"de.bwaldvogel" % "liblinear" % "1.95"
"io.dropwizard.metrics" % "metrics-graphite" % "3.1.2",
"com.github.nscala-time" %% "nscala-time" % "2.2.0",
"org.apache.hive" % "hive-jdbc" % "1.1.0-cdh5.4.5",
"org.apache.hadoop" % "hadoop-common" % "2.6.0-cdh5.4.5",
"org.apache.hadoop" % "hadoop-hdfs" % "2.6.0-cdh5.4.5"
)
与依赖关系
libraryDependencies ++= {
Seq(
"ch.qos.logback" % "logback-classic" % "1.0.13",
"io.spray" %% "spray-httpx" % "1.3.3",
"io.spray" %% "spray-json" % "1.3.2",
"io.spray" %% "spray-can" % "1.3.3",
"io.spray" %% "spray-routing" % "1.3.3",
"io.spray" …