我使用CassandraSQLContextspark-shell来查询来自Cassandra的数据.所以,我想知道两个方面,一个是如何获取超过20行CassandraSQLContext,第二个是如何Id显示列的完整值.正如您在默认情况下可以看到的那样,它会在字符串值中附加点.
代码:
val csc = new CassandraSQLContext(sc)
csc.setKeyspace("KeySpace")
val maxDF = csc.sql("SQL_QUERY" )
maxDF.show
Run Code Online (Sandbox Code Playgroud)
输出:
+--------------------+--------------------+-----------------+--------------------+
| id| Col2| Col3| Col4|
+--------------------+--------------------+-----------------+--------------------+
|8wzloRMrGpf8Q3bbk...| Value1| X| K1|
|AxRfoHDjV1Fk18OqS...| Value2| Y| K2|
|FpMVRlaHsEOcHyDgy...| Value3| Z| K3|
|HERt8eFLRtKkiZndy...| Value4| U| K4|
|nWOcbbbm8ZOjUSNfY...| Value5| V| K5|
Run Code Online (Sandbox Code Playgroud) 我试图在我的本地运行这个grpc-Java示例.相应的原型文件在这里.当我尝试在本地运行它会从这里抛出以下异常:
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;Ljava/lang/Object;)V
at io.grpc.ServiceDescriptor.validateMethodNames(ServiceDescriptor.java:129)
at io.grpc.ServiceDescriptor.<init>(ServiceDescriptor.java:83)
at io.grpc.ServiceDescriptor.<init>(ServiceDescriptor.java:51)
at io.grpc.ServiceDescriptor$Builder.build(ServiceDescriptor.java:219)
at io.grpc.examples.helloworld.GreeterGrpc.getServiceDescriptor(GreeterGrpc.java:251)
at io.grpc.examples.helloworld.GreeterGrpc$GreeterImplBase.bindService(GreeterGrpc.java:84)
at io.grpc.internal.AbstractServerImplBuilder.addService(AbstractServerImplBuilder.java:125)
at io.grpc.internal.AbstractServerImplBuilder.addService(AbstractServerImplBuilder.java:63)
at com.cw.predictive.HelloWorldServer.start(HelloWorldServer.java:56)
at com.cw.predictive.HelloWorldServer.main(HelloWorldServer.java:92)
Run Code Online (Sandbox Code Playgroud)
这是我在这里提到的pom.xml :
<dependencies>
<dependency>
<groupId>io.grpc</groupId>
<artifactId>grpc-netty</artifactId>
<version>1.1.2</version>
</dependency>
<dependency>
<groupId>io.grpc</groupId>
<artifactId>grpc-protobuf</artifactId>
<version>1.1.2</version>
</dependency>
<dependency>
<groupId>io.grpc</groupId>
<artifactId>grpc-stub</artifactId>
<version>1.1.2</version>
</dependency>
</dependencies>
Run Code Online (Sandbox Code Playgroud) 我想知道为什么我们需要routing key将消息路由exchange到队列.我们不能使用简单队列名来路由消息.此外,在发布到多个队列的情况下,我们可以使用多个队列名称.任何人都可以指出我们实际需要路由密钥的场景,队列名称是不够的.
我需要同时处理多个月的数据.那么,是否有一个选项可以将多个文件夹指向外部表?例如
Create external table logdata(col1 string, col2 string........) location s3://logdata/april, s3://logdata/march
我试图使用以下代码将字符串转换为32位ubuntu上的uint.但是它始终在uint64中转换它,尽管在函数中明确地传递了32作为参数.下面的代码mw是图像magick库的对象.哪个和uint什么时候返回.此外,它接受resize函数中的type参数. mw.getImageWidth()mw.getImageHeight()uint
width := strings.Split(imgResize, "x")[0]
height := strings.Split(imgResize, "x")[1]
var masterWidth uint = mw.GetImageWidth()
var masterHeight uint = mw.GetImageHeight()
mw := imagick.NewMagickWand()
defer mw.Destroy()
err = mw.ReadImageBlob(img)
if err != nil {
log.Fatal(err)
}
var masterWidth uint = mw.GetImageWidth()
var masterHeight uint = mw.GetImageHeight()
wd, _ := strconv.ParseUint(width, 10, 32)
ht, _ := strconv.ParseUint(height, 10, 32)
if masterWidth < wd || masterHeight < ht {
err = mw.ResizeImage(wd, ht, imagick.FILTER_BOX, 1) …Run Code Online (Sandbox Code Playgroud) 关于Clojure提到Maven的文章/博客/问题/答案的数量,我感到有点惊讶.
在作为Java开发人员工作大约十年的时间里,从事桌面应用程序和webapps工作,我从未使用Maven一次(通常 - 这是个人意见,但我知道有些人的想法是相同的 - 我的项目'已经看到使用Maven包括"厨房水槽",而那些建造了更"控制"的构建过程,其中"更清洁",生产更小的罐子,更快的构建时间等).
当你想要构建一个Clojure应用程序时Maven是一个要求吗?
当您想使用Leiningen时,Maven是强制性的吗?例如,我可以"手动"将外部jar作为依赖项添加到leiningen项目中,而不需要Maven吗?
我认为我的问题归结为:你可以在Clojure/JVM世界中逃脱而不使用Maven,就像你可以构建,测试,打包和发送Java桌面,webapps和Android应用程序而不需要Maven一样吗?
我正在尝试设置Hbase的多节点集群.当我做奴隶的jps我得到
5780 Jps
5558 HQuorumPeer
5684 HRegionServer
1963 DataNode
2093 TaskTracker
Run Code Online (Sandbox Code Playgroud)
同样在主人身上我得到了
4254 SecondaryNameNode
15226 Jps
14982 HMaster
3907 NameNode
14921 HQuorumPeer
4340 JobTracker
Run Code Online (Sandbox Code Playgroud)
一切都运行正常.但是当我尝试在hbase shell上创建表时.它给出了一个错误
ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
Run Code Online (Sandbox Code Playgroud)
我的slave的regionserver log(区域服务器正在运行):
2013-06-11 13:09:53,119 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Attempting connect to Master server at localhost,60000,137093$
2013-06-11 13:10:53,190 WARN org.apache.hadoop.hbase.regionserver.HRegionServer: Unable to connect to master. Retrying. Error was:
org.apache.hadoop.hbase.ipc.HBaseClient$FailedServerException: This server is in the failed servers list: localhost/127.0.0.1:60000
at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupIOstreams(HBaseClient.java:425)
at org.apache.hadoop.hbase.ipc.HBaseClient.getConnection(HBaseClient.java:1124)
at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:974)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:86)
at $Proxy8.getProtocolVersion(Unknown Source)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:138) …Run Code Online (Sandbox Code Playgroud) 我正在浏览gRPC服务器的这段代码.谁能告诉我这里使用反射的必要性
代码:
func main() {
lis, err := net.Listen("tcp", port)
if err != nil {
log.Fatalf("failed to listen: %v", err)
}
s := grpc.NewServer()
pb.RegisterGreeterServer(s, &server{})
// Register reflection service on gRPC server.
reflection.Register(s)
if err := s.Serve(lis); err != nil {
log.Fatalf("failed to serve: %v", err)
}
}
Run Code Online (Sandbox Code Playgroud) 请在没有cloudera经理的情况下提供在ubuntu中安装imapala的链接.无法安装官方链接.
无法使用这些查询找到包impala:
sudo apt-get install impala # Binaries for daemons
sudo apt-get install impala-server # Service start/stop script
sudo apt-get install impala-state-store # Service start/stop script
Run Code Online (Sandbox Code Playgroud) 我已经按照此处提到的方式提交了我的 Spark 作业,bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar但没有提及--master参数或spark.master参数。而不是将该作业提交到我的 3 节点 Spark 集群。但我想知道它在哪里提交了作业,因为它没有显示任何信息Running Applications
hadoop ×3
hive ×3
apache-spark ×2
maven ×2
amazon-s3 ×1
clojure ×1
cloudera ×1
go ×1
go-imagick ×1
grpc ×1
grpc-java ×1
hbase ×1
impala ×1
java ×1
leiningen ×1
pyspark ×1
rabbitmq ×1
rabbitmqctl ×1
reflection ×1
scala ×1