小编Bar*_*tek的帖子

是否可以将Redis命令EVAL SHA命令与Spring-Data Redis 一起使用？

我们成功地使用EVAL了 execute command: redisTemplate.execute(script, null, args);，但是每次将脚本传输到 Redis 服务器似乎都会产生很大的开销。

是否可以使用 Spring-Data Redis 存储一次脚本并基于其 SHA 运行它？

当我尝试缓存()或持久化(MEMORY_ONLY_SER())我的RDD时,我的spark簇会挂起.它工作得很好,并在大约7分钟内计算结果.如果我不使用cache().

我有6个c3.xlarge EC2实例(4个内核,每个7.5 GB RAM),共有24个内核和37.7 GB.

我在master上使用以下命令运行我的应用程序:

SPARK_MEM = 5g MEMORY_FRACTION ="0.6"SPARK_HOME ="/ root/spark"java -cp ./uber-offline.jar:/root/spark/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-孵化-hadoop1.0.4.jar pl.instream.dsp.offline.OfflineAnalysis

数据集大约有50GB的数据被分成24个文件.我将其压缩并存储在24个存储桶中的24个文件中(每个文件大小为7MB到300MB).

我绝对找不到我的集群这种行为的原因,但似乎火花消耗了所有可用的内存并进入了GC收集循环.当我查看gc verbose时,我可以找到如下的循环:

[GC 5208198K(5208832K), 0,2403780 secs]
[Full GC 5208831K->5208212K(5208832K), 9,8765730 secs]
[Full GC 5208829K->5208238K(5208832K), 9,7567820 secs]
[Full GC 5208829K->5208295K(5208832K), 9,7629460 secs]
[GC 5208301K(5208832K), 0,2403480 secs]
[Full GC 5208831K->5208344K(5208832K), 9,7497710 secs]
[Full GC 5208829K->5208366K(5208832K), 9,7542880 secs]
[Full GC 5208831K->5208415K(5208832K), 9,7574860 secs]

这最终会导致如下消息:

WARN storage.BlockManagerMasterActor: Removing BlockManager BlockManagerId(0, ip-xx-xx-xxx-xxx.eu-west-1.compute.internal, 60048, 0) with no recent heart beats: 64828ms exceeds 45000ms

...并停止计算方面的任何进展.这看起来像100%消耗的内存,但我试图使用具有更多RAM(每个30GB)的机器,效果是相同的.

这种行为可能是什么原因？有人可以帮忙吗？

我在3个EC2 m1.xlarge实例上设置了3个Cassandra(1.2.10)集群节点.

基于默认配置,包括几个指南,如:

• datastax_clustering_ami_2.4
• 不使用EBS,而是在短命中搜索0 xfs,
• 将日志提交到单独的磁盘上
• RF = 3,
• 6GB堆,200MB新大小(也测试了更大的新大小/堆值),
• 增强的limits.conf.

随着500次写,集群仅适用于几个小时.在那段时间之后,由于CPU过载(主要是GC +压缩),似乎无法响应.

节点仍然保持Up,但是它们的负载非常大,而且日志中充满了GC信息和消息,例如:

ERROR [Native-Transport-Requests:186] 2013-12-10 18:38:12,412 ErrorMessage.java (line 210) Unexpected exception during request java.io.IOException: Broken pipe

nodetool在每个节点上显示许多丢弃的突变:

Message type           Dropped
RANGE_SLICE                  0
READ_REPAIR                  7
BINARY                       0
READ                         2
MUTATION               4072827
_TRACE                       0
REQUEST_RESPONSE          1769

对于m1.xlarge的3节点集群,500 wps是否过多,我应该添加节点？或者是否有可能以某种方式进一步调整GC？使用m1.xlarge的3个节点可以提供什么负载？你的GC配置是什么？