小编RRM*_*RRM的帖子

我想使用Spark(1.6.2)Streaming 从Kafka(broker v 0.10.2.1)中的主题接收消息.

我正在使用这种Receiver方法.代码如下代码:

public static void main(String[] args) throws Exception
{
    SparkConf sparkConf = new SparkConf().setAppName("SimpleStreamingApp");
    JavaStreamingContext javaStreamingContext = new JavaStreamingContext(sparkConf, new Duration(5000));
    //
    Map<String, Integer> topicMap = new HashMap<>();
    topicMap.put("myTopic", 1);
    //
    String zkQuorum = "host1:port1,host2:port2,host3:port3";
    //
    Map<String, String> kafkaParamsMap = new HashMap<>();
    kafkaParamsMap.put("bootstraps.server", zkQuorum);
    kafkaParamsMap.put("metadata.broker.list", zkQuorum);
    kafkaParamsMap.put("zookeeper.connect", zkQuorum);
    kafkaParamsMap.put("group.id", "group_name");
    kafkaParamsMap.put("security.protocol", "SASL_PLAINTEXT");
    kafkaParamsMap.put("security.mechanism", "GSSAPI");
    kafkaParamsMap.put("ssl.kerberos.service.name", "kafka");
    kafkaParamsMap.put("key.deserializer", "kafka.serializer.StringDecoder");
    kafkaParamsMap.put("value.deserializer", "kafka.serializer.DefaultDecoder");
    //
    JavaPairReceiverInputDStream<byte[], byte[]> stream = KafkaUtils.createStream(javaStreamingContext,
                            byte[].class, byte[].class,
                            DefaultDecoder.class, DefaultDecoder.class,
                            kafkaParamsMap,
                            topicMap,
                            StorageLevel.MEMORY_ONLY()); …

有没有办法可以控制SSTable的最大大小,例如100 MB,这样当CF实际上有超过100MB的数据时,Cassandra会创建下一个SSTable？

我有2个列表 String

A = {"apple", "mango", "pineapple", "banana", ... }

B = {"app", "framework",...}

我正在寻找的是这样的:是B至少任何元素部分匹配(substring/contains/startsWith)与A例如任何元素,B"应用"的第1个要素部分与至少一个元素"苹果"匹配.

StackOverflow上其他紧密匹配的主题不考虑2个列表.

有没有优雅的方式来表达使用Java lambda的解决方案？

我觉得这是搜索域中的一般问题.所以,如果对这个主题有任何帮助或有趣的阅读,我会很高兴收到指示.

我在cassandra有很多桌子,超过20亿行并且越来越多.行具有日期字段,并且遵循日期桶模式以限制每一行.

即便如此,我在特定日期的参赛作品超过一百万.

我想尽快读取和处理每一天的行.我正在做的是获取它的实例com.datastax.driver.core.ResultSet并从中获取迭代器并在多个线程之间共享该迭代器.

所以,基本上我想增加读取吞吐量.这是正确的方法吗？如果没有,请建议更好的方法.