小编Sha*_*s88的帖子

我最近在java中编写了几个map/reduce程序.但我也知道像php这样的脚本语言也可以使用.但是,大多数人都推荐使用java或python.我目前在php工作.所以我想知道哪种语言更适合地图/减少程序开发？

php for map/reduce实现的一个主要缺点是,它不是多线程的.另外,hadoop有广泛的类,接口和方法框架,特别是在java中,PHP程序无法利用.而且,php并不是为处理繁重的数据处理任务而设计的.

那么有人可以从广义上告诉我哪一个选择作为地图/减少实施的首选武器？

我正在编写一个python脚本,它将定期检查redis内存使用情况.现在我知道used_memory或者used_memory_human从redis信息中将告诉我们当前redis正在使用多少内存.但我想知道已经使用了多少百分比的内存.

在redis信息中,我们没有得到类似的东西,max_memory因为redis占用了系统可用的尽可能多的内存.但如果设置了maxmemory选项redis.conf怎么办？

如果我的系统有1 GB的RAM但maxmemory设置为100MB怎么办？那么我们怎么知道内存利用率呢？

我正在运行kafka 2.9.1-0.8.2.1.我在主kafka目录中包含了libs /目录中提供的jar.现在我尝试按照此处给出的内容运行java生成器示例https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example.现在producer.send方法似乎接受了这种论点Seq<KeyedMessage<String, String>>.在该示例中,KeyedMessage的对象不会转换为任何内容.当我尝试做同样的事情时,我得到了不兼容的类型编译器错误.

这是代码

import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import java.util.Properties;
import kafka.producer.Producer;
import scala.collection.Seq;

public class KakfaProducer {
  public static void main(String [] args) {
    Properties prop = new Properties();
    prop.put("metadata.broker.list", "localhost:9092");
    prop.put("serializer.class","kafka.serializer.StringEncoder");
    //prop.put("partitioner.class", "example.producer.SimplePartitioner");
    ProducerConfig producerConfig = new ProducerConfig(prop);
    Producer<String,String> producer = new <String,String>Producer(producerConfig);
    String topic = "test";
    KeyedMessage<String,String> message = new <String,String>KeyedMessage(topic, "Hello Test message");
    producer.send(message);
    producer.close();
  }
}

那个评论的代码给了我类def def not found.我试图在网上看很多,但它没有帮助.

libs /目录中有两种jar.一个是kafka-client,另一个是kafka和版本号.我包括错误的罐子吗？我需要使用哪一个？

我需要使用地理距离查询在弹性搜索中从搜索到的坐标获取距离。我试过了

curl -XGET 'http://127.0.0.1:9200/branch-master/master/_search?pretty=1'  -d '
{
   "script_fields" : {
      "distance" : {
         "params" : {
            "lat" : 18.00,
            "lon" : 72.00
         },
         "script" : "doc[\u0027location\u0027].distanceInKm(lat,lon)"
      }
   }
}
'

这是从Elasticsearch结果中的返回距离获得的？

但这给了我错误“ [params]中start_object的未知键”。我不明白这是什么。上面的解决方案似乎是针对较旧版本的ES的。我正在使用ES 5.1。在手册中，我找不到地理距离查询的相关解决方案。有人可以帮我吗？

我正在尝试 Kafka Streams。编写一个简单的应用程序，在其中计算重复消息。

信息：

2019-02-27-11:16:56 :: session:prod-111656 :: Msg => Hello World: 2491
2019-02-27-11:16:56 :: session:prod-111656 :: Msg => Hello World: 2492

等等。

我正在尝试将此类消息拆分为session:prod-xxxx. 用它作为钥匙。并将session:prod-xxxx+Hello World: xxxx其用作价值。然后按键分组，并查看每个会话中哪些消息重复。

这是代码：

KStream<String, String> textLines = builder.stream("RegularProducer");
KTable<String, Long> ktable = textLines.map(
    (String key, String value) -> {
        try {
            String[] parts = value.split("::");
            String sessionId = parts[1];
            String message = ((parts[2]).split("=>"))[1];
            message = sessionId+":"+message;
            return new KeyValue<String,String>(sessionId.trim().toLowerCase(), message.trim().toLowerCase());
        } catch (Exception e) {
            return new KeyValue<String,String>("Invalid-Message".trim().toLowerCase(), "Invalid Message".trim().toLowerCase());
        } …

我已经在hadoop上开了一点东西.它设置正常,运行正常.现在我正在做一个单节点/独立集群.我正在尝试运行http://hadoop.apache.org/common/docs/r0.18.3/mapred_tutorial.html上提到的示例作业

到目前为止,程序已正确编译,jar已创建,清单已成功添加.但是当我尝试运行这个工作时,我得到了这个错误.

Exception in thread "main" java.lang.ClassNotFoundException: org.myorg.WordCount
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

我复制粘贴了链接中提到的完全相同的程序.但它给出了这个错误.这是我命中的命令行.

[shantanu@shades1ld1 hadoop]$ bin/hadoop jar /home/shantanu/hadoop/src/examples/wordcount.jar org.myorg.WordCount /tmp/Hadoop_Jobs/ /tmp/Hadoop_Results

我已经阅读了很多文章,但无法找到解释,请帮忙.

我有一个jQuery动画功能.动画结束后需要立即执行功能.所以必须使用回调函数.所以我试了一下.没有工作,我认为在那个特定的功能一定有问题所以我把它简化为这个......

phGrp.animate({bottom:0},
              {duration: 1500, easing: 'swing'}, 
              function(){alert('hello')}
);

动画工作正常,没有错误,但回调不会执行.可能是什么问题？我看到了使用匿名函数的解决方案.所以我使用过它,但问题仍然存在.

请帮忙

我在Firefox中看到了奇怪的行为。我有一个使用本地存储的小型Web应用程序。我禁用cookie并运行我的应用程序。访问本地存储时会引发安全错误。应用无法运行。在chrome应用程序上运行，但是uncaught_error : QUOTA_EXCEEDED_ERROR来了。这是我访问本地存储的方式

_infSt = ((!!window.localStorage) && (!!window.atob));
if(_infSt){ 
    _infLJsV = window.localStorage.getItem( 'infJsV' );
    if(_infLJsV === _infJsV) {
        var strjL = window.localStorage.getItem( 'infJqN' );
        if(strjL != ''){ 
            inFjL = strjL;
        }
    }
}

在firefox 8.0中，_infSt = ((!!window.localStorage) && (!!window.atob));在此行上运行时出现错误。在firefox 10.00中，尝试执行时出现错误atob(inFjL);

在这个世界上，如何禁用Cookie和本地存储的链接？请帮忙

我在我们的生产集群上配置了一个主题，它的保留期为 432000000 毫秒，即 5 天。但它通常保存包含 10 天前时间戳的最早消息！例如，今天 3 月 22 日，我使用控制台消费者命令检查了该主题中的数据。第一个记录的时间戳为 3 月 12 日。这些数据几乎在生成时进入主题，因此日志中的时间戳与排队时的实际时间没有区别。那么，Kafka 存储的消息远远超过了配置的保留期，这怎么会发生呢？

我正在发送一个 avro 对象 User 并在侦听器中接收它。这是配置

@Bean
public ProducerFactory<String, User> userProducerFactory() {
    Map<String, Object> config = new HashMap<>();

    config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, AvroSerializer.class);

    return new DefaultKafkaProducerFactory<>(config);
}

@Bean
public KafkaTemplate<String, User> userKafkaTemplate() {
    return new KafkaTemplate<>(userProducerFactory());
}

@Bean
public Map<String, Object> consumerConfigs() {
    Map<String, Object> props = new HashMap<>();
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, AvroDeserializer.class);
    props.put(ConsumerConfig.GROUP_ID_CONFIG, "avro");

    return props;
}

@Bean
public ConsumerFactory<String, User> consumerFactory() {
    return new DefaultKafkaConsumerFactory<>(consumerConfigs(), new StringDeserializer(),
            new AvroDeserializer<>(User.class));
}

@Bean
public ConcurrentKafkaListenerContainerFactory<String, User> kafkaListenerContainerFactory() { …