小编ena*_*tor的帖子

kafka:提交偏移失败,可重试异常.您应该重试提交偏移量

[oakcciConsumerCoordinator] [组使用者组的自动偏移提交失败:提交偏移失败,可重试异常.你应该重试提交补偿.] []

为什么卡夫卡消费者会出现这种错误?这是什么意思?

我使用的消费者属性是:

fetch.min.bytes:1
enable.auto.commit:true
auto.offset.reset:latest
auto.commit.interval.ms:5000
request.timeout.ms:300000
session.timeout.ms:20000
max.poll.interval.ms:600000
max.poll.records:500
max.partition.fetch.bytes:10485760
Run Code Online (Sandbox Code Playgroud)

出现这种错误的原因是什么?由于这个错误,我猜测消费者现在正在做重复的工作.

我既不使用consumer.commitAsync()也不是consumer.commitSync()

java apache-kafka

9
推荐指数
1
解决办法
7845
查看次数

IntelliJ 是否有键盘快捷键可以用下划线替换所选文本中的空格?

Cmd我们可以使用++将文本变为大写或小写的Option方式;U在 IntelliJ Idea 中是否有任何快捷方式可以用所选文本替换带有下划线的空格?

喜欢?HELLO WORLDHELLO_WORLD

keyboard-shortcuts intellij-idea

8
推荐指数
1
解决办法
2630
查看次数

我们如何访问/操作与byebug保留关键字冲突的变量名?

我们如何访问那些与byebug保留名称冲突的变量名?

(byebug) var local
h = {"hierarchyId"=>"59f0b029e4b037ef11a055f7", "level"=>2, ...
self =                   <div class="index_as_table"></div>

user = #<CollaborationUser:0x007f82a8039328>
(byebug) 
Run Code Online (Sandbox Code Playgroud)

我想访问变量"h"

但打字h会显示"byebug的帮助对话框"

(byebug) h

  break      -- Sets breakpoints in the source code
  catch      -- Handles exception catchpoints
  condition  -- Sets conditions on breakpoints
  continue   -- Runs until program ends, hits a breakpoint or reaches a line
  debug      -- Spawns a subdebugger
  delete     -- Deletes breakpoints
  disable    -- Disables breakpoints or displays
  display    -- Evaluates expressions every time the debugger …
Run Code Online (Sandbox Code Playgroud)

ruby byebug

6
推荐指数
2
解决办法
1148
查看次数

Instagram会阻止来自某些IP的CDN URL请求吗?

我最近观察到,对于Instagram的一些cdn url,GET请求给出> 400响应.

https://scontent.cdninstagram.com/t51.2885-15/26184672_169643143794471_5913317750591193088_n.jpg

如果我从本地的相同代码尝试相同的网址,它的工作原理.那么,它是否阻止按请求的IP地址传递内容?

facebook cdn instagram instagram-api

6
推荐指数
1
解决办法
1118
查看次数

当kafkaProducer第一次尝试发送记录时无法创建主题INVALID_REPLICATION_FACTOR

尝试将第一条消息发布到新主题时,我在日志中收到以下错误。

[警告] [oakafka.clients.NetworkClient][[Producer clientId= Producer-1] 获取相关 ID 为 766890 的元数据时出错:{myTopic-1=INVALID_REPLICATION_FACTOR,myTopic-2=INVALID_REPLICATION_FACTOR}] []

卡夫卡失败挂在:

"Hashed wheel timer #1" #521 prio=5 os_prio=0 tid=0x00007f932cd7d000 nid=0x199fa in Object.wait() [0x00007f9322b79000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    at org.apache.kafka.clients.Metadata.awaitUpdate(Metadata.java:177)
    - locked <0x000000047838b990> (a org.apache.kafka.clients.Metadata)
    at org.apache.kafka.clients.producer.KafkaProducer.waitOnMetadata(KafkaProducer.java:903)
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:794)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:784)
Run Code Online (Sandbox Code Playgroud)

我们使用的kafka jar版本是:0.10.0.1

代理上的 server.properties 是:

broker.id=3
host.name=<>
port=9092

message.max.bytes=20971520
num.partitions=30
auto.create.topics.enable=true

# Replication configurations
default.replication.factor=2
num.replica.fetchers=2
replica.fetch.max.bytes=20971520


log.dirs=/mnt1/data/kafka/kafka-logs-3
log.retention.hours=48
log.flush.interval.ms=10000
log.flush.interval.messages=20000
log.flush.scheduler.interval.ms=2000
log.cleanup.interval.mins=30

zookeeper.connect=<>
zookeeper.connection.timeout.ms=1000000

# Socket server configuration
num.io.threads=8
num.network.threads=8
socket.request.max.bytes=20971520
socket.receive.buffer.bytes=20971520
socket.send.buffer.bytes=20971520
queued.max.requests=32 …
Run Code Online (Sandbox Code Playgroud)

java apache-kafka kafka-producer-api

6
推荐指数
1
解决办法
1万
查看次数

vespa - Vespa进程通常需要多长时间才能重新启动属性的mmap?

将索引的搜索定义编写为"属性"时 - 我从http://docs.vespa.ai/documentation/search-definitions.html中读到它将字段保存在内存中.基本问题是:在集群重启的情况下,这个内存中的数据是从索引重建的吗?

Vespa在集群重启的情况下需要多长时间来重建内存中的属性?(假设一个节点有2TB的数据,一半的字段被定义为"属性" - 对于mmap大约是1TB?)

vespa

4
推荐指数
1
解决办法
88
查看次数

Vespa:我们可以在嵌套字段上聚合吗?

在搜索定义中,struct中的字段不能具有"属性"索引.

http://docs.vespa.ai/documentation/reference/search-definitions-reference.html#field_types

此外,默认情况下,struct和maps不是属性.结果搜索定义如下所示:

struct nlp {
  field token type string {
      match: text //can't add indexing here
  }
}

field n type nlp {
      indexing: summary //can't add attribute here
}
Run Code Online (Sandbox Code Playgroud)

如何添加搜索定义,以便我们可以按"n.token"进行分组?是否可以为struct字段添加属性或索引?或者按非属性字段分组?

vespa

4
推荐指数
1
解决办法
190
查看次数

我们可以使用 NGINX 作为模板引擎的 webapp

我对基本的 html 模板 webapp 有要求,例如:

http://localhost:3000/myapp?param1=hello¶m2=John被调用它应该返回如下所示的text/html响应:

<html>
<body>
    <p>Nice to see you John. Platform greets you "hello".</p>
</body>
</html>
Run Code Online (Sandbox Code Playgroud)

名称和问候语是从 param 模板化的。所以模板是这样的:

 <html>
 <body>
     <p>Nice to see you {{param1}}. Platform greets you "{{param2}}".</p>
 </body>
 </html>
Run Code Online (Sandbox Code Playgroud)

我目前使用 express.js 在节点服务器中完成此操作,然后服务器通过 nginx.conf 公开:

server {
    listen 80;
    # server_name example.com;

    location / {
        proxy_pass http://private_ip_address:3000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}
Run Code Online (Sandbox Code Playgroud)

我想知道这是否可以通过一些插件或其他配置与裸 nginx 来实现,而无需在 3000 端口上托管节点服务器。

templates nginx node.js

4
推荐指数
1
解决办法
3170
查看次数

如何在Vespa上快速进行聚合?

我们在索引中有60M文档.托管在4个节点集群上.

我想确保配置针对文档的聚合进行了优化.

这是示例查询:

select * from sources * where (sddocname contains ([{"implicitTransforms": false}]"tweet")) | all(group(n_tA_c) each(output(count() as(count))));
Run Code Online (Sandbox Code Playgroud)

字段n_tA_c包含字符串数组.这是示例文档:

        {
            "fields": {
                "add_gsOrd": 63829,
                "documentid": "id:firehose:tweet::815347045032742912",
                "foC": 467,
                "frC": 315,
                "g": 0,
                "ln": "en",
                "m": "ya just wants some fried rice",
                "mTp": 2,
                "n_c_p": [],
                "n_tA_c": [                        
                    "fried",
                    "rice"
                ],
                "n_tA_s": [],
                "n_tA_tC": [],
                "sN": "long_delaney1",
                "sT_dlC": 0,
                "sT_fC": 0,
                "sT_lAT": 0,
                "sT_qC": 0,
                "sT_r": 0.0,
                "sT_rC": 467,
                "sT_rpC": 0,
                "sT_rtC": 0,
                "sT_vC": 0,
                "sddocname": "tweet",
                "t": 1483228858608,
                "u": 377606303,
                "v": …
Run Code Online (Sandbox Code Playgroud)

vespa

3
推荐指数
1
解决办法
258
查看次数

@CacheEvict注释对私有方法有效吗?

我正在尝试使用@Cachable和@CacheEvict通过Spring框架管理Redis缓存。可以在类的私有方法上添加@CacheEvict吗?

java spring

3
推荐指数
1
解决办法
1848
查看次数