小编Joe*_*ang的帖子

kafka偏移主题的保留期限

我们正面临着卡夫卡的问题.

基本上我们只有一个分区的主题,而消费组中只有一个消费者.

消费者已经停了一个月.在此期间,制作人仍然会向主题发送消息.

然而,在第一次,我们再次启动消费者,消费者无法消费消息我认为先前提交的偏移已经丢失,因此消费者不知道在唤醒时找到起点.

所以我们必须再次停止并启动消费者,然后现在消费者可以获取新消息,但是之前发送的所有消息都被消耗掉了.

我的假设是,抵消是如何被破坏的?保留期是否适用于kafka内部主题[_offsets],是否已删除最后提交的偏移量?

请指教?

apache-kafka kafka-consumer-api

8
推荐指数
1
解决办法
1万
查看次数

Spring Vault Harshicorp 与 Cyber​​-ark 集成

我正在尝试使用 Spring Vault 提供集中式服务,为我们的微服务生态系统提供存储和检索凭证信息的功能。然而,我们的组织目前使用 cyber-ark 来集中凭证,所以我正在寻找的是构建一个基于 Spring Vault 的抽象服务,并为 Harshicorp Vault 使用 cyber-arkas 存储引擎。

cyber-ark spring-boot spring-cloud hashicorp-vault spring-vault

7
推荐指数
1
解决办法
3297
查看次数

将共享库中的日志传播到 jenkins 作业控制台

我正在尝试编写一个共享库,它结合了全局变量和共享函数来为我们的项目执行构建和部署的自动化任务

项目布局如下:

在此处输入图片说明

该项目有两个主要部分:

  1. 放置在 vars 文件夹中的全局共享变量

  2. 支持 groovy 脚本抽象逻辑,这些逻辑反过来将在全局变量中调用。

在此处输入图片说明

在 groovy 类中,我使用println来记录调试信息

在此处输入图片说明

但是当它通过 jenkins 管道作业调用时它从未被打印出来

在此处输入图片说明

jenkins 作业的日志控制台如下:

在此处输入图片说明

有人可以告诉我如何将日志从 groovy 类传播到 jenkins 作业控制台,因为我只能看到全局共享脚本中的println日志显示在日志控制台中。

jenkins-groovy jenkins-pipeline

5
推荐指数
1
解决办法
5336
查看次数

如何将项目参数作为分支名称传递给Jenkins构建

我想知道有没有什么方法可以将项目参数的值作为Git分支来构建.

以下是我要做的事情:

  1. 使用构建参数创建Jenkins管道项目:

在此输入图像描述

  1. 然后我尝试使用project参数传递它(要构建的分支)

在此输入图像描述

但是,未从project参数解析branch_name变量.

我可以手动更改每个构建的分支名称,但它远非理想.

欣赏任何想法?

jenkins jenkins-pipeline

3
推荐指数
1
解决办法
4372
查看次数

无法使用aws-cli连接到aws服务

我是aws的新手,我正在尝试使用aws-cli连接aws,因为我很容易使用命令行,并希望用来编写脚本来自动化该过程.

但是我收到如下错误:

_
    attempt_number, caught_exception)
  File "/usr/local/lib/python2.7/site-packages/botocore/retryhandler.py", line 359, in _check_caught_exception
    raise caught_exception
EndpointConnectionError: Could not connect to the endpoint URL: "https://ec2.ap-southeast-1a.amazonaws.com/"
2017-07-08 20:30:52,763 - MainThread - awscli.clidriver - DEBUG - Exiting with rc 255

Could not connect to the endpoint URL: "https://ec2.ap-southeast-1a.amazonaws.com/"
Run Code Online (Sandbox Code Playgroud)

我已经在配置文件中设置了配置文件用户.

[profile joey2]
output = json
region = ap-southeast-1a
Run Code Online (Sandbox Code Playgroud)

正确配置了api密钥和密钥等凭证.

有人可以帮助弄清楚这个问题的原因.非常感谢任何建议?

amazon-web-services aws-cli

2
推荐指数
1
解决办法
2359
查看次数

保持两个kafka集群同步的最佳方法是什么

我必须在两个不同的数据中心(DC)中设置两个kafka集群,这两个数据中心具有相同的主题和配置.原因是两个数据中心之间的连接很糟糕,我们无法创建全局数据中心.

我们让生产者和消费者发布和订阅每个DC的主题.

问题是我需要保持两个集群同步.让我们说:所有消息写入第一个DC应该最终复制到第二个,反过来.

我通过使用第一个消息并将消息发送到第二个消息来创建镜像来评估kafka MirrorMaker工具.但是,还需要将数据从第二个复制到第一个,因为在两个集群中允许写入数据.

我不认为Kafka MirrorMaker工具适合我们的情况.申请任何建议?

提前致谢.

apache-kafka

1
推荐指数
1
解决办法
1795
查看次数

无法在Mac上启动minikube

我正在尝试在Mac机器上设置minikube

以下是环境:

nhs-MBP:~ anhtrang$ minikube version
minikube version: v0.26.1
anhs-MBP:~ anhtrang$ echo "";

anhs-MBP:~ anhtrang$ echo "OS:";
OS:
anhs-MBP:~ anhtrang$ cat /etc/os-release
cat: /etc/os-release: No such file or directory
anhs-MBP:~ anhtrang$ echo "";

anhs-MBP:~ anhtrang$ echo "VM driver":
VM driver:
anhs-MBP:~ anhtrang$ grep DriverName ~/.minikube/machines/minikube/config.json
    "DriverName": "virtualbox",
anhs-MBP:~ anhtrang$ echo "";

anhs-MBP:~ anhtrang$ echo "ISO version";
ISO version
anhs-MBP:~ anhtrang$ grep -i ISO ~/.minikube/machines/minikube/config.json
        "Boot2DockerURL": "file:///Users/anhtrang/.minikube/cache/iso/minikube-v0.26.0.iso",
Run Code Online (Sandbox Code Playgroud)

出现以下错误:

nhs-MBP:~ anhtrang$ Starting local Kubernetes v1.10.0 cluster...
-bash: Starting: command not found
anhs-MBP:~ …
Run Code Online (Sandbox Code Playgroud)

minikube

0
推荐指数
1
解决办法
3566
查看次数