小编Kar*_*raj的帖子

Kafka如何实现强一致性?

尝试了解 Kafka 中的一致性维护。请找到场景并帮助理解。

 Number of partition  = 2 
    Replication factor = 3 
    Number of broker in the cluster = 4 
Run Code Online (Sandbox Code Playgroud)

在那种情况下,为了实现强一致性,应该有多少节点承认。无论是ack = allack = 3 或任何其他值。请确认相同。

apache-kafka replication-factor

6
推荐指数
2
解决办法
2993
查看次数

Azure 存储文件的上次访问时间

除了日志分析之外,还有其他方法可以确定 Azure 存储文件的上次访问时间吗?那么,有没有人遇到过这种情况,实现这一目标的最佳方法是什么?还是我太在意这个了?

提前谢谢您。

lastaccesstime azure-blob-storage

6
推荐指数
1
解决办法
1829
查看次数

AWS Lambda:Lambda 函数 S3 到 S3 复制的跨账户策略

我们正在尝试实现 lambda 函数,该函数将根据源 S3 存储桶事件将对象从一个 S3 复制到跨账户中的另一个 S3 存储桶。目前,我们能够在同一 SAG 内的源和目标之间复制文件。但是当我们尝试跨账户实现相同的逻辑时,得到了 CopyObject 操作:Access Denied 问题。我已经给出了以下存储桶策略。您能否帮助我获取正确的 IAM 和存储桶策略来解决此问题。

{
    "Version": "2012-10-17",
    "Id": "Policy1603404813917",
    "Statement": [
        {
            "Sid": "Stmt1603404812651",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::6888889898:role/Staff"
            },
            "Action": [
                "s3:GetObject",
                "s3:GetObjectAcl",
                "s3:ListBucket",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::source-bucktet-testing-lambda/*",
                "arn:aws:s3:::source-bucktet-testing-lambda"
            ]
        }
    ]
}
Run Code Online (Sandbox Code Playgroud)

基于https://www.lixu.ca/2016/09/aws-lambda-and-s3-how-to-do-cross_83.html链接,是的,我们可以借助源和目标的访问 ID 和访问密钥来实现相同的逻辑。但我尝试实现相同的逻辑,而不是源和目标的访问 ID 和访问密钥,通过适当的策略授予源存储桶和目标存储桶的访问权限,并使其像同一帐户一样工作。

amazon-s3 amazon-web-services amazon-iam aws-lambda

4
推荐指数
1
解决办法
7308
查看次数

Kafka节点和zookeeper如何相互通信?

我找不到节点和Zookeeper之间通信的任何细节.假设在Kafka节点中发生了更多垃圾收集,它会产生什么结果?

  1. Zookeeper会断开与各个节点的通信吗?
  2. 如果Zookeeper将断开相应的节点将会产生什么结果?

apache-kafka apache-zookeeper

3
推荐指数
1
解决办法
734
查看次数

Kafka 消费者组 - 没有分区 - 没有复制

试图理解复制因子和消费者组之间的关系。示例:分区数 = 2 复制数 = 3 消费者组中的消费者数 = 4。在这种情况下 ,

  1. 有多少消费者会收到消息?
  2. 如何此复制将影响消费者接收的数量。

apache-kafka kafka-consumer-api

1
推荐指数
1
解决办法
234
查看次数

Kafka - 保留期参数

试图了解 Apache Kafka 中保留期背后的逻辑。请帮助我了解以下场景的情况。

  1. 如果保留期设置为 0,会发生什么?会删除所有记录吗?
  2. 如果我们删除retention参数本身,会不会取默认值?

apache-kafka

1
推荐指数
1
解决办法
4805
查看次数