我有两个清单:
a = ['a', 'b']
b = [1, 2, 3]
我想得到列表b元素和列表a元素之间产生的组合,但是a作为对(或三元组等)处理元素,如下面的例子给出len(b) ** len(a)了组合的数量.
c = ["a_1 b_1", "a_1 b_2", "a_1 b_3", "a_2 b_1", "a_2 b_2", "a_2 b_3", "a_3 b_1", "a_3 b_2" "a_3 b_3"]
我曾尝试使用itertools.product(如描述在这里),但这将只给出6种可能的组合.
我想创建一个包含唯一键及其对应的最新值的主题。因此，当将带有现有键的消息插入主题时，旧消息将被删除。
为此，我在server.properties文件中配置了以下参数：
log.cleaner.enable=true
log.cleanup.policy=compact
# The minimum age of a log file to be eligible for deletion due to age
log.retention.minutes=3
log.retention.bytes=10737418
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741
# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.retention.check.interval.ms=60000
# The maximum time before a new log segment is rolled …I am using a 3rd party CDC tool that replicates data from a source database into Kafka topics. An example row is shown below:
{
"data":{
"USER_ID":{
"string":"1"
},
"USER_CATEGORY":{
"string":"A"
}
},
"beforeData":{
"Data":{
"USER_ID":{
"string":"1"
},
"USER_CATEGORY":{
"string":"B"
}
}
},
"headers":{
"operation":"UPDATE",
"timestamp":"2018-05-03T13:53:43.000"
}
}
What configuration is needed in the sink file in order to extract all the (sub)fields under data and headers and ignore those under beforeData so that the target table in which the …
根据文档（https://docs.confluence.io/current/streams/developer-guide/manage-topics.html#internal-topics），内部主题遵循命名约定<application.id>-<operatorName>-<suffix>。
我们有一些例子：
testapplication-KSTREAM-REDUCE-STATE-STORE-0000000008-repartition
testapplication-KSTREAM-REDUCE-STATE-STORE-0000000027-repartition
有谁知道整数是如何确定的？
不幸的是，我们的安全要求不允许我们使用我们的应用程序创建主题，并且需要提前设置。我正在尝试确定这些主题名称是否一致。
我正在使用融合的 kafka 连接服务，但它没有写入日志/var/log/kafka。如何配置它以便它写入日志/var/log/kafka？
目前 /var/log/kafka 只有以下日志文件 -
-rw-r--r-- 1 cp-kafka confluent 0 Sep 20 14:51 kafka-request.log
-rw-r--r-- 1 cp-kafka confluent 0 Sep 20 14:51 kafka-authorizer.log
-rw-r--r-- 1 cp-kafka confluent 1622 Nov 13 15:43 log-cleaner.log
-rw-r--r-- 1 cp-kafka confluent 7611 Nov 13 20:57 state-change.log
-rw-r--r-- 1 cp-kafka confluent 1227 Nov 14 11:13 server.log
-rw-r--r-- 1 cp-kafka confluent 16683 Nov 14 11:13 controller.log
当进一步检查时，我发现日志写入/var/log/messages（我不想要）。看看下面connect-log4j.properties：
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c:%L)%n
log4j.logger.org.apache.zookeeper=ERROR
log4j.logger.org.I0Itec.zkclient=ERROR …我不知道如何在 Altair 中增加图表标题的字体大小。我的代码只会更改轴标题的字体大小，而不会更改图表标题的字体大小。
这是我测试过的：
data = df
bars = alt.Chart(data, title="This is the Chart Title").mark_bar().encode(
x = 'Feature1',
y = 'Feature2',
color = alt.Color('Feature1', legend=None)).configure_axis(
labelFontSize=16,
titleFontSize=16
)
bars
在这种情况下，titleFontSize参数改变用于轴标题（字体'Feature1'和'Feature2'在这个例子中）。有没有什么简单的方法可以增加图表标题的字体？
我有以下关于卡夫卡的问题：
如果我创建一个主题并指定分区数多于代理数，那么单个代理将处理 1 个以上的分区？
如果我创建一个主题并指定多于代理的复制因子，该主题是否会创建？
单个代理是否可以处理不同主题的多个分区。
我有一个numpy一维数组，其中包含Trueor的布尔值False。我想检查是否所有的元素都返回False一个，无论数组中的所有元素是 False 还是 TrueTrue/Falsenumpy
x = np.array([False, False, False]) # this should return True, since all values are False
y = np.array([True, True, True]) # this should return False, since all values are True
z = np.array([True, False, True]) # this should return False, since not all values are False
我调查过np.all()，但这并不能解决我的问题。
谢谢！
我正在尝试使用命令行工具通过 SSL 使用 0.11.0.3 kafka 版本连接以删除作为消费者的 kafka 代理，连接字符串如下
kafka-console-consumer.bat \
--bootstrap-server host:port \
--topic topicName \
--from-beginning \
--group groupId \
--consumer.config ssl.properties
ssl.properties文件
security.protocol=SSL
ssl.truststore.location=path/to/truststore.jks
ssl.truststore.password=1234567
ssl.keystore.location=path/to/keystore.jks
ssl.keystore.password=1234567
ssl.key.password=1234567
ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1
ssl.truststore.type=JKS
ssl.keystore.type=JKS
我得到的异常
[2020-04-28 17:24:39,522] ERROR [Consumer clientId=consumer-1, groupId=binomix] Connection to node -1 (/178.208.149.84:9301) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2020-04-28 17:24:39,524] ERROR Error processing message, terminating consumer process: (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed
Caused by: javax.net.ssl.SSLHandshakeException: General SSLEngine problem
at sun.security.ssl.Handshaker.checkThrown(Handshaker.java:1582)
at sun.security.ssl.SSLEngineImpl.checkTaskThrown(SSLEngineImpl.java:544)
at sun.security.ssl.SSLEngineImpl.writeAppRecord(SSLEngineImpl.java:1216) …我正在使用 python-kafka 来收听 kafka 主题并使用该记录。我想让它无限轮询而不退出。这是我的代码如下：
def test():
consumer = KafkaConsumer('abc', 'localhost:9092', auto_offset_reset='earliest')
for msg in consumer:
print(msg.value)
这段代码只是读取数据，直接退出。有没有办法即使没有推送消息也可以继续收听主题？
任何持续监控该主题的相关示例对我来说也很棒。
python apache-kafka kafka-consumer-api kafka-python kafka-topic