我正在尝试将 JSON 数据从 Kafka 添加到 ClickHouse。这是简化的 JSON:
{
...
"sendAddress":{
"sendCommChannelTypeId":4,
"sendCommChannelTypeCode":"SMS",
"sendAddress":"789345345945"},
...
}
Run Code Online (Sandbox Code Playgroud)
以下是在 ClickHouse 中创建表的步骤,使用 Kafka Engine 创建另一个表并创建 MATERIALIZED VIEW 来连接这两个表,并将 CH 与 Kafka 连接。
创建第一个表
CREATE TABLE tab
(
...
sendAddress Tuple (sendCommChannelTypeId Int32, sendCommChannelTypeCode String, sendAddress String),
...
)Engine = MergeTree()
PARTITION BY applicationId
ORDER BY (applicationId);
Run Code Online (Sandbox Code Playgroud)
使用 Kafka 引擎设置创建第二个表:
CREATE TABLE tab_kfk
(
...
sendAddress Tuple (sendCommChannelTypeId Int32, sendCommChannelTypeCode String, sendAddress String),
...
)ENGINE = Kafka
SETTINGS kafka_broker_list = 'localhost:9092',
kafka_topic_list = 'topk2',
kafka_group_name …Run Code Online (Sandbox Code Playgroud)