我正在使用 kafka/confluent (3.2.0) 来检索我们拥有的 Mongodb 实例的更改。
源进程由Debezium 源连接器管理使用 Source Connect Api并使用 Mesos (DC/OS) 扩展 Confluent Connect docker 映像部署在我们的系统上。Kafka 本身使用框架版本部署在同一 DC/OS 上。
由于我们有一些大于默认大小的消息，因此我更改了这些 kafka 安装参数：
• replica.fetch.max.bytes
• message.max.bytes
都到 4MB。
然后我使用这个启动连接器Docker镜像
docker run -d --rm --net=bridge --name=kafka-connect-mongodb -e CONNECT_BOOTSTRAP_SERVERS=${KAFKA_BOOTSTRAP_SERVERS} -e CONNECT_REST_PORT=${CONNECT_REST_PORT} -e CONNECT_GROUP_ID="mongo-to-kafka-source-connector" -e CONNECT_CONFIG_STORAGE_TOPIC="${CONFIG.TOPIC}" -e CONNECT_OFFSET_STORAGE_TOPIC="${OFFSETS.TOPIC}" -e CONNECT_STATUS_STORAGE_TOPIC="${STATUS.TOPIC}" -e CONNECT_KEY_CONVERTER="io.confluent.connect.avro.AvroConverter" -e CONNECT_VALUE_CONVERTER="io.confluent.connect.avro.AvroConverter" -e CONNECT_KEY_CONVERTER_SCHEMA_REGISTRY_URL="${SCHEMA_REGISTRY_LISTENERS}" -e CONNECT_VALUE_CONVERTER_SCHEMA_REGISTRY_URL="${SCHEMA_REGISTRY_LISTENERS}" -e CONNECT_INTERNAL_KEY_CONVERTER="org.apache.kafka.connect.json.JsonConverter" -e CONNECT_INTERNAL_VALUE_CONVERTER="org.apache.kafka.connect.json.JsonConverter" -e CONNECT_REST_ADVERTISED_HOST_NAME="${CONNECTOR_HOME}" -e CONNECT_LOG4J_ROOT_LOGLEVEL=INFO -e CONNECT_MAX_REQUEST_SIZE=4194304 -e KAFKA_MAX_REQUEST_SIZE=4194304 mongodb-source-connector:1.1
我更改了默认的 max.request.size 生产者值，同时传递了 KAFKA_MAX_REQUEST_SIZE 和 CONNECT_MAX_REQUEST_SIZE，并且日志已正确更改为 4MB。 …