小编Rob*_*att的帖子

我正在 obiee 11.1.1.7.14 中配置 SSO，其中我在配置 krb5.conf 和执行 kinit 命令的步骤中遇到了问题。

关于 Active Directory 的一些注意事项

• 我们有多个域控制器，为了平衡请求，我们使用端口 3269 维护负载平衡器。
• 并且 obiee 和 MSAD 之间的集成成功完成，负载均衡器名称为主机，端口为 3269。
• 并且在 demotrust.jks 和 ovd 存储中添加了很少的证书，并且在新的提供程序中启用了 SSL。
• 生成的keytab 文件放在obiee 域home 中，相应修改krb5.conf 和krb5Login.conf 文件。

我已经创建了 keytab 文件并将其放置在 obiee 域主目录中，然后通过将 kdc 作为域控制器的 ip 地址之一和 admin-server 作为域控制器的名称来修改 krb5.conf。并在执行

kinit -V -k -t /location/keytabfile.keytab HTTP/obiee_host_name

我收到错误消息“ kinit(v5)：获取初始凭据时在 Kerberos 数据库中找不到客户端”。请分享您的想法/建议以解决此问题。

提前致谢

步骤1:运行生产者以创建样本数据

./bin/kafka-avro-console-producer \
         --broker-list localhost:9092 --topic stream-test-topic \
         --property schema.registry.url=http://localhost:8081 \
         --property value.schema='{"type":"record","name":"dealRecord","fields":[{"name":"DEAL_ID","type":"string"},{"name":"DEAL_EXPENSE_CODE","type":"string"},{"name":"DEAL_BRANCH","type":"string"}]}'

样本数据 :

{"DEAL_ID":"deal002", "DEAL_EXPENSE_CODE":"EXP002", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal003", "DEAL_EXPENSE_CODE":"EXP003", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal004", "DEAL_EXPENSE_CODE":"EXP004", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal005", "DEAL_EXPENSE_CODE":"EXP005", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal006", "DEAL_EXPENSE_CODE":"EXP006", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal007", "DEAL_EXPENSE_CODE":"EXP001", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal008", "DEAL_EXPENSE_CODE":"EXP002", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal009", "DEAL_EXPENSE_CODE":"EXP003", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal010", "DEAL_EXPENSE_CODE":"EXP004", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal011", "DEAL_EXPENSE_CODE":"EXP005", "DEAL_BRANCH":"AMSTERDAM"}
{"DEAL_ID":"deal012", "DEAL_EXPENSE_CODE":"EXP006", "DEAL_BRANCH":"AMSTERDAM"}

第2步:打开另一个终端并运行使用者来测试数据.

./bin/kafka-avro-console-consumer --topic stream-test-topic \
         --bootstrap-server localhost:9092 \
         --property schema.registry.url=http://localhost:8081 \
         --from-beginning

步骤3:打开另一个终端并运行生产者.

./bin/kafka-avro-console-producer \
         --broker-list localhost:9092 --topic expense-test-topic \
--property "parse.key=true" \
--property "key.separator=:" \
--property schema.registry.url=http://localhost:8081 \
--property key.schema='"string"' \ …

我将一个长JSON字符串传递给kafka主题,例如:

{
    "glossary": {
        "title": "example glossary",
        "GlossDiv": {
            "title": "S",
            "GlossList": {
                "GlossEntry": {
                    "ID": "SGML",
                    "SortAs": "SGML",
                    "GlossTerm": "Standard Generalized Markup Language",
                    "Acronym": "SGML",
                    "Abbrev": "ISO 8879:1986",
                    "GlossDef": {
                        "para": "A meta-markup language, used to create markup languages such as DocBook.",
                        "GlossSeeAlso": ["GML", "XML"]
                    },
                    "GlossSee": "markup"
                }
            }
        }
    }
}

并且想要从kafka主题创建流,其中所有字段都指定了KSQL中的每个字段,例如:

 CREATE STREAM pageviews_original (*) WITH \
(kafka_topic='pageviews', value_format='JSON');

部署了 Strimzi Kafka、Strimzi Zookeeper 和 Debezium mongodb 连接器，并配置了 Debezium mongodb，

curl 'http://my-connect-cluster-connect-api:8083/connectors' -X POST -i -H "Content-Type:application/json" -d '{
  "name": "mongodb-connector", 
  "config": {
    "connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
    "mongodb.hosts": "MainRepSet/mongod-0.mongodb-service.kafka.svc.cluster.local:27017,mongod-1.mongodb-service.kafka.svc.cluster.local:27017,mongod-2.mongodb-service.kafka.svc.cluster.local:27017", 
    "mongodb.name": "MainRepSet", 
    "collection.whitelist": "springdatabase[.]*",
    "mongodb.user": "springuser",
    "mongodb.password": "password"
  }
}'

但得到了身份验证异常，

2019-01-29 13:13:40,170 ERROR Error while reading the 'shards' collection in the 'config' database: Timed out after 30000 ms while waiting to connect. Client view of cluster state is {type=UNKNOWN, servers=[{address=mongod-2.mongodb-service.kafka.svc.cluster.local:27017, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSecurityException: Exception authenticating MongoCredential{mechanism=null, userName='springuser', source='admin', password=<hidden>, mechanismProperties={}}}, caused by …

我们可以在视图或物化视图上设置 CDC 跟踪吗？我们使用的是 Confluence 平台，来源是 SQL Server，CDC 工具是 Debezium。

我正在尝试使用 Apache Iceberg 目录和 Hive Metastore 设置 Flink SQL，但没有成功。以下是我在干净的 Flink 1.18.1 安装中采取的步骤，以及我得到的错误。

设置组件

运行 Hive MetaStore：

docker run --rm --detach --name hms-standalone \\\n           --publish 9083:9083 \\\n           ghcr.io/recap-build/hive-metastore-standalone:latest \n

使用 Docker 运行 MinIO：

docker run --rm --detach --name minio \\\n            -p 9001:9001 -p 9000:9000 \\\n            -e "MINIO_ROOT_USER=admin" \\\n            -e "MINIO_ROOT_PASSWORD=password" \\\n            minio/minio server /data --console-address ":9001"\n

配置一个存储桶：

docker exec minio \\\n    mc config host add minio http://localhost:9000 admin password\ndocker exec minio \\\n    mc mb …

我正在通过 PySpark 探索 Spark Streaming，当我尝试将transform函数与take.

我可以成功地使用sortBy过DStream孔transform和pprint结果。

author_counts_sorted_dstream = author_counts_dstream.transform\
  (lambda foo:foo\
   .sortBy(lambda x:x[0].lower())\
   .sortBy(lambda x:x[1],ascending=False))
author_counts_sorted_dstream.pprint()

但是如果我使用take以下相同的模式并尝试pprint它：

top_five = author_counts_sorted_dstream.transform\
  (lambda rdd:rdd.take(5))
top_five.pprint()

工作失败

Py4JJavaError: An error occurred while calling o25.awaitTermination.
: org.apache.spark.SparkException: An exception was raised by Python:
Traceback (most recent call last):
  File "/usr/local/spark/python/pyspark/streaming/util.py", line 67, in call
    return r._jrdd
AttributeError: 'list' object has no attribute '_jrdd'

Run Code Online (Sandbox Code Playgroud)

您可以在此处查看笔记本中的完整代码和输出。

我究竟做错了什么？

我在(Plain Vanilla)Hadoop集群中使用Apache Kafka过去几个月,出于好奇,我问这个问题.只是为了获得有关它的额外知识.

Kafka server.properties文件已经具有以下参数:

zookeeper.connect =本地主机:2181

我使用以下命令启动Kafka Server/Broker:

bin/kafka-server-start.sh config/server.properties

因此,我假设Kafka在我们启动Kafka服务器本身时会自动推断Zookeeper的详细信息.如果是这种情况,那么为什么我们需要在创建Kafka主题时明确提及zookeeper属性,其语法如下所示,供您参考:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --rerelication-factor 1 --partitions 1 --topic test

根据Kafka文档,我们需要在启动Kafka服务器之前启动zookeeper.所以我不认为Kafka可以通过在Kafka的server.properties文件中注释zookeeper的详细信息来启动

但至少我们可以使用Kafka创建主题并启动Kafka Producer/Consumer,而无需在各自的命令中明确提及zookeeper吗？

寻找 GoldenGate 的开源替代方案，将源 Oracle 中的所有 DML 操作流式传输到压缩的 kafka 主题。我的雇主承认拉里可能不需要另一个岛。因此，许可 Oracle GoldenGate 不是一种选择。

到目前为止查看了https://gitter.im/linkedin/brooklin、https://github.com/linkedin/databus、https://github.com/debezium/debezium 。我找不到任何说明如何使用这些进行 Oracle CDC 的文档。任何指针将不胜感激。我不是在询问任何意见或建议，我只是在寻找 GoldenGate 的可行替代方案。

编辑

我从 Debezium gitter /slack 频道https://debezium.io/docs/connectors/oracle/得到这个。但这仍然需要 GoldenGate 许可证。

出于开发目的，我想为我的单一经纪人 kafka 设置控制中心，但由于异常而失败。我将我的配置和控制中心输出日志详细信息放在这里。有人可以帮忙提供建议吗？

[2020-04-04 11:27:55,883] ERROR [main] 3 brokers are required but only found 1. Check the topic replication settings in the properties file or add more brokers to your cluster (io.confluent.controlcenter.KafkaHelper)