小编Sha*_*Guo的帖子

我们计划将Apache Pig代码移动到新的Spark平台.

Pig具有"Bag/Tuple/Field"概念,其行为与关系数据库类似.Pig为CROSS/INNER/OUTER连接提供支持.

对于CROSS JOIN,我们可以使用别名= CROSS别名,别名[,别名...] [PARTITION BY partitioner] [PARALLEL n];

但是当我们转向Spark平台时,我在Spark API中找不到任何对应物.你有什么主意吗？

我有三个 Kafka 经纪人（kafka_2.11-0.10.0.0），每个经纪人的安全性配置如下，

listeners=PLAINTEXT://xxxx:9093,SASL_PLAINTEXT://xxxx:10093
advertised.listeners=PLAINTEXT://xxxx:9093,SASL_PLAINTEXT://xxxx:10093
security.inter.broker.protocol=PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
super.users=User:admin

kafka_server_jaas.conf 也配置了管理员用户。

KafkaServer {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="admin"
        password="welcome1"
        user_guest="welcome1";
};

当我使用 PLAINTEXT 侦听器连接并生成和使用消息时，一切正常。

但是当我尝试将 ACL 添加到某个主题时，集群将输出如下错误消息：

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=xxxx:2181/kafka10  --add --allow-principal User:guest --producer --topic page_visits_10k  

经纪商输出

[2016-05-31 10:49:57,497] ERROR [ReplicaFetcherThread-0-2], Error for partition [page_visits_10k,1] to broker 2:org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [Topic authorization failed.] (kafka.server.ReplicaFetcherThread)
[2016-05-31 10:49:59,003] ERROR [ReplicaFetcherThread-0-2], Error for partition [page_visits_10k,1] to broker 2:org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [Topic authorization failed.] (kafka.server.ReplicaFetcherThread)

错误输出看起来像代理间复制错误，感谢您的帮助。