小编Raf*_*Raf的帖子

我们启动一个Kafka消费者,聆听可能尚未创建的主题(尽管已启用主题自动创建).

此后不久,制作人就该主题发布消息.

但是,消费者需要一些时间才能注意到这一点:确切地说是5分钟.此时,消费者撤销其分区并重新加入消费者组.卡夫卡重新稳定了这个群体.查看消费者与kafka日志的时间戳,此过程在消费者端实例化.

我想这是预期的行为,但我想理解这一点.这实际上是一个重新平衡(从0到1分区)？如果我们提前创建主题,这不会发生吗？

2017-02-01 08:36:45.692  INFO 7 --- [afka-consumer-1] o.a.k.c.c.internals.ConsumerCoordinator  : Revoking previously assigned partitions [] for group tps-kafka-partitioning
2017-02-01 08:36:45.692  INFO 7 --- [afka-consumer-1] o.s.k.l.KafkaMessageListenerContainer    : partitions revoked:[]
2017-02-01 08:36:45.693  INFO 7 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : (Re-)joining group tps-kafka-partitioning
2017-02-01 08:36:45.738  INFO 7 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : Successfully joined group tps-kafka-partitioning with generation 1
2017-02-01 08:36:45.747  INFO 7 --- [afka-consumer-1] o.a.k.c.c.internals.ConsumerCoordinator  : Setting newly assigned partitions [] for group tps-kafka-partitioning
2017-02-01 08:36:45.749  INFO 7 --- [afka-consumer-1] …

我想从 Spark 作业内部向速率受限的 API 发出一些 Http 请求。为了跟踪非分布式系统（在 Scala 中）中的并发请求数，请执行以下操作：

• 一个节流参与者，它维护一个信号量（计数器），该信号量在请求开始时递增，在请求完成时递减。尽管是分布式的，但在分布式 Spark 上下文中Akka对其进行（反）序列化存在问题。actorSystem
• 将并行流与 fs2 结合使用：https ://fs2.io/concurrency-primitives.html => 无法分发。
• 我想我也可以只将collect数据帧发送到 Sparkdriver并使用上述选项之一来处理限制，但我想保持分布式。

此类事情通常如何处理？

我必须在这里忽略一些东西.我正在使用visajs的Facebook策略来验证用户.这是通过2个请求/ [路由处理程序]完成的:

//one to initiate the the auth:
init: function (req, res, next) {
    passport.authenticate('facebook', {
        callbackURL: URL + '/facebook/callback',
        state: req.body //attempting to put some state
    })(req, res, next)
}

//one callback
callback: function (req, res, next) {
    passport.authenticate('facebook', {
        callbackURL: URL + '/facebook/callback'
    },
    function (err, profile, accessToken, refreshToken) {
        if (err) return next(err)
        res.send(passedReqBody)
    })(req, res, next)
}

//the verify callback doesn't do much.
//Application logic is done in route callback handlers
passport.use(new FacebookStrategy({
    clientID: config.facebook.id,
    clientSecret: …

我想使用COMMENT ON语法对 PostgreSQL 模式进行版本控制（这是否是一个好的实践是另一个问题），但我不确定稍后如何检索这些注释。

有很多关于如何检索数据库和列注释的文章，但关于模式的文章却很少。

有任何想法吗？