小编nic*_*ckn的帖子

有没有办法在实例化时注册自定义编解码器CassandraConnector？

我每次打电话时都在注册我的编解码器 cassandraConnector.withSessionDo

val cassandraConnector = CassandraConnector(ssc.sparkContext.getConf)
...
...
.mapPartitions(partition => {
  cassandraConnector.withSessionDo(session => {
    // register custom codecs once for each partition so it isn't loaded as often for each data point
    if (partition.nonEmpty) {
      session.getCluster.getConfiguration.getCodecRegistry
        .register(new TimestampLongCodec)
        .register(new SummaryStatsBlobCodec)
        .register(new JavaHistogramBlobCodec)
    }

这样做似乎有点像反模式.它也真的堵塞了我们的日志,因为我们有一个每30秒运行一次的火花流服务,并且它正在填充我们的日志:

16/11/01 14:14:44 WARN CodecRegistry: Ignoring codec SummaryStatsBlobCodec [blob <-> SummaryStats] because it collides with previously registered codec SummaryStatsBlobCodec [blob <-> SummaryStats]
16/11/01 14:14:44 WARN CodecRegistry: Ignoring codec JavaHistogramBlobCodec [blob <-> Histogram] because it …

我正在尝试将一个jar发布到nexus.我正在使用sbt和scala,我有一个配置文件,其中包含所需的凭据.我跑步时遇到麻烦sbt publish,它给了我未经授权的错误.我需要能够将我的凭据链接到我的sbt构建.我正在尝试设置我的配置的目标,~/.ivy2/.credentials但它似乎没有工作.有没有人对如何解决这个问题有任何建议？

谢谢.