小编Sai*_*dam的帖子

如何在 Kafka 中实现自定义主体构建器并使用 ACL 将其用于授权?

根据本文档, 我已为客户端和代理之间以及代理间的所有通信启用 SSL 身份验证
对于使用 ACL 的授权,文档中已经提到使用 SSL 身份验证时的默认主体名称,默认 SSL 用户名将采用以下形式CN=writeuser,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown,C=Unknown,要修改它,我们需要设置一个principal.builder.class=CustomizedPrincipalBuilderClass.

我想获得有关如何实现新的 PrincipalBuilderClass 并使用该类提供 SSL 用户名的帮助CN+OU。任何显示上述示例实现的文章也有效。

在此先感谢您的帮助!

apache-kafka

5
推荐指数
1
解决办法
945
查看次数

验证 sbt-assembly IntelliJ 中的阴影

我正在尝试将 GeoIP2 v2.10.0 Java API ( https://github.com/maxmind/GeoIP2-java ) 与 Apache Spark v2.2.0、Scala 2.11.8 一起使用。问题是,Apache Spark 在它的 pom 文件中有 jackson-databind artifact v2.6.5,而 GeoIP2 需要 jackson-databind 2.9.2 的最低版本。因此,我试图使用sbt-assembly. 我spark-submit在 AWS-EMR 上使用命令,但我不断收到以下依赖错误:

 Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ArrayNode.<init>(Lcom/fasterxml/jackson/databind/node/JsonNodeFactory;Ljava/util/List;)V at com.maxmind.db.Decoder.decodeArray(Decoder.java:272)
Run Code Online (Sandbox Code Playgroud)

出现上述异常主要是因为 jackson-databind v2.6.5 是从 Spark 中拉取的,而不是使用 2.9.2。谁能告诉我我是否正确地进行了着色过程,或者我是否遗漏了任何东西?如何验证IntelliJ 中的是否com.fasterxml.jackson.core.*实际着色shaded.jackson.core.*?我尝试使用该sbt-dependencyTree插件,但只显示依赖项为com.fasterxml.jackson.core.*.

以下是我的build.sbt文件:

    name := "Sessionization"
    version := "0.1"
    scalaVersion := "2.11.8"

    assemblyShadeRules in assembly := Seq(ShadeRule.rename("com.fasterxml.jackson.core.**" -> "shaded.jackson.core.@1").inAll
      //.inLibrary("com.fasterxml.jackson.core" % "jackson-databind" % …
Run Code Online (Sandbox Code Playgroud)

scala intellij-idea sbt sbt-assembly

5
推荐指数
1
解决办法
548
查看次数

使用 tf.data 读取 CSV 文件非常慢,使用 tfrecords 代替?

我有很多 CSV 文件,每条记录包含约 6000 列。第一列是标签,其余列应视为特征向量。我是 Tensorflow 新手,我不知道如何将数据读入Dataset具有所需格式的 Tensorflow。我当前正在运行以下代码:

DEFAULTS = []
n_features = 6170
for i in range(n_features+1):
  DEFAULTS.append([0.0])

def parse_csv(line):
    # line = line.replace('"', '')
    columns = tf.decode_csv(line, record_defaults=DEFAULTS)  # take a line at a time
    features = {'label': columns[-1], 'x': tf.stack(columns[:-1])}  # create a dictionary out of the features
    labels = features.pop('label')  # define the label

    return features, labels


def train_input_fn(data_file=sample_csv_file, batch_size=128):
    """Generate an input function for the Estimator."""
    # Extract lines from input files using …
Run Code Online (Sandbox Code Playgroud)

python tensorflow tensorflow-datasets

5
推荐指数
1
解决办法
3233
查看次数