小编CMP*_*MPE的帖子

Airflow和Nifi在工作流程中执行相同的工作吗？每个人的赞成/赞成是什么？我需要读取一些json文件,向其添加更多自定义元数据并将其放入要处理的Kafka队列中.我能够在Nifi中做到这一点.我还在研究Airflow.我正在尝试为我的项目选择最好的工作流引擎谢谢!

有没有办法ssh到不同的服务器并使用Airbnb的Airflow运行BashOperator？我正在尝试使用Airflow运行hive sql命令,但我需要SSH到另一个框以运行hive shell.我的任务应如下所示:

1. SSH到server1
2. 启动Hive shell
3. 运行Hive命令

谢谢!

我得到坐标 - 纬度/经度,我想检查这些坐标是否在美国大陆.有没有一种简单的方法在C#中做到这一点？我可以将坐标转换为MGRS或UTM.谢谢!

有没有没有pip的安装Airflow的方法？

我正在尝试在没有pip的脱机计算机上安装Airflow。我已经从互联网上下载了软件包，但是我不确定如何在没有pip的情况下运行安装。有人知道如何使用“ setup.py”运行安装吗？谢谢！

我想让SSL与Kafka一起运行，以使其更加安全。我下载并安装了Kafka。我完全按照说明为SSL创建证书和信任库。我将以下内容添加到我的config / server.properties中

ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1
ssl.keystore.type=JKS
ssl.truststore.type=JKS

listeners=PLAINTEXT://localhost:9092,SSL://localhost:9093
ssl.endpoint.identification.algorithm=HTTPS
security.inter.broker.protocol=SSL
ssl.secure.random.implementation=SHA1PRNG
ssl.endpoint.identification.algorithm=HTTPS
ssl.keystore.location=/home/ec2-user/workspace/kafka/cert/server.keystore.jks
ssl.key.password=<the password>
ssl.keystore.password=<the password>
ssl.truststore.location=/home/ec2-user/workspace/kafk/cert/server.truststore.jks
ssl.truststore.password=<the password>

启动Zookeeper之后，启动kafak时出现此错误：[2017-12-07 16：02：52,155]错误[Controller id = 0，targetBrokerId = 0]由于以下原因，与节点0的连接身份验证失败：SSL握手失败（ org.apache.kafka.clients.NetworkClient）。我必须终止任务才能停止此消息

看logs/controller.log：

[Controller-0-to-broker-0-send-thread]: Controller 0's connection to broker localhost:9093 (id: 0 rack: null) was unsuccessful (kafka.controller.RequestSendThread)

您是否必须打开端口9093上的防火墙？

谢谢

我正在编写RESTful Web服务状态页面的代码.我想知道是否有将IIS的当前请求转移到C#中.

我正在使用IIS 7.0,我想要的信息

IIS>工作程序> ASP.NET v4.0 >请求

我试图删除字符串中最后一个字符.我可以得到它index:

str.lastIndexOf(',')

我已经尝试使用split和replace字符串上的函数.

我在scala中创建了一个小应用程序,用于创建kafka生成器并使用Apache Spark运行.当我运行命令

spark-submit --master local[2] --deploy-mode client <into the jar file> <app Name> <kafka broker> <kafka in queue> <kafka out queue> <interval>

我得到这个WARN:WARN AppInfoParser:注册AppInfo时出错mbean javax.management.InstanceAlreadyExistsException:kafka.producer:type = app-info,id =

代码不相关,因为我在scala创建KafkaProducer时遇到此异常:val producer = new KafkaProducerObject,Object

有人有解决方案吗？谢谢!

我有一个在 K8S 上运行的 Kafka 集群。我正在使用融合的 kafka 图像，并且我有一个正在工作的外部侦听器。如何添加 SSL 加密？我应该使用入口吗？我在哪里可以找到好的文档？谢谢

Ant 1.9.4与Java 1.8兼容吗？在蚂蚁的文档不是很清楚：它只是说，这是与Java 1.5的最低版本兼容。如何确定它与Java 1.8兼容？谢谢！