标签: apache-nifi

我有多个nifi服务器,我希望能够通过脚本从REST接口POST模板

"/ controller/templates"端点似乎是正确的REST端点,支持将任意模板POST到我的Nifi安装. "snippetId"字段让我很困惑,如何确定"内容将包含模板的片段的ID"？有没有人有一个例子,说明如何在不使用UI的情况下将模板"test.xml"上传到我的服务器？

在我目前的项目中,我一直在使用apache nifi进行一些实验.当我第一次配置时.nifi运行得很完美(当我输入时,我能够在Google Chrome上看到画布,工具栏http://localhost:8080/nifi/).但是,重新启动计算机一次后,我无法运行它.

当我键入nifi.0.7.0\bin\run-nifi.bat命令时,我在控制台上看到以下消息.

2016-07-27 10:19:39,246 INFO [main] org.apache.nifi.bootstrap.Command Starting A
pache NiFi...
2016-07-27 10:19:39,246 INFO [main] org.apache.nifi.bootstrap.Command Working Di
rectory: C:\NIFI-0~1.0
2016-07-27 10:19:39,246 INFO [main] org.apache.nifi.bootstrap.Command Command: C
:\Program Files\Java\jdk1.8.0_102\bin\java.exe -classpath C:\NIFI-0~1.0\.\conf;C
:\NIFI-0~1.0\.\lib\jcl-over-slf4j-1.7.12.jar;C:\NIFI-0~1.0\.\lib\jul-to-slf4j-1.
7.12.jar;C:\NIFI-0~1.0\.\lib\log4j-over-slf4j-1.7.12.jar;C:\NIFI-0~1.0\.\lib\log
back-classic-1.1.3.jar;C:\NIFI-0~1.0\.\lib\logback-core-1.1.3.jar;C:\NIFI-0~1.0\
.\lib\nifi-api-0.7.0.jar;C:\NIFI-0~1.0\.\lib\nifi-documentation-0.7.0.jar;C:\NIF
I-0~1.0\.\lib\nifi-nar-utils-0.7.0.jar;C:\NIFI-0~1.0\.\lib\nifi-properties-0.7.0
.jar;C:\NIFI-0~1.0\.\lib\nifi-runtime-0.7.0.jar;C:\NIFI-0~1.0\.\lib\slf4j-api-1.
7.12.jar -Dorg.apache.jasper.compiler.disablejsr199=true -Xmx512m -Xms512m -Dsun
.net.http.allowRestrictedHeaders=true -Djava.net.preferIPv4Stack=true -Djava.awt
.headless=true -Djava.protocol.handler.pkgs=sun.net.www.protocol -Dnifi.properti
es.file.path=C:\NIFI-0~1.0\.\conf\nifi.properties -Dnifi.bootstrap.listen.port=4
9823 -Dapp=NiFi -Dorg.apache.nifi.bootstrap.config.log.dir=C:\NIFI-0~1.0\bin\..\
\logs org.apache.nifi.NiFi

你能告诉我什么问题吗？我该如何解决这个问题？

更多信息,内容nifi-app.log如下:

2016-07-31 17:47:52,531 INFO [main] org.apache.nifi.NiFi Launching NiFi...
2016-07-31 17:47:52,687 INFO [main] org.apache.nifi.BootstrapListener Started Bootstrap Listener, …

在Apache NiFi中,使用FetchS3Object从S3存储桶读取,我发现它可以读取存储桶中的所有对象并添加它们.可能吗:

1. 要将处理器配置为只读取现在添加的对象,而不是已经存在的对象？
2. 如何让它读取存储桶中的特定文件夹？

NiFi看起来很棒,只是缺少他们的文档中至少流行的处理器的例子.

我试图了解Apache Nifi和Hortonworks Data Flow(HDF)之间的区别.

它们在能力和整体设计方面有何不同？Nifi和HDF的用例有哪些？

新的NiFi!

我正在使用InvokeHTTP nifi处理器(以此链接为例来实现我的流程http://www.tomaszezula.com/2016/10/30/nifi-and-http-post-configuration/).我目前需要进行POST以便对我正在使用的服务器进行身份验证.我能够成功发布.但是,我需要能够从执行的POST的响应中获取返回的数据.当我查看InvokeHTTPs输出到成功队列时,我看到的是我发布的主体.反正我有没有把响应放到流文件中？

提前致谢!

我有几个Nifi进程组,我想在升级到生产之前运行集成测试.问题是我似乎无法找到有关如何操作的任何文档.

Data Provenance似乎是一个很有前途的工具来完成我想要的工作,但是,在flowfile的生命周期中,数据是发布到kafka或从文件系统发布的.结果,流文件UUID发生了变化,因此我无法使用它来查询它nifi-api.

另外,我知道Nifi提供了一个TestRunner运行测试的库,但是,这似乎只适用于通过代码而不是UI生成的处理器/处理器组.

有没有人知道用于集成和单元测试nifi进程组的工具,框架或模式.理想情况下,这将是一个解决方案,您可以编程地比较处理器/处理器组的输入/输出,而无需修改现有工作流程.

我想将 Nifi 流文件发送到 Spark 并在 Spark 中进行一些转换，然后再次将结果发送回 Nifi，以便我可以在 Nifi 中进行进一步的操作。我不想将流文件写入数据库或 HDFS，然后触发 Spark 作业。我想将流文件直接发送到 Spark 并直接从 Spark 接收结果到 Nifi。我尝试在 Nifi 中使用 ExecuteSparkInteractive 处理器，但我被卡住了。任何例子都会有帮助

我正在开发一个Java解决方案,它通过属于不同供应商的REST API与一组设备进行通信.因此,对于每个供应商,我必须在我的解决方案中执行一组流程.但是,这些过程将根据每个供应商进行更改.以下是需要执行的高级过程.

• Retrieve an XML file from a folder
• Process the XML file
• Perform some image processing
• Schedule a job and execute it on the scheduled time
• Storing data on a MySQL DB and perform some REST calls to outside APIs

因此,对于一个供应商可能具有上述所有过程.但对于另一个,可能没有一些过程(例如:图像处理).以下事情应该能够从所选择的解决方案中获得.

• I should be able to create custom workflows for new vendors
• Need to identify any failures that have been occurred within the workflow and perform retry mechanisms.
• Should be able to execute some functions parallelly (Eg: Image processing) …

我正在尝试向api做一个非常简单的多部分表单发布。我看不到在Apache Nifi中执行此操作的任何方法，因为它似乎仅具有一个表单数据输入。在这里和Nifi论坛上似乎有很多关于此的现有问题，但是它们都没有任何答案。

我正在尝试使用invokehttp。在将其放入invokehttp之前，是否有一种方法可以构建多种表单数据？

我在Apache Nifi中使用GetTwitter处理器使用UserId处理实时推文。最初它可以正常工作，但几个小时后仍未从Twitter检索到任何推文。请问我为什么会遇到这个问题。

注意： 由于我正在使用25000用户ID从他们那里获取实时推文。正如我所提到的，一些博客显示5000 UserId是GetTwitter处理器的最大限制。我使用具有相同访问凭据的5个GetTwitter处理器将25000个用户ID分为5个部分。