Nifi自定义处理器异常

Question

我正在使用Nifi 0.4.1版本.我正在编写自定义代码以将CSV转换为avro格式.我创建了类文件,并能够生成nar文件.在lib目录中放置nar文件并重新启动nifi服务器.

类文件没有任何错误或警告.

在nifi工作区中拖动处理器时,无法看到为将csv转换为avro而创建的类.

任何帮助赞赏..

谢谢,

Answer 1

您可以检查一些事项来诊断处理器问题:

1. 提供商配置文件
2. 处理器类
3. lib目录中的NAR
4. nifi-app.log中的ExtensionManager条目
5. nifi-app.log中的错误

听起来你已经检查了一些,但请确认所有这些:

提供商配置文件

必须使用Java代码在同一个nar文件中的服务配置文件中引用您的处理器.该文件将被命名org.apache.nifi.processor.Processor,并且每行处理器实现将包含一个完全限定的类名.查看一个示例很有帮助,例如nifi-solr-processors的这个提供程序配置.

org.apache.nifi.processors.solr.PutSolrContentStream
org.apache.nifi.processors.solr.GetSolr

处理器类

确保您的处理器类是公共的,实现的org.apache.nifi.processor.Processor,继承自org.apache.nifi.processor.AbstractProcessor或来自另一个Processor实现.您应确保完全限定的类名与上面的提供程序配置文件匹配.

public abstract class SolrProcessor extends AbstractProcessor {
...
public class GetSolr extends SolrProcessor {
...
public class PutSolrContentStream extends SolrProcessor {
...

lib目录中的NAR

您的nar文件应放在NiFi安装的lib目录中.如果在您的设置中有任何问题,请确保NiFi用户具有该权限.听起来你已经检查了这个.

nifi-app.log中的ExtensionManager条目

启动NiFi后,请查看logs/nifi-app.log.ExtensionManager将输出从lib目录中找到并加载的所有扩展的列表.它看起来像这样(编辑长度):

org.apache.nifi.nar.ExtensionManager Extension Type Mapping to Classloader:
=== ControllerService type || Classloader ===
org.apache.nifi.processors.aws.credentials.provider.service.AWSCredentialsProviderControllerService || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-aws-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.distributed.cache.server.DistributedSetCacheServer || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-distributed-cache-services-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.distributed.cache.client.DistributedSetCacheClientService || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-distributed-cache-services-nar-0.6.0-SNAPSHOT.nar-unpacked]
...
=== End ControllerService types ===
=== Processor type || Classloader ===
org.apache.nifi.processors.standard.GetHTTP || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-standard-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.script.ExecuteScript || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-scripting-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.aws.s3.DeleteS3Object || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-aws-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.standard.ExecuteSQL || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-standard-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.mongodb.GetMongo || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-mongodb-nar-0.6.0-SNAPSHOT.nar-unpacked]
...

您希望在此列表中找到您的处理器,控制器服务或报告任务.

nifi-app.log中的错误

如果找到并加载,则在执行代码时可能会抛出异常,这也会出现在nifi-app.log.例如,如果在提供程序配置文件中放入了错误的类名,则会出现"找不到提供程序"错误:

java.util.ServiceConfigurationError: org.apache.nifi.processor.Processor: Provider org.apache.nifi.processors.test.TestProcessor not found
    at java.util.ServiceLoader.fail(ServiceLoader.java:239) ~[na:1.8.0_65]
    at java.util.ServiceLoader.access$300(ServiceLoader.java:185) ~[na:1.8.0_65]
    at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:372) ~[na:1.8.0_65]
    at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404) ~[na:1.8.0_65]
    at java.util.ServiceLoader$1.next(ServiceLoader.java:480) ~[na:1.8.0_65]
    at org.apache.nifi.nar.ExtensionManager.loadExtensions(ExtensionManager.java:107) ~[nifi-nar-utils-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.nar.ExtensionManager.discoverExtensions(ExtensionManager.java:88) ~[nifi-nar-utils-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.NiFi.<init>(NiFi.java:120) ~[nifi-runtime-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.NiFi.main(NiFi.java:227) ~[nifi-runtime-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]