我已经为HA群集配置了一个Namenode,一个Standby和一个数据节点.我已经使用hiveserver2(Hive-2.0.1)启动了derby数据库.
启动hive服务器后,打开beeline.cmd检查数据库是否存在.
它默认显示2次:
0:jdbc:hive2:// hostname:port/default> show databases;
+ ---------------- + - +
| database_name |
+ ---------------- + - +
| 默认|
| 默认|
+ ---------------- + - +
选择3行(0.027秒)
那时我无法在那个hive2中创建表.
谁能告诉我这个问题的原因？
任何帮助赞赏.
我需要使用Python脚本从邮件中下载没有过去附件的传入附件。
例如：如果有人在此时（现在）发送邮件，则只需将该附件下载到本地驱动器即可，而不是过去的附件。
请任何人帮助我使用python脚本或java下载附件。
我需要在NiFi中使用PrioritizeAttributePrioritizer.
我已经观察到下面的优先顺序参考. https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#settings
如果我收到10个流文件,那么我需要为每个流文件设置唯一的优先级值.
之后,指定队列配置必须是PrioritizeAttributePrioritizer.
然后根据优先级值处理流文件.
如何设置单独流文件的优先级值或Nifi中的优先级为我的情况？
我得到一个整数,我需要在nifi中使用表达式语言转换为月份名称
Example for locale en-us:
1 -> Jan
2 -> Feb
3 -> Mar
如何使用表达式语言将数字转换为nifi？
我创建了具有数据类型 -dateTimeOffset 值的单列的表并插入了一些值。
create table dto (dto datetimeoffset(7))
insert into dto values (GETDATE()) -- inserts date and time with 0 offset
insert into dto values (SYSDATETIMEOFFSET()) -- current date time and offset
insert into dto values ('20131114 08:54:00 +10:00') -- manual way
在 Nifi 中，我指定了 在 Execute SQL 中“Select * from dto”查询。
它显示以下错误..，
java.lang.IllegalArgumentException: createSchema: Unknown SQL type -155 cannot be converted to Avro type
如果我将该列更改为 dateTime，则 ExecuteSQL 运行正确，但它在 DateTimeOffset 列中不起作用。
任何帮助表示赞赏。
非常感谢
我需要将csv数据转换为json值。
我的CSV数据如下。
aa cc dd ee ff
cc dd ff gg hh ll mm nn oo pp
H1 "null" H3 "null" H5 H6 H7
c1 c2 c3
c4 c5 c6 c7 c8 c9 c10 c11 c12
我只需要获取“ H1”行数据，它可能包含csv文件中的一些空列。
如何提取特定行值中的值并将其仅转换为json值？
我使用了拆分文本并提取了文本，ReplaceText处理器，但是由于前一行中存在一些空列，因此未获得“ H1”行。
并且处理器仅将“ aa”行转换为json值。此后，它不读取以下行。
请有人帮我解决这个问题吗？
我有一个似乎正在创建FlowFiles的处理器(修改了标准处理器),但是当它转到commit()会话时,会引发异常:
2016-10-11 12:23:45,700 ERROR [计时器驱动的进程线程-6] cscprocessors.files.GetFileData [GetFileData [id = 8f5e644d-591c-4df1-8c79-feea118bd8c0]]由于{} org而无法检索文件.apache.nifi.processor.exception.FlowFileHandlingException:未指定StandardFlowFileRecord传输关系
我假设这应该表明没有可用于提交传输的连接; 但是,在init()期间注册的"成功"关系与原始处理器相同,并且成功关系out应该与另一个处理器输入连接.
任何疑难解答建议？
我只需要知道这是否可能运行严重的处理器直到它完成.
"进程组中执行一系列处理器等待anthor进程组结果执行完成".
例如:
我在Nifi UI中有3个处理器.
P1-->P2-->P3
P-->Processor
Now i need to run p1 if it run completely then run P2 And finally it will run like sequence but one wait for another to be complete.
编辑-1:
例如我在web url.i中有数据可以使用GetHTTP处理器下载该数据现在我将其存储在putFile内容中.如果文件保存在putFile目录中,则运行FetchFile将该文件处理到我的数据库,如下面的工作流程.
GetHTTP-->PutFile-->FetchFile-->DB
这可能就像批量处理scanerio一样吗？
如果有任何想法我做错了请停止我.
我需要对 NiFi 处理器进行一些澄清。
由于每个处理器都有并发任务，如果我为处理器设置并发任务，那么它会提高处理器的处理速度。但它会影响系统性能，例如 100% 磁盘使用率、100% 内存使用率等
有没有其他方法可以在不使用并发任务的情况下加速处理器？
我有CSV文件,其中包含以下内容, Input.csv
Sample NiFi Data demonstration for below
Due dates 20-02-2017,23-03-2017
My Input No1 inside csv,,,,,,
Animals,Today-20.02.2017,Yesterday-19-02.2017
Fox,21,32
Lion,20,12
My Input No2 inside csv,,,,
Name,ID,City
Mahi,12,UK
And,21,US
Prabh,32,LI
我需要将整个csv(Input.csv)分成两部分,如InputNo1.csv和InputNo2.csv.
For InputNo1.csv should have below contents only.,
Animals,Today-20.02.2017,Yesterday-19-02.2017
Fox,21,32
Lion,20,12
For InputNo2.csv should have below contents.,
Name,ID,City
Mahi,12,UK
And,21,US
Prabh,32,LI
是否可以使用现有处理器将csv转换为NiFi中的多个部分？
我已将PutSQL处理器的并发任务增加到"10".
那时它显示以下错误,但没有数据丢失.
failed to process due to org.apache.nifi.processor.exception.ProcessException: org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object; rolling back session:
如果我已删除并发任务,那么它没有这些例外
虽然谷歌这个例外我在下面的链接中找到了答案
我收到无法获得连接,池错误超时等待空闲对象,当我尝试在我的Web应用程序中创建超过250个线程时
但我不知道如何在NiFi putSQL中避免这个问题.
任何人都可以帮我解决这个问题吗？