小编dim*_*mah的帖子

有没有办法从RM Web UI中删除应用程序而不是运行yarn application -kill？

我有一个包含10列的HIVE表,其中前9列将具有重复行,而第10列不会像CREATE_DATE那样具有创建日期.

例:

如果我今天在表中插入10行,它将把CREATE_DATE作为今天的日期..如果我明天再次插入相同的10行,它将有一个不同的CREATE_DATE,这会产生我使用DISTINCT的问题.

有没有办法根据9列删除重复记录而忽略第10列.

示例:让我们考虑表中有5列.这是由DAYID和MARKETID划分的外部HIVE表.每当除CREATEDATE之外的列(由第1行和第2行引用)相同或者如果行是重复的(如第3行和第4行所引用),它应该保留这些行中的任何一行.它保留哪个并不重要.

COL1 COL2 CREATEDATE   DAYID    MARKETID  
A     1    20131206   20131207 1234  
A     1    20131207   20131207 1234  
A     1    20131206   20131207 1234  
B     1    20131206   20131207 1234  
B     1    20131206   20131207 1234  
C     2    20131206   20131207 1234  
C     2    20131207   20131207 5678 

输出---

COL1 COL2 CREATEDATE   DAYID    MARKETID
A     1    20131206   20131207   1234
B     1    20131206   20131207   1234
C     2    20131206   20131207   1234
C     2    20131207   20131207   5678

谢谢Nates

如何检查特定的消费者群体是否完全消耗了某个主题？
这相当于检查标准排队系统中队列是否为空.
这并不明显,因为每个消费者只看到它给出的分区,因此它不知道其组中的其他消费者是否消耗了他们的部分.
我想这应该通过某种方式来完成AdminUtils或者ZkUtils,但我似乎无法找到正确的方式.