小编inv*_*ell的帖子

你将如何使用python在Spark中执行基本连接？在R中你可以使用merg()来做到这一点.使用python on spark的语法是什么:

1. 内部联接
2. 左外连接
3. 交叉加入

使用两个表(RDD),每个表中都有一个具有公共密钥的列.

RDD(1):(key,U)
RDD(2):(key,V)

我认为内部联接是这样的:

rdd1.join(rdd2).map(case (key, u, v) => (key, ls ++ rs));

是对的吗？我在互联网上搜索过,无法找到一个很好的连接示例.提前致谢.

如何从HIVE中的一行中的不同列获取最大值？

例如

Row# ID# Col1 Col2 Col3
1    1234  54  67  86
2    5678  89   92 86
...
...

寻找表格的输出:

1234 86
5678 92

谢谢!

执行时:

hive -e 'select * from database.table' > /localfilesystem/mytable.txt

列标题名称在表单中database.columnname,我希望它们columnname只是.在执行上述类型的查询时,有没有办法在列名中压缩数据库？

我希望在脚本中更新日志，以便我知道程序已经完成了多少。我知道“put”命令，但这似乎只在我收到“Exit 2”、“Exit 1”或“Done”通知后在最终打印的“.log”文件中起作用。

我有四列

date   number   Estimate   Client    
----   ------
1      3          10        A 
2      NULL       10        Null
3      5          10        A      
4      NULL       10        Null 
5      NULL       10        Null
6      2          10        A   
.......

我需要用新值替换NULL值，并采用日期列中前一个日期中最后一个已知值的值，例如：date = 2 number = 3，date 4和5 number = 5和5。出现NULL值随机地。

这需要在Hive中完成。