是否可以将DataFrame火花直接保存到Hive中.
我已尝试转换DataFrame为Rdd然后保存为文本文件,然后加载到配置单元.但我想知道我是否可以直接保存dataframe到蜂巢
使用 AWK,我通过将文本文件拆分为多个记录来处理该文本文件。我使用正则表达式作为记录分隔符RS。有没有办法获取RS仅代表正则表达式字符串的找到的记录分隔符?
例子:
BEGIN { RS="a[0-9]*. "; ORS="\n-----\n"}
/foo/ {print $0 RS;}
END {}
Run Code Online (Sandbox Code Playgroud)
输入文件:
a1. Hello
this
is foo
a2. hello
this
is bar
a3. Hello
this
is foo
Run Code Online (Sandbox Code Playgroud)
输出:
Hello
this
is foo
a[0-9]*.
-----
Hello
this
is foo
a[0-9]*.
-----
Run Code Online (Sandbox Code Playgroud)
如您所见,输出打印RS为表示正则表达式的字符串,但不打印实际值。如何检索记录分隔符的实际匹配值?
预期输出:
Hello
this
is foo
a1
-----
Hello
this
is foo
a3
-----
Run Code Online (Sandbox Code Playgroud)