小编Gou*_*rav的帖子

如何将DataFrame直接保存到Hive?

是否可以将DataFrame火花直接保存到Hive中.

我已尝试转换DataFrame为Rdd然后保存为文本文件,然后加载到配置单元.但我想知道我是否可以直接保存dataframe到蜂巢

hive apache-spark apache-spark-sql

64
推荐指数
6
解决办法
14万
查看次数

使用 Gnu AWK 检索匹配的正则表达式记录分隔符

使用 AWK,我通过将文本文件拆分为多个记录来处理该文本文件。我使用正则表达式作为记录分隔符RS。有没有办法获取RS仅代表正则表达式字符串的找到的记录分隔符?

例子:

BEGIN { RS="a[0-9]*. "; ORS="\n-----\n"}
  /foo/ {print $0 RS;}
END {}
Run Code Online (Sandbox Code Playgroud)

输入文件:

a1. Hello
this
is foo
a2. hello
this
is bar
a3. Hello
this
is foo
Run Code Online (Sandbox Code Playgroud)

输出:

Hello
this
is foo
a[0-9]*.
-----
Hello
this
is foo
a[0-9]*.
-----
Run Code Online (Sandbox Code Playgroud)

如您所见,输出打印RS为表示正则表达式的字符串,但不打印实际值。如何检索记录分隔符的实际匹配值?

预期输出:

Hello
this
is foo
a1
-----
Hello
this
is foo
a3
-----
Run Code Online (Sandbox Code Playgroud)

awk

2
推荐指数
1
解决办法
1051
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

awk ×1

hive ×1