小编Ami*_*mar的帖子

如何在SPARK 2.2.0中将外部表转换为托管表?

以下命令已成功将外部表转换为中的托管表Spark 2.0.0

ALTER TABLE {table_name} SET TBLPROPERTIES(EXTERNAL=FLASE);
Run Code Online (Sandbox Code Playgroud)

但是,上面的命令失败Spark 2.2.0并显示以下错误:

查询错误:无法设置或更改保留的属性键:'EXTERNAL';

apache-spark

6
推荐指数
3
解决办法
1345
查看次数

使用Solrj Api和Kerberized Solr创建Solr客户端

我正在尝试使用solrj api创建用于kerberized solr的solr客户端。并且根据solrj的文档,需要HttpClientUtil.setConfigurer(new Krb5HttpClientConfigurer());在代码中进行设置。

但是solrj api jar setConfigurerHttpClientUtil类内部没有函数。我正在使用来自Maven的以下依赖项。

<dependency>
    <groupId>org.apache.solr</groupId>
    <artifactId>solr-solrj</artifactId>
    <version>7.2.1</version>
</dependency>
Run Code Online (Sandbox Code Playgroud)

是否可以使用创建solr客户端new HttpSolrClient.Builder并启用kerberisation读取jaas.config文件来进行身份验证和授权。

目前,我正在创建如下的solr客户程序;

new HttpSolrClient.Builder("solrUrlString").build()
Run Code Online (Sandbox Code Playgroud)

但是我没有看到以Krb5HttpClientConfigurer上述方式启用的选项

solr kerberos solrj

5
推荐指数
1
解决办法
741
查看次数

从Spark数据框中的字符串列中提取单词

我在spark数据框中有一个带有文本的列。

我想提取所有以特殊字符开头的单词,'@'regexp_extract从该文本列的每一行中使用。如果文本包含多个以'@'它开头的单词,则仅返回第一个。

我正在寻找提取与我的火花模式匹配的多个单词。

data_frame.withColumn("Names", regexp_extract($"text","(?<=^|(?<=[^a-zA-Z0-9-_\.]))@([A-Za-z]+[A-Za-z0-9_]+)",1).show
Run Code Online (Sandbox Code Playgroud)

输入样例: @always_nidhi @YouTube no i dnt understand bt i loved the music nd their dance awesome all the song of this mve is rocking

样本输出: @always_nidhi,@YouTube

regex scala apache-spark

4
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×2

kerberos ×1

regex ×1

scala ×1

solr ×1

solrj ×1