小编Kes*_*ath的帖子

使用Sqoop导入时如何使用指定的Hive数据库

sqoop import --connect jdbc:mysql://remote-ip/db --username xxx --password xxx --table tb --hive-import
Run Code Online (Sandbox Code Playgroud)

上面的命令将表tb导入到' default'Hive数据库中.

我可以使用其他数据库吗?

hadoop hive sqoop

5
推荐指数
2
解决办法
2万
查看次数

仅在Hive中打印表格标题

是否可以在没有表格名称前缀的Hive中打印标题?

我做了: set hive.cli.print.header=true;

然后: select * from brands limit 3;

结果是:

brands.id  brands.name brands.tag      brands.value
7     Brand      50      DeLorme
0     Brand      50      U-Line
27    Brand      50      Elcon
Run Code Online (Sandbox Code Playgroud)

真正想要得到的是:

id    name       tag      value
7     Brand      50      DeLorme
0     Brand      50      U-Line
27    Brand      50      Elcon
Run Code Online (Sandbox Code Playgroud)

brands”是我创建的表,而不是主数据库表。

谢谢你的帮助,
妮娜

hadoop hive header

3
推荐指数
1
解决办法
1911
查看次数

加载路径文件到分区表

我正在尝试通过运行以下命令将文件本地加载到 Hive 中:

LOAD DATA INPATH '/data/work/hive/staging/ExampleData.csv' INTO TABLE tablename;

这给了我错误:

SemanticException [错误 10062]:需要指定分区列,因为目标表已分区(状态 = 42000,代码 = 10062)

我找到的一个答案建议创建一个中间表,然后让动态分区启动以加载到分区表中。

我创建了一个与数据匹配的表并将其截断:

create table temptablename as select * from tablename;
truncate table temptablename
Run Code Online (Sandbox Code Playgroud)

然后使用以下方法加载数据:

LOAD DATA INPATH '/data/work/hive/staging/ExampleData.csv' INTO TABLE temptablename;
Run Code Online (Sandbox Code Playgroud)

我如何“启动”动态分区?

hadoop hive

3
推荐指数
1
解决办法
3069
查看次数

保存猫鼬错误之前文档必须有一个_id

我正在尝试创建一个架构。

我不断收到document does not have an _id错误,除了下面的代码之外,我确实尝试显式初始化它,但没有任何效果。

var UserSchema = new mongoose.Schema({
     _id: mongoose.Schema.ObjectId,
     username: String,
     password: String
 });

var User = mongoose.model('user', UserSchema);
Run Code Online (Sandbox Code Playgroud)

mongoose mongodb node.js

3
推荐指数
1
解决办法
1万
查看次数

亚马逊雅典娜分区表

我正在尝试按年,月和日对Amazon Athena查询的数据进行分区。但是,当我尝试从分区数据查询时,无法获得任何记录。我按照此博客文章中的说明进行操作。

创建表查询:

CREATE external TABLE mvc_test2 (
ROLE struct<Scope: string, Id: string>,
ACCOUNT struct<ClientId: string, Id: string, Name: string>,
USER struct<Id: string, Name: string>,
IsAuthenticated INT,
Device struct<IpAddress: string>,
Duration double,
Id string,
ResultMessage string,
Application struct<Version: string, Build: string, Name: string>,
Timestamp string,
ResultCode INT
)
Partitioned by(year string, month string, day string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://firehose-titlesdesk-logs/Mvc/'
Run Code Online (Sandbox Code Playgroud)

该表已成功创建,并且结果消息显示:

“查询成功。如果表具有分区,则需要加载这些分区才能查询数据。可以加载所有分区,也可以分别加载它们。如果使用加载所有分区(MSCK REPAIR TABLE)命令,则分区必须采用Hive可以理解的格式。了解详情。”

跑步

msck repair table mvc_test2;
Run Code Online (Sandbox Code Playgroud)

我得到结果:

“分区不在Metastore中:mvc_test2:2017/06/06/21 mvc_test2:2017/06/06/22”

此时,当我尝试查询表时没有任何结果。

日志以年/月/日/小时的子文件夹格式存储。例如:“ s3:// firehose-application-logs / …

hive amazon-web-services presto amazon-athena

2
推荐指数
2
解决办法
5056
查看次数

如何在Hive中爆炸map数据类型或如何在Hive中提供多个别名

假设我查询:

select explode(map_column_name) as exploded from table_name 
Run Code Online (Sandbox Code Playgroud)

我收到此错误:

AS子句中的别名数与UDTF输出的列数不匹配,预计有2个别名,但得到1

我用google搜索错误,并且知道要给多个别名,我们使用堆栈函数.如何使用堆栈函数以及爆炸函数,以便最终爆炸map数据类型,同时也提供2个别名?

请耐心等待我,因为我是初学者并且正在学习Hive.

hive hiveql

1
推荐指数
1
解决办法
7653
查看次数

从服务器获取文件时 JavaScript Blob 编码错误

FileStreamResult在 SPA 网站(.NET Core 2、SPA React 模板)中使用来自 C# 的 a,我从我的端点请求一个文件,这会在 C# 中触发此响应:

var file = await _docService.GetFileAsync(token.UserName, instCode.Trim()
.ToUpper(), fileSeqNo);
string contentType = MimeUtility.GetMimeMapping(file.FileName);
var result = new FileStreamResult(file.File, contentType);
var contentDisposition = new ContentDispositionHeaderValue("attachment");
Response.Headers[HeaderNames.ContentDisposition] = 
contentDisposition.ToString();
return result;
Run Code Online (Sandbox Code Playgroud)

返回的响应是使用处理的msSaveBlob(特别是对于 MS,但即使我使用createObjectURL不同的浏览器,这也是一个问题(是的,我已经尝试了多种解决方案,但似乎都没有工作)。这是我用来的代码发送请求,并FileStreamResult从服务器接收 PDF 。

var file = await _docService.GetFileAsync(token.UserName, instCode.Trim()
.ToUpper(), fileSeqNo);
string contentType = MimeUtility.GetMimeMapping(file.FileName);
var result = new FileStreamResult(file.File, contentType);
var contentDisposition = new ContentDispositionHeaderValue("attachment");
Response.Headers[HeaderNames.ContentDisposition] = 
contentDisposition.ToString();
return result;
Run Code Online (Sandbox Code Playgroud)

问题是我得到的返回的 …

javascript pdf blob filestreamresult

1
推荐指数
1
解决办法
4075
查看次数