小编Var*_*pta的帖子

hdfs中的文件路径

我想从Hadoop文件系统中读取文件.

为了实现文件的正确路径,我需要主机名和端口地址hdfs.

所以最后我的文件路径看起来像

Path path = new Path("hdfs://123.23.12.4344:9000/user/filename.txt")
Run Code Online (Sandbox Code Playgroud)

现在我想知道提取HostName ="123.23.12.4344"和端口:9000?

基本上,我想访问Amazon EMR上的FileSystem但是,当我使用时

 FileSystem fs = FileSystem.get(getConf());
我明白了
 
You possibly called FileSystem.get(conf) when you should have called FileSystem.get(uri, conf) to obtain a file system supporting your path
所以我决定使用URI.(我必须使用URI)但我不知道如何访问URI.

java hadoop mapreduce amazon-ec2 amazon-emr

10
推荐指数
1
解决办法
4万
查看次数

使用多字符分隔符创建HIVE表

我想创建一个带有多字符串字符的HIVE表作为分隔符,例如

CREATE EXTERNAL TABlE tableex(id INT, name STRING) 
ROW FORMAT delimited fields terminated by ','
LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/user/myusername';
Run Code Online (Sandbox Code Playgroud)

我希望将分隔符设置为像"〜*"这样的多字符串.

hadoop hive

9
推荐指数
2
解决办法
2万
查看次数

自定义Team Foundation Server工作项模板

我有一个工作项的默认模板(测试用例,错误,用户故事等),但它的字段数量有限,有人可以帮助我如何向现有模板添加更多字段以收集每个工作项的更多信息.我是Team Foundation Server中项目的管理员.

谢谢.

tfs visual-studio

5
推荐指数
1
解决办法
1万
查看次数

从CSV文件的字符串列中删除换行符

我有一个带有字符串列的CSV文件,该列跨越了多行。我想将这些多行汇总为一行。

例如

1, "asdsdsdsds", "John"
2, "dfdhifdkinf
dfjdfgkdnjgknkdjgndkng
dkfdkjfnjdnf", "Roy"
3, "dfjfdkgjfgn", "Rahul"
Run Code Online (Sandbox Code Playgroud)

我希望我的输出是

1, "asdsdsdsds", "John"
2, "dfdhifdkinf dfjdfgkdnjgknkdjgndkng dkfdkjfnjdnf", "Roy"
3, "dfjfdkgjfgn", "Rahul"
Run Code Online (Sandbox Code Playgroud)

我想使用PowerShell实现此输出

谢谢。

csv powershell

5
推荐指数
2
解决办法
2万
查看次数

使用 Azure 存储资源管理器在 Azure 表上执行字符串操作的语法

我需要学习如何通过 SSMS 执行 SQL 支持的字符串操作,例如“包含”、“喜欢”和基本字符串操作。

在这里,我使用 Azure 存储资源管理器来查询 Azure 表。

我关注了这个链接,但它只提供了少数查询命令的解决方案。

http://msdn.microsoft.com/en-us/library/windowsazure/ff683669.aspx

azure azure-storage azure-table-storage

4
推荐指数
1
解决办法
3904
查看次数

Azure 表存储为 top < 1000 返回 Next Partition Key 和 Next Row Key

我正在使用 $top=100 查询 Azure 表存储。在这里,我能够在第一次调用中检索所有 100 行,然后 Azure 存储资源管理器也在生成延续令牌。我不确定为什么会发生这种类型的行为?

azure azure-table-storage

3
推荐指数
1
解决办法
1157
查看次数

如何更改Hadoop Apache 2.2的最大可调度应用程序

我正在玩容量调度程序.我已经更新了在群集上运行的应用程序总数以及用户可以分别提交的应用程序总数超过1.但它不允许我提交多份工作.我正在浏览Web Interface上提供的调度程序配置,我遇到了Max Schedulable Applications,其值为1.

有人可以告诉我,我需要添加哪个属性才能获得超过1的最大可调度应用程序.

hadoop hadoop-yarn

2
推荐指数
1
解决办法
3487
查看次数

如何通过parallel.foreach知道每个线程产生的threadid

我有一个像这样的场景

int arr[100];

Parallel.Foreach(arr, (a) => { some processing});
Run Code Online (Sandbox Code Playgroud)

现在,这段代码将生成100个子线程,如何在"某些处理"逻辑中知道每个子线程的线程id.

c# parallel.foreach

2
推荐指数
1
解决办法
1457
查看次数

将字符串转换为时间戳配置单元

我有时间戳值的字符串,如"2013-02-02T04:04:11.240-4:00".

所以目标是转换时间戳格式,如2013-02-02 04:04:11.我怎样才能做到这一点.

这个命令工作正常

from_unixtime(unix_timestamp(substr('20130502081559999',1,14),'yyyyMMddHHmmss'))

但是当我尝试这样的事情时,它会给'T'错误

from_unixtime(unix_timestamp(substr('2013-05-02T08:15:59.999-4:00',1,19),'yyyy-MM-ddTHH:mm:ss'))

hadoop hive hortonworks-data-platform

1
推荐指数
1
解决办法
1万
查看次数

使用datastax cassandra驱动程序3.0运行描述模式

当我尝试使用datastax驱动程序3.0运行"describe keyspace keyspacename"命令时,它给了我一个错误

Exception in thread "main" com.datastax.driver.core.exceptions.SyntaxError: line 1:0 no viable alternative at input 'DESCRIBE' ([DESCRIBE]...)
Run Code Online (Sandbox Code Playgroud)

如何运行"describe keyspace keyspacename"命令?

cassandra datastax-java-driver

1
推荐指数
1
解决办法
1016
查看次数