小编bla*_*ury的帖子

我是Hadoop的新手.当我运行一个作业时,我看到该作业的总资源分配为251248654 MB-seconds,24462 vcore-seconds.但是,当我找到有关群集的详细信息时,它显示有888个Vcores-total和15.90 TB Memory-total.谁能告诉我这是如何相关的？什么MB-second和Vcore-seconds指的是工作.

网上有什么资料可以了解这些吗？我试着冲浪,得到一个正确的答案

我想替换以下行:

--memory 20g \

同

--memory 100g \

实际上它应该替换之后的任何数字--memory.以下是我所拥有的,但无法获得预期的结果.

sed -i -E -- "s/\b--memory.*/--memroy 100g \/g"  a.txt

我在 json 文件中为 df 定义了我的架构，如下所示：

{
    "table1":{
        "fields":[
            {"metadata":{}, "name":"first_name", "type":"string", "nullable":false},
            {"metadata":{}, "name":"last_name", "type":"string", "nullable":false},
            {"metadata":{}, "name":"subjects", "type":"array","items":{"type":["string", "string"]}, "nullable":false},
            {"metadata":{}, "name":"marks", "type":"array","items":{"type":["integer", "integer"]}, "nullable":false},
            {"metadata":{}, "name":"dept", "type":"string", "nullable":false}       
        ]
    }

}

EG JSON 数据：

{
    "table1": [
        {
            "first_name":"john",
            "last_name":"doe",
            "subjects":["maths","science"],
            "marks":[90,67],
            "dept":"abc"        
        },
        {
            "first_name":"dan",
            "last_name":"steyn",
            "subjects":["maths","science"],
            "marks":[90,67],
            "dept":"abc"        
        },
        {
            "first_name":"rose",
            "last_name":"wayne",
            "subjects":["maths","science"],
            "marks":[90,67],
            "dept":"abc"            
        },
        {
            "first_name":"nat",
            "last_name":"lee",
            "subjects":["maths","science"],
            "marks":[90,67],
            "dept":"abc"        
        },
        {
            "first_name":"jim",
            "last_name":"lim",
            "subjects":["maths","science"],
            "marks":[90,67],
            "dept":"abc"        
        }       
    ]
}

我想从这个 json 文件创建等效的 spark …

目前我通过 curl 命令将信息传递给 Web API，如下所示：

curl -d 'info={ "EmployeeID": [ "1234567", "7654321" ], "Salary": true, "BonusPercentage": 10}' http://example.com/xyz/php/api/createjob.php

这将返回另一个指向 API 的 URL，在此处发布所有信息：

http://example.com/xyz#newjobapi:id=19

我正在尝试通过 C# Windows 表单复制此过程，用户将在其中输入所需的信息，一旦提交，他们应该获得返回的 URL。

我已经为用户创建了输入这些信息的界面。但我不确定如何将此信息发布到 Web API 并获取生成的 url

是否有任何库可用于通过 Windows Form 复制上述 curl 过程？

我试图通过名称杀死进程,我将作为变量传递给系统命令.

以下是我所拥有的:

my $processName=$ARGV[0];
print "$processName\n";
system(q/kill -9 `ps -ef | grep '$processName' | grep -v grep | awk '{print $2}'`/);

上面的脚本抛出一个错误:

kill: usage: kill [-s sigspec | -n signum | -sigspec] pid | jobspec ... or kill -l [sigspec]

但是,如果我直接在系统命令中输入进程名称,它就可以工作.

有人可以帮我吗？

我想在网页上搜索字符串并打印包含该字符串的整行.

我有一个输入文件,其中包含我想要搜索该字符串的链接.

要搜索的字符串:"vcore"

我的输入文件:

http://abc/cluster/app/application_1447334090028_225490
http://abc/cluster/app/application_1447334090028_228858

预期的输出文件:

http://abc/cluster/app/application_1447334090028_225490    12434 vcore, 123 mb
http://abc/cluster/app/application_1447334090028_228858    12132 vcore, 131 mb

代码到目前为止:

import sys
import re
import urllib

Links = [Link.strip() for Link in open ('/home/try/Input.txt','r').readlines()]

for link in Links:
        webPage = urllib.urlopen(link).read()
        print webPage

然后我使用grep搜索字符串并将其存储在另一个文件中.但我希望它由代码本身和相应链接旁边的行显示.谁可以帮我这个事？