小编use*_*552的帖子

在Yarn集群上提交Spark作业

我现在因为以下问题而奋斗了2天以上.

我在SCALA中编写了一个基本的"HelloWorld"脚本

object Hello extends App{
  println("WELCOME TO A FIRST TEST WITH SCALA COMPILED WITH SBT counting fr. 1:15 with sleep 1")
  val data = 1 to 15

  for( a <- data ){
    println( "Value of a: " + a )
    Thread sleep 1000
  }
Run Code Online (Sandbox Code Playgroud)

然后我用SBT编译以获得JAR编译版本.

然后,我使用HDP 2.2.4.2转移了集群(在虚拟Linux机器上运行的Horthonworks沙箱)上的所有内容.

我实际上能够使用yarn-client在集群上使用以下命令运行作业:

__CODE__

但是,尝试使用以下命令在yarn-cluster上提交相同的helloWorld作业时

__CODE__

作业首先正常运行(输出是预期的,并且退出0)但随后作业停止,具有以下内容:

spark-submit --verbose --master yarn-client --class Hello SCALA/hello.jar
Run Code Online (Sandbox Code Playgroud)

然后我决定使用以下命令行检查日志:

spark-submit --verbose --master yarn-cluster--class Hello SCALA/hello.jar
Run Code Online (Sandbox Code Playgroud)

我得到:

15/06/05 15:52:09 INFO Client: Application report for application_1433491352951_0010 (state: FAILED)

15/06/05 15:52:09 …
Run Code Online (Sandbox Code Playgroud)

jobs hadoop scala apache-spark

4
推荐指数
2
解决办法
9773
查看次数

为什么perl不能显示所有类型的UTF8字符

我正在扼杀我制作的perl脚本,它应该处理IPA字符(国际音标).我使用UTF8编码,我的perl文件和std输入/输出如下:

#!/usr/local/bin/perl
use utf8;

binmode(STDOUT, ":utf8");          #treat as if it is UTF-8
binmode(STDIN, ":encoding(utf8)"); #actually check if it is UTF-8
Run Code Online (Sandbox Code Playgroud)

但是当我运行这个小测试时:

my %IPAchar = (
    "69"  => "i",    "65"  => "e",    "25b" => "?",    ""    => "??",
    ""    => "œ?",    "153" => "œ",    "259" => "?",    "f8"  => "ø",
    "79"  => "y",    "75"  => "u",    "6f"  => "o",    "254" => "?",
    ""    => "??",    "e3"  => "??",    "251" => "?",    "61"  => "a",
    "6a"  => "j",    "265" => "?",    "77" …
Run Code Online (Sandbox Code Playgroud)

perl encoding utf-8 ipa

2
推荐指数
1
解决办法
102
查看次数

标签 统计

apache-spark ×1

encoding ×1

hadoop ×1

ipa ×1

jobs ×1

perl ×1

scala ×1

utf-8 ×1