小编Pra*_*yak的帖子

工作完成后,spark-submit继续挂起

我试图在AWS中使用hdfs测试spark 1.6.我正在使用examples文件夹中提供的wordcount python示例.我使用spark-submit提交作业,作业成功完成,并在控制台上打印结果.网络用户界面也说完了.然而,spark-submit永远不会终止.我已经验证了字数统计示例代码中的上下文也已停止.

可能有什么不对?

这是我在控制台上看到的.

6-05-24 14:58:04,749 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/stages/stage,null}
2016-05-24 14:58:04,749 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/stages/json,null}
2016-05-24 14:58:04,749 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/stages,null}
2016-05-24 14:58:04,749 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null}
2016-05-24 14:58:04,750 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/jobs/job,null}
2016-05-24 14:58:04,750 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/jobs/json,null}
2016-05-24 14:58:04,750 INFO  [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.s.ServletContextHandler{/jobs,null}
2016-05-24 14:58:04,802 INFO  [Thread-3] ui.SparkUI (Logging.scala:logInfo(58)) - Stopped Spark web UI at …
Run Code Online (Sandbox Code Playgroud)

python hadoop amazon-web-services apache-spark pyspark

8
推荐指数
1
解决办法
1151
查看次数

使用Xcode构建IPA文件

我有一个应用程序,并已成功使用Xcode构建它.问题是我想在iPad上测试这个应用程序.我知道有Apple开发者计划和东西.但在去那里之前我想先试试这个应用程序.有一个名为testflightapp.com的网站,我们可以动态地将应用程序部署到iPad.

这需要一个IPA文件.我该怎么办呢?

xcode ipad ios

6
推荐指数
3
解决办法
3万
查看次数

关于C语言中free()的问题

可能重复:
free和malloc如何在C中工作?

free如何知道在程序中调用时要释放多少字节的内存?

c memory

4
推荐指数
1
解决办法
3510
查看次数

使用 python 在 s3 存储桶上执行获取的问题

我正在尝试使用 amazon docs 中的 python 示例代码 在 s3 存储桶上执行“带有授权标头的 GET”机制。我使用的源代码如下:

# AWS Version 4 signing example

# EC2 API (DescribeRegions)

# See: http://docs.aws.amazon.com/general/latest/gr/sigv4_signing.html
# This version makes a GET request and passes the signature
# in the Authorization header.
import sys, os, base64, datetime, hashlib, hmac
import requests # pip install requests

# ************* REQUEST VALUES *************
method = 'GET'
service = 's3'
host = 's3.amazonaws.com'
region = 'us-east-1'
endpoint = 'http://s3.amazonaws.com/sample_object/foo'
request_parameters = ''

# Key derivation functions. …
Run Code Online (Sandbox Code Playgroud)

python amazon-s3 amazon-ec2 amazon-web-services

4
推荐指数
1
解决办法
2135
查看次数

使用perl解析json

我有一个url,应该从我的perl脚本调用一个特定的参数.在调用url时,它返回一个JSON.我将不得不在同一个脚本中解析这个JSON.在perl中完成这项工作的最佳方法是什么?伪代码会有所帮助:)

perl json

2
推荐指数
1
解决办法
6809
查看次数

奇怪的SQL查询

我正在做一个项目,我有一个奇怪的要求.

我有一个表A与领域(TechID(Primary Key), Orders (INTEGER NUMBER),Name (Varchar)).

Orders可以是0, 1, 2, 3, .......我的任务的值是显示按Orders字段排序的表的内容.首先显示Orders字段具有值的行1,然后依次显示其余的行.值0必须在末尾显示值.如果所有Orders字段的值都为0,我需要按TechID字段对表进行排序.

关于实现这个的任何想法?这可以通过SQL查询实现,还是应该为此编写T-Sql脚本?

sql t-sql sql-server sql-server-2008

0
推荐指数
1
解决办法
724
查看次数