小编Nor*_*sen的帖子

将Jar添加到独立的pyspark

我正在推出一个pyspark计划:

$ export SPARK_HOME=
$ export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.9-src.zip
$ python
Run Code Online (Sandbox Code Playgroud)

和py代码:

from pyspark import SparkContext, SparkConf

SparkConf().setAppName("Example").setMaster("local[2]")
sc = SparkContext(conf=conf)
Run Code Online (Sandbox Code Playgroud)

如何添加jar依赖项,例如Databricks csv jar?使用命令行,我可以像这样添加包:

$ pyspark/spark-submit --packages com.databricks:spark-csv_2.10:1.3.0 
Run Code Online (Sandbox Code Playgroud)

但我没有使用任何这些.该程序是一个更大的工作流程的一部分,没有使用spark-submit我应该能够运行我的./foo.py程序,它应该工作.

  • 我知道你可以设置extraClassPath的spark属性,但你必须将JAR文件复制到每个节点?
  • 尝试了conf.set("spark.jars","jar1,jar2"),它们对py4j CNF异常也不起作用

python apache-spark pyspark

16
推荐指数
3
解决办法
2万
查看次数

didRegisterForRemoteNotificationsWithDeviceToken调用了两次?

有点类似于什么时候调用didRegisterForRemoteNotificationsWithDeviceToken?.

当用户首次安装应用程序并提示是否接受通知时,didRegisterForRemoteNotificationsWithDeviceToken如果用户接受通知,则会调用该应用程序?

我正在registerForRemoteNotificationTypes用户成功登录或创建帐户后拨打电话.

在随后的启动中,didRegisterForRemoteNotificationsWithDeviceToken即使不在registerForRemoteNotificationTypesAppDelegate中调用,也会调用该委托.

如果我按照文档和示例代码:

通过每次启动应用程序时请求设备令牌并将其传递给提供程序,您可以帮助确保提供程序具有设备的当前令牌.

- (void)applicationDidFinishLaunching:(UIApplication *)app {

   // other setup tasks here....
    [[UIApplication sharedApplication] registerForRemoteNotificationTypes:...
}
Run Code Online (Sandbox Code Playgroud)

但是,当应用程序启动时请求令牌,代理将被调用两次.

需要几个问题和清晰度:

  1. 对于初始提示,registerForRemoteNotificationTypes必须要求提示才能显示提示?但是,如果我在AppDelegate中手动调用该代理,则会调用该代理两次.这是假设吗?

  2. 如果用户接受初始提示,将didRegisterForRemoteNotificationsWithDeviceToken自动调用?或者我们必须registerForRemoteNotificationTypes在AppDelegate中调用 吗?但是,代表将在未来的发布会上被召集两次?

  3. 如果用户拒绝并稍后通过设置接受它,会发生什么?

UPDATE

0.对于初始提示,registerForRemoteNotificationTypes必须要求提示才能显示提示?但是,如果我在AppDelegate中手动调用该代理,则会调用该代理两次.这是假设吗? 事实并非如此.发现实际上有2个registerForRemoteNotiicationTypes在AppDelegate中制作.

push-notification apple-push-notifications ios

12
推荐指数
1
解决办法
7656
查看次数

何时将在NSOperation中为completionBlock调用依赖项

来自文档:

当isFinished方法返回的值更改为YES时,将执行您提供的完成块.因此,在操作的主要任务完成或取消之后,操作对象执行该块.

我正在使用RestKit/AFNetworking,如果重要的话.

NSOperation在a中有多个依赖项OperationQueue.我使用完成块来设置我的孩子需要的一些变量(将结果附加到数组).

(task1,...,taskN) - > taskA

taskA addDependency:task1-taskN

taskA是否会收到不完整的数据,因为孩子可以在完成块被触发之前执行?

参考

NSOperations及其completionBlocks同时运行吗?

我通过在完成块中添加一个睡眠进行了简单的测试,结果不一样.完成块在主线程中运行.当所有完成块都处于休眠状态时,子任务就会运行.

objective-c nsoperationqueue objective-c-blocks restkit afnetworking

6
推荐指数
2
解决办法
6410
查看次数

带来从发展到掌握的选择性变革

我正在使用git-flow来维护我的分支,因此我有一个主人并开发分支.

在掌握之前,Develop是几个提交(~50-100).

但是,需要提前将选择性功能从开发到主控.

我怎样才能做到这一点?应该使用樱桃挑选?如果我在最终合并回主人之前再次使用master进行修改会发生什么?

git git-flow

5
推荐指数
1
解决办法
1282
查看次数

同一区域中的CIDR块相同

我意识到我可以使用属于同一区域的相同CIDR块创建多个VPC.甚至子网也可以是相同的.

这有什么用例?

vpc amazon-web-services

1
推荐指数
1
解决办法
483
查看次数