小编suz*_*omo的帖子

如何在sc.textFile中加载本地文件,而不是HDFS

我正在关注伟大的火花教程

所以我试图在46m:00s加载README.md但是没有做到我正在做的是这样的:

$ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash
bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4
bash-4.1# ls README.md
README.md
bash-4.1# ./bin/spark-shell
scala> val f = sc.textFile("README.md")
14/12/04 12:11:14 INFO storage.MemoryStore: ensureFreeSpace(164073) called with curMem=0, maxMem=278302556
14/12/04 12:11:14 INFO storage.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 160.2 KB, free 265.3 MB)
f: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at <console>:12
scala> val wc = f.flatMap(l => l.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
org.apache.hadoop.mapred.InvalidInputException: …
Run Code Online (Sandbox Code Playgroud)

scala apache-spark

95
推荐指数
9
解决办法
15万
查看次数

相当于Apache Spark RDD中的getLines

我有一个Scala程序,可以在一台计算机上正常工作.但是,我想让它在多个节点上工作.

程序的开头看起来像这样:

val filename = Source.fromFile("file://...")

val lines = filename.getLines

val linesArray = lines.map(x => x.split("   ").slice(0, 3))

val mapAsStrings = linesArray.toList.groupBy(_(0)).mapValues(x => x.map(_.tail))

val mappedUsers = mapAsStrings map {case (k,v) => k -> v.map(x => x(0) -> x(1).toInt).toMap}
Run Code Online (Sandbox Code Playgroud)

当我尝试使用Spark运行程序时,我知道我需要一个SparkContextSparkConf对象,并且它们用于创建RDD.

所以现在我有:

class myApp(filePath: String) {

private val conf = new SparkConf().setAppName("myApp")
private val sc = new SparkContext(conf)
private val inputData = sc.textFile(filePath)
Run Code Online (Sandbox Code Playgroud)

inputData现在是一个RDD,它在之前的程序中是等价的filename(我假设).对于一个RDD方法是不同的.那么,相当于getLines什么?或者没有相应的?我很难想象RDD给我的工作内容,例如是 …

scala apache-spark

5
推荐指数
1
解决办法
1401
查看次数

Android 应用程序包上传在 Firebase 身份验证中创建奇怪的帐户(&lt;字符&gt;.&lt;5 位数字&gt;@gmail.com)

我有一个使用 Flutter 的 Android 应用程序。应用程序后端是 Firebase。每次我将应用程序包上传到 Play 商店控制台时,有人(某些系统)会在我的 Firebase 项目中创建奇怪的用户帐户。它们很奇怪,因为电子邮件格式总是<some characters>.<5 digits>@gmail.com,例如johndae.38473@gmail.comnanashigonbe.83721@gmail.com

这是 Firebase 控制台的屏幕截图,显示了我的开发项目中的奇怪帐户。Google Play 商店支持人员告诉我与 Firebase 支持人员联系。Firebase 支持人员表示他们无法跟踪帐户的创建。

Firebase 控制台显示奇怪的帐户

有谁知道为什么每次我将应用程序提交到 Play 商店控制台时都会创建这些帐户?

android firebase firebase-authentication google-play-console

5
推荐指数
1
解决办法
300
查看次数

Akka Streams是否会利用Akka Actors?

我开始学习Akka Streams,这是一个使用反压功能处理数据的框架.该图书馆是Akka的一部分,将自己描述为:

Akka是一个工具包和运行时,用于在JVM上构建高度并发,分布式和弹性的消息驱动应用程序.

这些能力来自Akka演员的本质.但是,从我的角度来看,流处理和演员是彼此无关的概念.

问题:Akka Streams是否利用了Akka演员的这些功能?如果是的话,你会解释演员如何帮助流吗?

scala actor akka akka-stream

4
推荐指数
2
解决办法
520
查看次数

UIBarButtonItem setTintColor在iOS7上不起作用

在iOS6中,我使用此代码来创建我的UIBarButtonItem:

UIBarButtonItem* validate = [[UIBarButtonItem alloc]initWithTitle:@"MyTitle" style:UIBarButtonItemStylePlain target:self action:@selector(actionValidate)];
    [validate setTintColor:[UIColor orangeColor]];
    self.navigationItem.rightBarButtonItem = validate;
Run Code Online (Sandbox Code Playgroud)

它在iOS6中运行良好,但在iOS7中,按钮的颜色只有在你推动时才会改变.我该如何解决这个问题?

uibarbuttonitem uicolor ios7

3
推荐指数
1
解决办法
2067
查看次数