小编elg*_*oog的帖子

如何让Intellij格式化我的Scala类定义如下:

sealed class Traffic(
    private[this] val javaTraffic: Traffic.JavaTraffic,
    private[this] val sanitizer: Sanitizer)
  extends Serializable with Logger {

基本上每行的成员声明有4个缩进,类继承有2个缩进.

我通过将字符串表示从1连接到一个大数字(在我的情况下,20000000)来测试不同速度连接方法的速度.我正在测试的三种方法是:

import cProfile

count = 20000000

def profileWrapper(f):
    def wrapper(*args, **argv):
        pr = cProfile.Profile()
        pr.enable()
        string = f(*args, **argv)
        pr.create_stats()
        pr.print_stats()
        return string
    return wrapper

@profileWrapper
def naiveConcat():
    global count
    string = ''
    for i in xrange(count):
        string += `i`
    return string

@profileWrapper
def improvedConcat():
    global count
    string = []
    for i in xrange(count):
        string.append(`i`)
    return ''.join(string)

@profileWrapper
def fastestConcat():
    global count
    return ''.join([`i` for i in xrange(count)])

print 15 * "=", "naiveConcat", 15 * "="
naiveConcat()
print 15 * …

我正在运行一个带有输入的spark作业,该输入由同一个上一个作业生成.现在,作业将结果输出到HDFS以便下次运行读入,有没有办法将每个作业的输出缓存到spark中,以便以下运行不必从HDFS读取？

更新:或者是否可以在不同的应用程序之间共享RDD？