小编Bal*_*raj的帖子

任何人都可以解释reducebykey,groupbykey,aggregatebykey和combinebykey之间的区别吗？我已经阅读了有关这方面的文件,但无法理解确切的区别？

如果你能用例子解释它会很棒.

静态和动态编程语言有什么不同？我知道这完全是关于类型系统的,但我正在寻找更清晰的说明.

1. SparkContext, JavaSparkContext, SQLContext和之间有什么区别SparkSession？
2. 是否有任何方法可以使用SparkSession？转换或创建Context ？
3. 我可以使用一个条目完全替换所有上下文SparkSession吗？
4. 在所有的功能SQLContext,SparkContext和JavaSparkContext也SparkSession？
5. 有些功能parallelize在SparkContext和中有不同的行为JavaSparkContext.他们是如何表现的SparkSession？

6. 如何使用SparkSession？创建以下内容？

   • RDD
   • JavaRDD
   • JavaPairRDD
   • Dataset

有没有一种方法可以将a JavaPairRDD转换为a Dataset或Dataseta JavaPairRDD？

我是lambda和Java8的新手.我正面临以下错误.

在封闭范围内定义的局部变量日志必须是最终的或有效的最终

public JavaRDD<String> modify(JavaRDD<String> filteredRdd) {

    filteredRdd.map(log -> {

        placeHolder.forEach(text -> {

            //error comes here
            log = log.replace(text, ",");

        });

        return log;

    });

    return null;
}

我有一个像这样的代码,我想在JavaRDD而不是RDD上工作.所以,我在这里进行转换.我想知道这种转换对性能的影响,特别是当我处理GB数据时.

RDD<String> textFile = sc.textFile(filePath, 2);
JavaRDD<String> javaRDD = textFile.toJavaRDD(); 

这是广泛的转变还是缩小？JavaRDD和RDD有什么区别？

我的代码是

    `@Id
@GenericGenerator(name="generator", strategy="increment")
@GeneratedValue(generator="generator")

@Column(name = "PM_ID", nullable = false, length=12)
private long pmId;`

在上面,id是来自数据库的max id +1,但我想从数据库函数生成这个pmid列,并希望将值传递给该函数.我的函数名是generateID(2,3)

所以请告诉我如何做到这一点..

如何动态添加新属性到现有节点？在这里，我想将键和值动态分配给我的 chypher 查询。任何建议将不胜感激:)

我在 Scala 中创建了一个 UDF，当我试图用函数名注册这个 UDF 时，它显示了我的错误。

不工作

def IPConvertUDF = spark.udf.register("IPConvertUDF", IPConvert)

错误

error: missing argument list for method IPConvert
Unapplied methods are only converted to functions when a function type is expected.
You can make this conversion explicit by writing `IPConvert _` or `IPConvert(_)` instead of `IPConvert`.
def IPConvertUDF = spark.udf.register("IPConvertUDF", IPConvert)

所以我_在方法名称之后添加了额外的东西并且它起作用了。

完美运行

def IPConvertUDF = spark.udf.register("IPConvertUDF", IPConvert _)

有人能解释一下_方法名后面的extra是什么意思吗？

我知道RDD的窄变换和宽变换之间的区别.我的问题是哪些参数可以证明map,flatmap是窄的？为什么这些转变不广泛？有关RDD学习材料的任何建议表示赞赏.

如何在Java/Scala中将时间戳(以微秒为单位)转换为日期.我的目标是比较两个时间戳并找出它们之间的差异.我正在使用java 8和示例Timestamp字符串是1474457086337977.我想将其转换为Date或Timestamp实例.