小编dex*_*ter的帖子

Spark Streaming中的RDD分区

火花流中的批次是RDD的批次.提供一批3个RDD.

此外,spark文档说接收器每隔200ms创建一个块,并将分区分配给块.

比如在1秒钟内我有3批RDD,如果考虑200毫秒则有5个区块.

那么RDD如何在工作节点之间进行分区,是将要分区的单个RDD还是完整的批处理.

我可能以错误的方式接受了它.请指导我

apache-spark spark-streaming

7
推荐指数
1
解决办法
5099
查看次数

Spark Streaming中的窗口?

在火花流中,我们收到的DStream是一批RDD.那么窗口如何进一步帮助.

根据我的理解,它也批量RDD.

如果我错了,请纠正我(Spark Streaming新手).

apache-spark spark-streaming

6
推荐指数
2
解决办法
9688
查看次数

Spark 流示例对我不起作用:网络字数(可能数据未流式传输)

  1. 启动 master 和 worker
  2. 启动控制台并输入

nc -lk 9999

  1. 冉网络字数统计示例

./bin/run-example streaming.NetworkWordCount 本地主机 9999

  1. 写在

“你好世界你好”

网猫控制台。

  1. 但是我运行程序的控制台没有显示计算出的数据(可能是数据没有流式传输),当我停止程序时,它计算了

你好,2世界,1

apache-spark spark-streaming

3
推荐指数
1
解决办法
1686
查看次数

标签 统计

apache-spark ×3

spark-streaming ×3