题

如何使用 sc.textFile 从本地文件系统加载文件到 Spark？我需要更改任何 -env 变量吗？此外，当我在未安装 Hadoop 的 Windows 上尝试相同操作时，我遇到了相同的错误。

代码

> val inputFile = sc.textFile("file///C:/Users/swaapnika/Desktop/to do list")
/17 22:28:18 INFO MemoryStore: ensureFreeSpace(63280) called with curMem=0, maxMem=278019440
/17 22:28:18 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 61.8 KB, free 265.1 MB)
/17 22:28:18 INFO MemoryStore: ensureFreeSpace(19750) called with curMem=63280, maxMem=278019440
/17 22:28:18 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 19.3 KB, free 265.1 MB)
/17 22:28:18 INFO BlockManagerInfo: Added broadcast_0_piece0 in …

火花在内存中运行当在纱线上运行时,资源分配在Spark中意味着什么？它与hadoop的容器分配形成对比？只是好奇地知道hadoop的数据和计算是在磁盘上,而Spark是在内存中.

我不确定内存占用量的概念。加载例如 1GB并在Spark中创建RDD，每个RDD的内存食物打印内容是什么？