小编cdh*_*hit的帖子

我的理解是对的吗？

1. 应用:一个火花提交.

2. 工作:一旦懒惰的评估发生,就有工作.

3. 阶段:它与shuffle和转换类型有关.我很难理解舞台的边界.

4. 任务:单元操作.每项任务一次转型.每次转换一项任务.

帮助想要提高这种理解.

我能说......么？

1. Spark任务的数量等于Spark分区的数量？

2. 执行程序运行一次（执行程序内部的批处理）是否等于一项任务？

3. 每个任务只产生一个分区？

4. （重复 1。）

我学会了安装python的虚拟环境。

似乎我不太熟悉一些基本的 pip 常识。

那是，

在虚拟环境中，

virtualenv test

然后我有一个名为 test 的虚拟环境。

然后我激活它

source ./test/bin/activate

然后我进入虚拟环境

首先我运行 pip list 来检查包

pip list

然后我得到了“pip”和“设置工具”

然后我安装'sqlalchemy'

pip install sqlalchemy

我得到了“成功安装 sqlachemy”的信息，但是当我检查已安装的软件包时

pip list

我仍然只有“pip”和“setuptools”而没有“sqlalchemy”。

我想知道为什么会这样。

'sqlalchemy' 不是 python 包之一吗？

我检查了'./test/lib64/python2.7/dist-packages/'

我在该目录下看到了“sqlalchemy”文件夹。

有没有人告诉我为什么？

谢谢。

顺便说一句，我检查了'sys.path'变量，我发现该值等于

/home/worker/pyproject/testenv/local/lib64/python2.7/site-packages
/home/worker/pyproject/testenv/local/lib/python2.7/site-packages
/home/worker/pyproject/testenv/lib64/python2.7
/home/worker/pyproject/testenv/lib/python2.7
/home/worker/pyproject/testenv/lib64/python2.7/site-packages
/home/worker/pyproject/testenv/lib/python2.7/site-packages
/home/worker/pyproject/testenv/lib64/python2.7/lib-dynload
/home/worker/pyproject/testenv/local/lib/python2.7/dist-packages
/home/worker/pyproject/testenv/local/lib/python2.7/dist-packages
/home/worker/pyproject/testenv/lib/python2.7/dist-packages
/usr/lib64/python2.7
/usr/lib/python2.7

但实际上，'sqlalchemy'安装在目录中 /home/worker/pyproject/testenv/lib64/python2.7/dist-packages/

为什么“sys.path”不包含这个 /home/worker/pyproject/testenv/lib64/python2.7/dist-packages/

它们都可以用来实现soap-client.有什么区别？

如何选择Spark调度器：FIFO还是FAIR？

Spark调度器和YARN调度器有什么区别？