小编A s*_*vas的帖子

应用程序中的阶段是否在spark中并行运行?

我怀疑,如何在spark应用程序中执行各个阶段.程序员可以定义的阶段执行是否一致,还是由spark引擎派生?

scala bigdata apache-spark

6
推荐指数
1
解决办法
2717
查看次数

spark数据帧中queryExecution的用途是什么?

我已经了解了 dataframe 对象上名为 queryExecution 的变量,并在 console 的输出下方找到了。但不确定它如何有帮助。请在控制台中找到输出。

scala> df.queryExecution
res5: org.apache.spark.sql.SQLContext#QueryExecution =
== Parsed Logical Plan ==
Project [_1#0 AS ID#2,_2#1 AS Token4#3]
 LocalRelation [_1#0,_2#1], [[1,a],[2,b]]

== Analyzed Logical Plan ==
ID: int, Token4: string
Project [_1#0 AS ID#2,_2#1 AS Token4#3]
 LocalRelation [_1#0,_2#1], [[1,a],[2,b]]

== Optimized Logical Plan ==
LocalRelation [ID#2,Token4#3], [[1,a],[2,b]]

== Physical Plan ==
LocalTableScan [ID#2,Token4#3], [[1,a],[2,b]]

Code Generation: true
Run Code Online (Sandbox Code Playgroud)

谢谢

apache-spark apache-spark-sql

5
推荐指数
1
解决办法
2444
查看次数

如何缓存API响应并在以后的react&redux中使用它?

在我的基于React的应用程序中,有一个rest API调用,它可以一次性获取整个页面所需的所有数据.响应具有可用于下拉群体的数据.但我不确定如何实现这一目标.每当选择下拉值时,我正在发出新请求.请建议我如何有效地实施它,而不会进行多次不必要的休息呼叫.

reactjs redux react-redux

5
推荐指数
2
解决办法
8912
查看次数

如何在git中将7个推送的提交压缩为1比1?

我尝试了多种方法来压缩远程回购提交,但未正确完成。我要把它们全部压扁,然后做成一个。以下是提交列表。以下是我向上游的拉取请求的摘要(列出了7个提交)。我只想列出一个而不是7。

在此处输入图片说明

git git-rebase git-squash

4
推荐指数
2
解决办法
2936
查看次数

使用 SFTP JSch 库可以上传多部分文件吗?

我想上传一个非常大的文件,它的大小可以是1 GB。是否可以将其上传或下载到/从 SFTP 服务器?我正在使用 JSch 库。

java sftp jsch

2
推荐指数
1
解决办法
1515
查看次数