该蝼说明书并没有说太多:
keras.backend.function(inputs, outputs, updates=None)
Instantiates a Keras function.
Arguments
inputs: List of placeholder tensors.
outputs: List of output tensors.
updates: List of update ops.
**kwargs: Passed to tf.Session.run.
Returns
Tensorflow源代码实际上很短,表明K.function(...)返回一个Function对象,当调用它时,使用输入来评估输出和更新.有趣的是它如何处理我不遵循的更新.任何解释/示例/指针,以帮助理解这个K.function(...)表示赞赏!以下是Tensorflow源代码的相关部分
class Function(object):
"""Runs a computation graph.
Arguments:
inputs: Feed placeholders to the computation graph.
outputs: Output tensors to fetch.
updates: Additional update ops to be run at function call.
name: a name to help users identify what this function …我想在仍然使用纱线的同时单步执行 python-spark 代码。我目前的做法是启动 pyspark shell，复制粘贴，然后逐行执行代码。我想知道是否有更好的方法。
pdb.set_trace()如果它有效，将是一个更有效的选择。我用spark-submit --master yarn --deploy-mode client. 程序确实停止了，并在pdb.set_trace()被调用的那一行给了我一个 shell 。但是，在 shell 中输入的任何 pdb 命令都会挂起。的pdb.set_trace()插入，正如我理解，应在本地运行的驱动器和附接有终端执行火花函数调用之间。我读了这篇文章如何在调试模式下调用 pyspark？这似乎表明不依赖 IDE（PyCharm）就不可能使用 pdb。但是，如果可以交互式运行 spark 代码，那么应该有一种方法可以让 python-spark“一直运行到这一行，并给我一个用于 REPL 的 shell（交互式使用）。我还没有找到任何方法来做到这一点. 任何建议/参考表示赞赏。
我正在使用 EMR 通过纱线运行 Spark 作业。作业失败，但我找不到 EMR 记录异常的位置，我可以在主节点屏幕输出上看到回溯，如下所示。应该有一个更详细的日志文件，显示导致异常的原因，但我找不到它在哪里。我查看了 hdfs://var/log/spark/app/application_xxx ，它没有显示任何错误。以下是我提交申请的方式：
spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 2 --executor-memory 5g word2vec_app.py hdfs:///test/r8_no_sto.txt
这是主节点上的屏幕输出：
Exception in thread "main" org.apache.spark.SparkException: Application application_1488419676573_0005 finished with failed status
at org.apache.spark.deploy.yarn.Client.run(Client.scala:1167)
at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1213)
at org.apache.spark.deploy.yarn.Client.main(Client.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)