我是火花的新手，对火花有一点疑问。如果我写了一些 pyspark 代码，其中有一些 python 代码，如下所示
from datetime import datetime
now = datetime.now()
current_time = now.strftime("%H:%M:%S")
print("Current Time =", current_time)
df = spark.read.format("csv").option("delimiter", ",").load('countries.csv')
df = df.withColumn('C_DT',lit(current_time))
print("new column added")
这里是执行器运行 datetime.now 还是每个执行器运行命令。谁运行打印命令、执行程序或驱动程序。
我正在阅读有关由光子驱动的 Delta 引擎的新数据块功能的信息。从我阅读的理解来看，我有一种感觉，它类似于催化剂优化器。光子会取代催化剂吗？
光子引擎与催化剂优化器有何不同
链接参考如下
https://databricks.com/blog/2020/06/24/introducing-delta-engine.html