我想从 pyspark 数据框中的日期类型列获取最大值。目前，我正在使用这样的命令：
df.select('col1').distinct().orderBy('col1').collect()[0]['col1']
这"col1"是日期时间类型列。它工作正常，但我想避免在这里使用collect()，因为我怀疑我的驱动程序可能会溢出。
任何意见将是有益的。
实际上我想在我的 Azure 数据块集群上安装一个库，但我不能使用 UI 方法。这是因为每次我的集群发生变化和过渡时，我都无法使用 UI 向其中添加库。是否有任何用于执行此操作的 databricks 实用程序命令？