我正在 Databricks 笔记本中编写 R 代码,该代码在 R 中执行多项操作。清理数据帧后,我想使用“%python”在 python 单元中调用它,因此使用 python 代码继续对数据帧进行操作。
因此,我想在 python 块内将我的 R 数据框转换为 Pandas 数据框。有人知道怎么做这个吗?谢谢!
我在 pyspark(以及一般的 python)中执行两个数据帧的滚动连接时遇到了很多问题。我希望通过 ID 和最近的日期将两个 pyspark 数据帧连接在一起(意味着第二个数据帧中的日期不能大于第一个数据帧中的日期)
表格1:
表_2:
期望的结果:
本质上,我知道 SQL 查询可以完成我可以做的事情,我可以做spark.sql(“query”)所以其他任何事情。我已经尝试了一些在 Spark 环境中不起作用的方法。谢谢!