如何为 Spark Dataframe 创建自定义编写器？

Question

如何为 Spark Dataframe 创建自定义写入格式以使用它df.write.format("com.mycompany.mydb").save()？我尝试阅读 Datastax Cassandra 连接器代码，但仍然无法弄清楚

Answer 1

Spark 3.0彻底改变了API。添加了一些新接口，例如TableProvider和SupportsWrite 。

您可能会发现本指南很有帮助。