Bean类中不能有循环引用，但可以得到类类org.apache.avro.Schema的循环引用

Question

我想将包含Avro对象（例如MyAvroClsass的对象）的javaRDD转换为java spark中的数据框。我低于错误

Cannot have circular references in bean class, but got the circular reference of class class org.apache.avro.Schema

码：

JavaRDD<Row> test; 
Dataset<Row> outputDF = sparksession.createDataFrame(test.rdd(),<MyAvroClsass>.class);

Answer 1

这与： Infinite recursion in createDataFrame for avro types有关

Spark-avro 项目正在开展工作来解决此问题，请参阅： https: //github.com/databricks/spark-avro/pull/217和 https://github.com/databricks/spark-avro/pull /216

一旦合并，应该有一个函数将 Avro 对象的 RDD 转换为 DataSet（行的 DataSet 相当于 DataFrame），而不会出现生成类中 getSchema() 函数的循环引用问题。