相关疑难解决方法(0)

我正在尝试处理LogFile.首先,我按照我的要求读取日志文件并拆分这些文件,并将每个列保存到单独的JavaRDD中.现在我需要将这些JavaRDD转换为DataFrames以供将来操作.这是我到目前为止所尝试的代码:

         SparkConf conf = new SparkConf().setAppName("AuctionBid").setMaster("local");
         JavaSparkContext sc = new JavaSparkContext(conf);
         JavaRDD<String> diskfile = sc.textFile("/Users/karuturi/Downloads/log.txt");
         JavaRDD<String> urlrdd=diskfile.flatMap(line -> Arrays.asList(line.split("\t")[0]));
         System.out.println(urlrdd.take(1));
         SQLContext sql = new SQLContext(sc);

这就是我试图将JavaRDD转换为DataFrame的方式:

DataFrame fileDF = sqlContext.createDataFrame(urlRDD, Model.class);

但上面的行不起作用.我对Model.class感到困惑.

任何人都可以建议我.

谢谢.