相关疑难解决方法(0)

我们有几个使用log4j进行日志记录的应用程序.我需要让log4j解析器工作,这样我们就可以组合多个日志文件并对它们运行自动分析.我不打算重新发明轮子,所以有人能指出我一个体面的预先存在的解析器吗？如果有帮助,我确实有log4j转换模式.

如果没有,我将不得不自己动手.

（使用本地计算机上的官方网站上的spark-2.1.0-bin-hadoop2.7版本）

当我在spark-shell中执行一个简单的spark命令时，在抛出错误之前，它开始打印出数千行代码。这些“代码”是什么？

我在本地计算机上运行spark。我运行的命令很简单df.count，df即DataFrame。

请查看下面的屏幕截图（代码飞速飞快，我只能截取屏幕截图以查看发生了什么）。更多详细信息在图像下方。

更多细节：

我创建的数据帧df由

val df: DataFrame = spark.createDataFrame(rows, schema)
// rows: RDD[Row]
// schema: StructType
// There were about 3000 columns and 700 rows (testing set) of data in df. 
// The following line ran successfully and returned the correct value
rows.count
// The following line threw exception after printing out tons of codes as shown in the screenshot above
df.count

在“代码”之后引发的异常是：

...
/* 181897 */     apply_81(i);
/* 181898 …