小编xyi*_*yin的帖子

解析json时由于输入结束而没有要映射的内容

我在 Spark 中使用 play JSON 库工具解析 JSON 数据,并收到以下错误消息。有没有人对这个错误的可能原因有任何线索?如果这是由于错误的 JSON 记录造成的,我如何识别错误的记录?谢谢!

这是我用来解析 JSON 数据的主要脚本:

import play.api.libs.json._
val jsonData = distdata.map(line => Json.parse(line)) //line 194 of script parseJson_v14.scala
val filteredData = jsonData.map(json => (json \ "QueryStringParameters" \ "pr").asOpt[String].orNull).countByValue()
Run Code Online (Sandbox Code Playgroud)

变量distdata是文本格式JSON数据的rdd,变量jsonData是JsValue数据的rdd。由于Spark转换是懒惰的,所以直到执行第二条命令创建变量filteredData时错误才跳出,根据错误信息,错误来自我创建变量jsonData的第一条命令。

[2017-03-29 14:55:39.616]-[Logging$class.logWarning]-[WARN]: Lost task 42.0 in stage 1.0 (TID 90, 10.119.126.114): com.fasterxml.jackson.databind.JsonMappingException: No content to map due to end-of-input at [Source: ; line: 1, column: 1] at com.fasterxml.jackson.databind.JsonMappingException.from(JsonMappingException.java:148) at com.fasterxml.jackson.databind.ObjectMapper._initForReading(ObjectMapper.java:3110) at com.fasterxml.jackson.databind.ObjectMapper._readValue(ObjectMapper.java:3024) at com.fasterxml.jackson.databind.ObjectMapper.readValue(ObjectMapper.java:1652) at play.api.libs.json.jackson.JacksonJson$.parseJsValue(JacksonJson.scala:226) at play.api.libs.json.Json$.parse(Json.scala:21) at parseJson_v14$$anonfun$1$$anonfun$3$$anonfun$apply$1.apply(parseJson_v14.scala:194) at parseJson_v14$$anonfun$1$$anonfun$3$$anonfun$apply$1.apply(parseJson_v14.scala:194) at …

Run Code Online (Sandbox Code Playgroud)

json scala playframework apache-spark

5
推荐指数
1
解决办法
2万
查看次数

将包含公式的excel文件读入R中

我试图将excel电子表格读入R数据框.但是,某些列具有公式或链接到其他外部电子表格.每当我将电子表格读入R时,总会有许多单元格变为NA.有没有一个很好的方法来解决这个问题,以便我可以获得这些单元格的原始值?

我以前用于导入的R脚本如下所示:

options(java.parameters = "-Xmx8g")
library(XLConnect)
# Step 1 import the "raw" tab
path_cost = "..."
wb = loadWorkbook(...)
raw = readWorksheet(wb, sheet = '...', header = TRUE, useCachedValues = FALSE)
Run Code Online (Sandbox Code Playgroud)

excel r import-from-excel

3
推荐指数
1
解决办法
6140
查看次数

从 Python 连接到 Apache 钻

有谁知道如何从 python 建立到 Apache 钻的连接?

通常,通过 pyodbc 库的连接是这样的:

connection = pyodbc.connect(connectionString)
Run Code Online (Sandbox Code Playgroud)

连接字符串的格式通常为“DSN = *; UID = * ; PWD = ***”。我只是不确定如何在此处设置连接字符串。

谢谢!

python odbc pyodbc apache-drill

2
推荐指数
1
解决办法
3704
查看次数