我在 Spark 中使用 play JSON 库工具解析 JSON 数据,并收到以下错误消息。有没有人对这个错误的可能原因有任何线索?如果这是由于错误的 JSON 记录造成的,我如何识别错误的记录?谢谢!
这是我用来解析 JSON 数据的主要脚本:
import play.api.libs.json._
val jsonData = distdata.map(line => Json.parse(line)) //line 194 of script parseJson_v14.scala
val filteredData = jsonData.map(json => (json \ "QueryStringParameters" \ "pr").asOpt[String].orNull).countByValue()
Run Code Online (Sandbox Code Playgroud)
变量distdata是文本格式JSON数据的rdd,变量jsonData是JsValue数据的rdd。由于Spark转换是懒惰的,所以直到执行第二条命令创建变量filteredData时错误才跳出,根据错误信息,错误来自我创建变量jsonData的第一条命令。
[2017-03-29 14:55:39.616]-[Logging$class.logWarning]-[WARN]: Lost task 42.0 in stage 1.0 (TID 90, 10.119.126.114): com.fasterxml.jackson.databind.JsonMappingException: No content to map due to end-of-input
at [Source: ; line: 1, column: 1]
at com.fasterxml.jackson.databind.JsonMappingException.from(JsonMappingException.java:148)
at com.fasterxml.jackson.databind.ObjectMapper._initForReading(ObjectMapper.java:3110)
at com.fasterxml.jackson.databind.ObjectMapper._readValue(ObjectMapper.java:3024)
at com.fasterxml.jackson.databind.ObjectMapper.readValue(ObjectMapper.java:1652)
at play.api.libs.json.jackson.JacksonJson$.parseJsValue(JacksonJson.scala:226)
at play.api.libs.json.Json$.parse(Json.scala:21)
at parseJson_v14$$anonfun$1$$anonfun$3$$anonfun$apply$1.apply(parseJson_v14.scala:194)
at parseJson_v14$$anonfun$1$$anonfun$3$$anonfun$apply$1.apply(parseJson_v14.scala:194)
at …Run Code Online (Sandbox Code Playgroud) 我试图将excel电子表格读入R数据框.但是,某些列具有公式或链接到其他外部电子表格.每当我将电子表格读入R时,总会有许多单元格变为NA.有没有一个很好的方法来解决这个问题,以便我可以获得这些单元格的原始值?
我以前用于导入的R脚本如下所示:
options(java.parameters = "-Xmx8g")
library(XLConnect)
# Step 1 import the "raw" tab
path_cost = "..."
wb = loadWorkbook(...)
raw = readWorksheet(wb, sheet = '...', header = TRUE, useCachedValues = FALSE)
Run Code Online (Sandbox Code Playgroud) 有谁知道如何从 python 建立到 Apache 钻的连接?
通常,通过 pyodbc 库的连接是这样的:
connection = pyodbc.connect(connectionString)
Run Code Online (Sandbox Code Playgroud)
连接字符串的格式通常为“DSN = *; UID = * ; PWD = ***”。我只是不确定如何在此处设置连接字符串。
谢谢!