我使用fileStream从Spark(流上下文)读取hdfs目录中的文件.如果我的Spark关闭并在一段时间后启动,我想读取目录中的新文件.我不想读取已经由Spark读取和处理的目录中的旧文件.我想在这里避免重复.
val lines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/home/File")
Run Code Online (Sandbox Code Playgroud)
任何代码片段都有帮助吗?
我正在尝试下面的代码,其中 body 是来自HTTP GET. 当我尝试运行它时,出现以下错误。
无法读取
po_number未定义的属性“ ”
{
"d": {
"results": [
{
"po_number": "PO1001",
"product_id": "PD1001",
"message": "Exists",
"timestamp": "2016-05-01"
}
]
}
}
Run Code Online (Sandbox Code Playgroud)
如何访问 po_number
var profile = JSON.parse(body);
console.log("profile: "+ profile.results.po_number);
Run Code Online (Sandbox Code Playgroud)
undefined当我访问上面的代码时,我得到了