小编use*_*829的帖子

如何在使用scala读取文件后删除hdfs目录中的文件

我使用fileStream从Spark(流上下文)读取hdfs目录中的文件.如果我的Spark关闭并在一段时间后启动,我想读取目录中的新文件.我不想读取已经由Spark读取和处理的目录中的旧文件.我想在这里避免重复.

val lines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/home/File")
Run Code Online (Sandbox Code Playgroud)

任何代码片段都有帮助吗?

hadoop scala apache-spark spark-streaming

10
推荐指数
1
解决办法
2万
查看次数

如何在节点 js 中解析 JSON 数组

我正在尝试下面的代码,其中 body 是来自HTTP GET. 当我尝试运行它时,出现以下错误。

无法读取po_number未定义的属性“ ”

{
    "d": {
        "results": [
            {
                "po_number": "PO1001",
                "product_id": "PD1001",
                "message": "Exists",
                "timestamp": "2016-05-01" 
            }
        ]
    }
}
Run Code Online (Sandbox Code Playgroud)

如何访问 po_number

var profile = JSON.parse(body);
console.log("profile: "+ profile.results.po_number);
Run Code Online (Sandbox Code Playgroud)

undefined当我访问上面的代码时,我得到了

javascript json node.js

2
推荐指数
1
解决办法
1万
查看次数