小编use*_*194的帖子

使用Scala读取文件夹中的多个文件以获取Spark作业

我有一个文件夹,其中包含来自早期作业的多个部分文件.文件夹名称为"tera-output",文件部分为00000,部分00001,部分00002等.部分为00049.我正在尝试编写一个scala程序,现在读取该文件夹中的每个文件.代码如下:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(conf)
    val file = sc.textFile("s3n://test/tera-output")
    val splits = file.map(word => word)
    println(splits.count())
  }
}
Run Code Online (Sandbox Code Playgroud)

我的问题是我不知道如何运行循环来读取"tera-output"文件夹中的每个文件.每个文件将通过map()读取,数据附加到"splits".我在这里查看了一些文档和帖子,但实际上找不到这样做的功能.

有人可以帮忙吗?先感谢您!!

scala apache-spark

1
推荐指数
1
解决办法
4315
查看次数

在 Python 中从价格中提取货币符号

我正在用 Python 编写一些代码,我需要从价格中提取货币符号。所以,

cost = $56.78
Run Code Online (Sandbox Code Playgroud)

我只需要得到'$'。

在这些论坛上,我找到了如何提取数字而不是货币符号。我是正则表达式的新手,因此将不胜感激。

它可以是任何货币,而不仅仅是美元,但我想它将是字符串中的第一个字符。

python

1
推荐指数
2
解决办法
2791
查看次数

JavaScript闭包时出错

我有一个带有提交按钮的模态对话框,单击该按钮会导致执行以下代码:

$("#addqueuebutton").on("click",function(){

    var counter = 0;
    return function(){
        counter += 1;
        ...
        alert(counter);
    };
});
Run Code Online (Sandbox Code Playgroud)

我必须确保counter只初始化一次,所以我尝试使用闭包.但是代码没有正确执行,因为警报框没有出现.我在在线编译器上测试了代码,看起来是正确的.有人能告诉我语法是否有问题吗?

javascript jquery

1
推荐指数
1
解决办法
37
查看次数

访问 d3.js 中的父属性来设置子属性

我在这里有(部分)HTML:

<g style="fill: rgb(49, 130, 189);" transform="translate(0,0)" x="200" class="chr">
    <circle cy="175.92776604033872" r="3"></circle>
    <circle cy="292.4129588695106" r="3"></circle>
</g>
Run Code Online (Sandbox Code Playgroud)

我正在尝试设置圆圈的 cx 属性,为此我需要访问x父级的属性。我的代码如下:

ch.selectAll('circle')
    .data((d) => {
      return d.values;
    })
    .enter().append('circle')
    .attr('r', 3)
    .attr('cx', (d) => {
      ...
    })
    .attr('cy', (d) => {
      return y(d.num);
    });
Run Code Online (Sandbox Code Playgroud)

有谁知道x在设置cx值时如何获取属性的值?提前致谢!!

html javascript svg d3.js

1
推荐指数
1
解决办法
1917
查看次数

标签 统计

javascript ×2

apache-spark ×1

d3.js ×1

html ×1

jquery ×1

python ×1

scala ×1

svg ×1