小编SCo*_*uto的帖子

我正在尝试使用 Scala 中的类型安全配置库读取配置文件，但无法将 conf 文件放入资源文件夹中。

我的property/config文件格式如下

region=dev
numlines=2

文件的名称是property.txt

代码如下所示

import com.typesafe.config._
val propertyFile = args(2)

val myConfigFile = new File(propertyFile)

val fileConfig = ConfigFactory.parseFile(myConfigFile)
val config = ConfigFactory.load(fileConfig)

val environment = config.getString("region")
val numberOfLinesToBeRemoved = config.getInt("numlines")

我写了下面的包装类Int.

    case class Wrapper[Int](value: Int) {
        def map(f: Int => Int): Wrapper[Int] = Wrapper(f(value))
        def flatMap(f: Int => Wrapper[Int]): Wrapper[Int] = f(value)
        def filter(f: Int => Boolean): Wrapper[Int] = Wrapper(if(f(value)) 0 else value)
    }

当我编译代码时,我得到以下错误 -

    type mismatch; 
    [error]  found   : Int(0)
    [error]  required: Int
    [error]     def filter(f: Int => Boolean): Wrapper[Int] = Wrapper(if (f(value)) 0 else value)
    [error]                                                                         ^
    [error] one error found

我找不到任何明显的错误原因.任何想法如何解决这个问题.

我希望从天蓝色存储 blob 中删除早于“x”天的所有文件。我正在尝试以下代码但不起作用：

$StorageAccountName = '<name>'
$StorageAccountKey = '<key>'

$Ctx = New-AzureStorageContext -StorageAccountName $StorageAccountName -StorageAccountKey $StorageAccountKey
Get-AzureStorageBlob -Container "reports" -Context $Ctx -Blob *.csv
where {$_.LastModified -le (get-date).AddDays(-30) } | Remove-AzureStorageBlob

我引用了以下文档，但查询不适用于条件删除。关联

我正在使用 Azure 数据工厂的复制活动将数据从 Oracle DB 复制到 ADLS。此副本的结果是一个 parquet 文件，其中包含与我复制的表相同的数据，但生成的 parquet 文件的名称如下所示：

data_32ecaf24-00fd-42d4-9bcb-8bb6780ae152_7742c97c-4a89-4133-93ea-af2eb7b7083f.parquet

我需要这个名字像这样存储：

TableName-Timestamp.parquet

如何使用 Azure 数据工厂做到这一点？

另一个问题：有没有办法在写入此文件时添加层次结构？例如，我使用相同的管道来写入多个表，并且我想为每个表创建一个新文件夹。如果我为每个要写入的表创建一个新的数据集，我就可以做到这一点，但我想知道是否有办法自动执行此操作（使用动态内容）。

提前致谢。

我有一个向量列表。每个向量以 的形式表示一个范围Vector(Double,Double)。我想创建一个函数，给定一个输入数字，找到它包含在哪个向量中并返回该向量的索引。我不知道是否有更简单的方法来做到这一点，我是 Scala 的新手，但我的代码如下：

val vectors = #List of vectors ( List[scala.collection.immutable.IndexedSeq[Double]] )

def in_range(start: Double, end: Double, x : Double): Boolean = {(x>= start && x<end)}

def find_index(x:Double): Int = {
    for(i <- 0 to n){
     if( in_range(vectors(i)(0),vectors(i)(1),x)){ 
        return i
     }
}

我收到以下错误：

<console>:28: error: type mismatch;
 found   : Unit
 required: Int
        for(i <- 0 to 10){
              ^

在本地计算机上独立启动 spark 时遇到问题。我正在遵循本手册，这非常简单，但我仍然缺少一些东西

当我运行 start-master.sh 时，它显示以下错误：

couto@ubuntu:~/Downloads/spark-1.6.2-bin-hadoop2.4/sbin$ sh start-master.sh 
start-master.sh: 31: start-master.sh: [[: not found
start-master.sh: 31: start-master.sh: [[: not found
start-master.sh: 45: start-master.sh: 0: not found
start-master.sh: 52: /home/couto/Downloads/spark-1.6.2-bin-hadoop2.4/bin/load-spark-env.sh: [[: not found
starting org.apache.spark.deploy.master.Master, logging to /home/couto/Downloads/spark-1.6.2-bin-hadoop2.4/logs/spark-couto-org.apache.spark.deploy.master.Master-1-ubuntu.out
start-master.sh: 78: [: false: unexpected operator

尽管如此，主人似乎运行正确：

但是，一旦我尝试启动从站，它就会显示以下错误，并且 spark 控制台中不包含从站。

couto@ubuntu:~/Downloads/spark-1.6.2-bin-hadoop2.4/sbin$ sh start-slave.sh spark://localhost:7077
start-slave.sh: 42: start-slave.sh: [[: not found
start-slave.sh: 42: start-slave.sh: [[: not found
start-slave.sh: 42: start-slave.sh: [[: not found
start-slave.sh: 52: /home/couto/Downloads/spark-1.6.2-bin-hadoop2.4/bin/load-spark-env.sh: [[: not found
start-slave.sh: 68: …