小编sam*_*mba的帖子

我编写了一个解析Metrics数据的方法,并且首先遇到了transactionMap类型的问题java.util.Map.我用JavaConverters解决了它.

def parseMetrics(metric: Metric) = {
    import scala.collection.JavaConverters._
    metric.transactionMap.asScala.values.map {
      case false => "N" 
      case true => "Y"
    }.toList

但之后我在模式匹配true和false值时出错: pattern type is incompatible with expected type, found: Boolean, required: java.lang.Boolean

据我所知,Scala没有链接两个隐式转换.有没有办法使用JavaConverters修复它？

在 Redshift 中创建表时遇到以下错误：

Column "main.sales_metrics" has unsupported type "character varying[]".;

在 DataFrame 模式中，它看起来像这样：

|-- sales_metrics: array (nullable = true)
     |-- element: string (nullable = true)

我试图像我通常在 PostgreSQL 中所做的那样声明该列：sales_metrics text[]正如我从文档中读到的那样，Amazon Redshift 不支持 PostgreSQL 数据类型。

那么我应该如何正确声明在 RedShift 中创建表时sales_metrics存储的列Array[String]？

我有一个由Google Places API返回的地点列表,并决定找到价格最低的地方.

以下是我使用Java 8实现它的方法:

BigDecimal lowestPrice = places.stream()
                .collect(Collectors.groupingBy(Place::getPrice, Collectors.counting()))
                .entrySet().stream().min(Map.Entry.comparingByValue())
                .map(Map.Entry::getKey)
                .orElse(BigDecimal.ZERO); 

它返回了我的最低价格,但获得Place的名称也很棒(它有一个name属性).

我怎样才能返回name价格最低的地方？

我想更改 Databricks Delta 表的列名。

所以我做了以下事情：

// Read old table data
val old_data_DF = spark.read.format("delta")
.load("dbfs:/mnt/main/sales")

// Created a new DF with a renamed column
val new_data_DF = old_data_DF
      .withColumnRenamed("column_a", "metric1")
      .select("*")

// Dropped and recereated the Delta files location
dbutils.fs.rm("dbfs:/mnt/main/sales", true)
dbutils.fs.mkdirs("dbfs:/mnt/main/sales")

// Trying to write the new DF to the location
new_data_DF.write
.format("delta")
.partitionBy("sale_date_partition")
.save("dbfs:/mnt/main/sales")

在这里，我在写入 Delta 时的最后一步出现错误：

java.io.FileNotFoundException: dbfs:/mnt/main/sales/sale_date_partition=2019-04-29/part-00000-769.c000.snappy.parquet
A file referenced in the transaction log cannot be found. This occurs when data has been manually deleted from …

最初我在一个对象中有一个case类.所以,我可以打电话给extractSales这样从另一个类方法:SaleProcessor.extractSales(salesJson).

object SaleProcessor {
 case class Sale(name: String, type: String, description: String) {
 def extractSales(salesJson: JValue): Seq[Sale] = {
    salesJson.extract[Seq[Sale]]
  }}}

然后我读到某个地方,没有必要在一个对象中嵌套一个case类,并决定删除该SaleProcessor对象而只留下case类.但在那之后,我无法像以前那样调用该方法.

据我所知,没有对象我必须实例化案例类.但是不确定如何实现这一点,因为如果从JSON中提取,那么Sale对象就会被创建？

另一个问题是,将案例类嵌套到对象中是什么是最合适的方法,什么被认为是Scala中的最佳实践？