小编Che*_*rry的帖子

假设我想创建一些具有 10 个精度数字和 2 个小数数字的数字，例如0123456789.12. 有没有办法定义这样的类型并保持列定义数据库不可知？例如，定义一个由 liquibase 自动转换为DECIMAL(10, 2)Mysql 和NUMERIC(10, 2)postgres（或任何其他数据库）的类型。

这是一个关于用alter关键字更改序列值的问题。这可以在创建表定义中完成吗？像那样：

CREATE TABLE tablename (
    colname SERIAL stars 1000
);

下面是关于移动从一个S3存储如何到另一个文件使用的答案sync从命令的命令行（CLI） ：

aws s3 sync s3://from_my_bucket s3://to_my_other_bucket

可以从javascript sdk调用吗？通过搜索，我没有找到任何sync命名方法。那么它在sdk中受支持吗？

这是 java 3 sdk 版本 1 的文档链接。2.0 版本是否有类似的内容或者删除了此类选项？

应找到以下文件：

matches query 'my text' AND (has not field OR field with value)

我尝试了以下方法：

GET /myIndex/_search

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "my text"
          }
        },
        {
        }
      ],
      "filter": {
        "bool": {
          "must_not": {
            "exists": {
              "field": "myField"
            }
          },
          "must": {
            "terms": {
              "myField": [
                "myValue"
              ]
            }
          }
        }
      }
    }
  }
}

它应该（但不是）工作liek说：

1. 布尔组合通过 ORmust和filter部分
2. 首先must按查询选择
3. 过滤器使用由 OR must andmust_not`组合的 bool

但这就像 …

这是有关关键字的文档，但它们没有说明任何限制。我发现的错误长度是 256 个字符，但如何获得关键字数据类型的最大长度？

看这个例子。它从 s3 目录读取数据，然后写回 s3 文件夹。但是如果我添加数据并重新运行此作业会怎样？我是对的，awsglue再次读取和写入所有数据？或者它只检测（如何？）新数据并只写入它？

顺便说一句，如果我从分区数据中读取，我必须自己指定“新到达”分区吗？

Schema change policyawsgluecrawler的web colsole中的部分包含3个点，而cloudformation部分模板仅定义2个点。有没有办法从cloudformation模板设置“从表继承架构”参数？

考虑一个代码：

val inputTable = glueContext
  .getCatalogSource(database = "my_db", tableName = "my_table)
  .getDynamicFrame()

glueContext.getSinkWithFormat(
  connectionType = "s3",
  options = JsonOptions(Map("path" -> "s3://my_out_path")),
  format = "orc", transformationContext = ""
).writeDynamicFrame(inputTable)

当我运行此代码两次时，新orc文件将添加到 "s3://my_out_path". 有没有办法覆盖始终覆盖路径？

笔记

写入数据没有分区。

考虑一个代码；

 import org.apache.spark.sql.hive.orc._
 import org.apache.spark.sql._

 val path = ...
 val dataFrame:DataFramew = ...

 val hiveContext = new org.apache.spark.sql.hive.HiveContext(sparkContext)
 dataFrame.createOrReplaceTempView("my_table")
 val results = hiveContext.sql(s"select * from my_table")
 results.write.mode(SaveMode.Append).partitionBy("my_column").format("orc").save(path)
 hiveContext.sql("REFRESH TABLE my_table")

这段代码用相同的路径执行了两次，但是数据帧不同。第一次运行成功，但是随后出现上升错误：

Caused by: java.io.FileNotFoundException: File does not exist: hdfs://somepath/somefile.snappy.orc
It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved.

我试图清理缓存，调用hiveContext.dropTempTable("tableName")并全部无效。什么时候REFRESH TABLE tableName之前，之后（其他版本）调用以修复此类错误？