小编rkj*_*rkj的帖子

presto的新功能,任何指针我如何在下表中使用LATERAL VIEW EXPLODE.

我需要在我的presto查询中过滤名称

CREATE EXTERNAL TABLE `id`(
 `id` string,
 `names` map<string,map<string,string>>,
 `tags` map<string,map<string,string>>)
ROW FORMAT SERDE
 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
 's3://test'

;

样本names值:

{3081={short=Abbazia 81427 - Milan}, 2057={short=Abbazia 81427 - Milan}, 1033={short=Abbazia 81427 - Milan}, 4105={short=Abbazia 81427 - Milan}, 5129={short=Abbazia 81427 - Milan}}

我的S3文件（s3://MY_s3/stage/my_s3_file）在以下位置具有分区load_dt：

S3结构：

-MY_S3
 --stage
  ---my_s3_file
    ----load_dt=2016-02-01
         ----000024
    ----load_dt=2016-02-02
         ----000036

实际文件位于load_dt分区下，例如000024＆000036。

如果我不在Redshift表中保留load_dt，则COPY命令可以正常工作，但是当我在Redshift表中添加load_dt时，COPY命令由于数据错误而失败，因为输入布局和目标布局不匹配（目标上有额外的load_dt）。

创建S3文件的配置单元表的末尾显示了分区的load_dt。

如何使此COPY命令与目标Redshift上的load_dt一起使用？

我什至尝试将S3位置更改为s3://MY_s3/stage/my_s3_file/load_dt无运气。

我在 boto3 中遇到分页问题并且无法获取 aws 账户中的所有实例。

仅获得以下实例的 50%（大约 2000 个，实际有 4000 个）

下面是我的代码

import boto3

ec2 = boto3.client('ec2')

paginator = ec2.get_paginator('describe_instances')
response = paginator.paginate().build_full_result()

ec2_instance = response['Reservations']


for instance in ec2_instance:
    print(instance['Instances'][0]['InstanceId'])

我希望从自动缩放启动配置中创建一个新启动的 ec2 实例，其中 source_dest_check = disabled（默认情况下已启用）。

我知道我们可以使用 source_dest_check = false 来创建 ec2 资源，但是如何在从 ASG 管理实例时实现相同的目标。

Terraform 不接受下面的 (source_dest_check = false) ，还有其他替代方法可以实现吗？

我可以从用户数据中实现这一点吗？

resource "aws_launch_configuration" "launchconfig" {
  name_prefix          = "bastion-"
  image_id             = "${data.aws_ami.amazon-linux-2.id}"
  instance_type        = "${var.instance_type}"
  placement_tenancy    = "default"
  enable_monitoring    = true
  #source_dest_check    = false
  security_groups      = ["${aws_security_group. security_group.id}"]
  iam_instance_profile = "${aws_iam_instance_profile.instance_profile.name}"
  key_name             = "${var. pem_key}"

  #Include user-data
  user_data = "${element(data.template_file.user_data.*.rendered, count.index)}"

  lifecycle {
    create_before_destroy = true
  }
}