小编Kel*_*ton的帖子

这是我第一次尝试在Athena中制作自己的表，所以请保持谨慎:)我在此数据库中运行的基于AWS示例的其他几个表没有问题，因此我相信数据库已正确设置。

另外，我敢肯定，我的正则表达式是残酷的，请尽量忽略它！

我有存储在S3有些VPC流量日志，日志文件的格式为：

2 123456654321 eni-ae343be4 100.75.233.178 172.31.26.162 49178 80 6 6 270 1488872163 1488872180 ACCEPT OK
2 123456654321 eni-ae343be4 100.75.233.178 172.31.26.162 64013 80 6 2 84 1488872163 1488872180 ACCEPT OK
2 123456654321 eni-ae343be4 206.97.36.202 172.31.26.162 33164 445 6 2 96 1488872163 1488872180 REJECT OK

我有我的基础上表的发布在AWS实例。我创建的查询是：

CREATE EXTERNAL TABLE IF NOT EXISTS flow_logs_raw_native (
         version int,
         account-id bigint,
         interface-id string,
         srcaddr string,
         dstaddr string,
         srcport int,
         dstport int,
         protocol int,
         packets int,
         bytes int,
         Tstart bigint,
         Tend bigint, …

我有3个表我想使用日期,但其中一个表包括unix epoch格式的日期.以下是3个字段的示例:

Table1: 2017-02-01T07:58:40.756031Z
Table2: 2017-02-07T10:16:46Z
Table3: 1489236559

我想转换表3中的日期以尽可能地匹配表2的格式.这就是我现在所拥有的:

SELECT cast(from_unixtime(tstart) as timestamp) as ISODATE from scada_logs

这给了我一些非常接近的东西,但并不完全在那里.这是我得到的:

ISODATE
2017-03-20 14:31:06.000
2017-03-20 14:31:06.000

我已经玩了几个小时,但我没有接近.有没有人有任何想法？

谢谢!

我正在尝试使用 jq 从 JSON 对象返回多个元素。数据来自 AWS cli 查找，这只是输出的一小部分：

{
"ReservedInstancesOfferings": [{
        "OfferingClass": "convertible",
        "OfferingType": "No Upfront",
        "AvailabilityZone": "ap-southeast-2a",
        "InstanceTenancy": "default",
        "PricingDetails": [],
        "ProductDescription": "Linux/UNIX",
        "UsagePrice": 0.0,
        "RecurringCharges": [{
            "Amount": 0.167,
            "Frequency": "Hourly"
        }],
        "Marketplace": false,
        "CurrencyCode": "USD",
        "FixedPrice": 0.0,
        "Duration": 94608000,
        "Scope": "Availability Zone",
        "ReservedInstancesOfferingId": "1fc8c02b-bcc0-42b8-82ef-47c6f6d1c1b5",
        "InstanceType": "c4.xlarge"
    },
    {
        "OfferingClass": "convertible",
        "OfferingType": "No Upfront",
        "AvailabilityZone": "ap-southeast-2a",
        "InstanceTenancy": "dedicated",
        "PricingDetails": [],
        "ProductDescription": "Red Hat Enterprise Linux",
        "UsagePrice": 0.0,
        "RecurringCharges": [{
            "Amount": 0.243,
            "Frequency": "Hourly"
        }],
        "Marketplace": false,
        "CurrencyCode": "USD",
        "FixedPrice": …