小编tho*_*tam的帖子

我正在尝试在我的 alpine docker 映像中使用 pip 安装 pyarrow，但 pip 无法找到该包。

我正在使用以下 Dockerfile：

FROM python:3.6-alpine3.7

RUN apk add --no-cache musl-dev linux-headers g++

RUN pip install pyarrow

输出：

Sending build context to Docker daemon  4.096kB
Step 1/3 : FROM python:3.6-alpine3.7
3.6-alpine3.7: Pulling from library/python
ff3a5c916c92: Pull complete
471170bb1257: Pull complete
d487cc70216e: Pull complete
9358b3ca3321: Pull complete
78b9945f52f1: Pull complete
Digest: 
sha256:10bd7a59cfac2a784bedd1e6d89887995559f00b61f005a101845ed736bed779
Status: Downloaded newer image for python:3.6-alpine3.7
---> 4b00a94b6f26
Step 2/3 : RUN apk add --no-cache musl-dev linux-headers g++
---> Running in d024d0b961a6 …

在将实木复合地板文件写入其中时，是否可以使用pyarrow表中的时间戳记字段s3fs通过“ YYYY/MM/DD/HH” 对文件系统进行分区s3？

是否可以在 s3 中将 Parquet 文件从一个文件夹读取和写入另一个文件夹，而无需使用 pyarrow.

这是我的代码：

import pyarrow.parquet as pq
import pyarrow as pa
import s3fs

s3 = s3fs.S3FileSystem()

bucket = 'demo-s3'

pd = pq.ParquetDataset('s3://{0}/old'.format(bucket), filesystem=s3).read(nthreads=4).to_pandas()
table = pa.Table.from_pandas(pd)
pq.write_to_dataset(table, 's3://{0}/new'.format(bucket), filesystem=s3, use_dictionary=True, compression='snappy')

我打算用 golang 重写我的烧瓶应用程序。我正在尝试为 golang 中的 catch all 路由找到一个很好的例子，类似于我下面的烧瓶应用程序。

from flask import Flask, request, Response
app = Flask(__name__)

@app.route('/')
def hello_world():
  return 'Hello World! I am running on port ' + str(port)


@app.route('/health')
def health():
  return 'OK'

@app.route('/es', defaults={'path': ''})
@app.route('/es/<path:path>')
def es_status(path):
  resp = Response(
       response='{"version":{"number":"6.0.0"}}',
       status=200,
       content_type='application/json; charset=utf-8')
  return resp

任何帮助表示赞赏。

我正在使用 S3 Select 从 S3 Bucket 读取 csv 文件并输出为 CSV。在输出中，我只看到行，但看不到标题。如何获得包含标题的输出。

import boto3

s3 = boto3.client('s3')

r = s3.select_object_content(
        Bucket='demo_bucket',
        Key='demo.csv',
        ExpressionType='SQL',
        Expression="select * from s3object s",
        InputSerialization={'CSV': {"FileHeaderInfo": "Use"}},
        OutputSerialization={'CSV': {}},
)

for event in r['Payload']:
    if 'Records' in event:
        records = event['Records']['Payload'].decode('utf-8')
        print(records)

CSV

Name, Age, Status
Rob, 25, Single
Sam, 26, Married

s3select 的输出

Rob, 25, Single
Sam, 26, Married

我正在尝试设置一个演示环境来尝试 SQS 作为 AWS 事件桥源。我尝试将一些文档上传到 SQS 以查看 Event Bridge 是否检测到任何更改，但我没有看到触发任何事件。如何使用 AWS Event Bridge 测试 SQS 作为源？

Resources:
  Queue:
    Type: AWS::SQS::Queue
    Properties:
      QueueName: !Sub ${AWS::StackName}

  LambdaHandlerExecutionRole:
    Type: AWS::IAM::Role
    Properties:
      AssumeRolePolicyDocument:
        Version: '2012-10-17'
        Statement:
          - Effect: Allow
            Principal:
              Service:
                - lambda.amazonaws.com
            Action: sts:AssumeRole
      ManagedPolicyArns:
        - arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

  EventConsumerFunction:
    Type: AWS::Lambda::Function
    Properties:
      Handler: index.lambda_handler
      Role: !GetAtt LambdaHandlerExecutionRole.Arn
      Code:
        ZipFile: |
          import json

          def lambda_handler(event, context):
              print("Received event: " + json.dumps(event, indent=2))

      Runtime: python3.7
      Timeout: 50

  EventRule:
    Type: AWS::Events::Rule
    Properties:
      Description: eventEventRule
      State: ENABLED
      EventPattern: …

作为Kinesis firehose记录转换的一部分，我具有以下lambda函数，该转换将msgpack记录从kinesis输入流转换为json。

Lambda运行时：python 3.6

from __future__ import print_function

import base64
import msgpack
import json
print('Loading function')


def lambda_handler(event, context):
  output = []

  for record in event['records']:
    payload = msgpack.unpackb(base64.b64decode(record['data']), raw=False)

    # Do custom processing on the payload here
    output_record = {
        'recordId': record['recordId'],
        'result': 'Ok',
        'data': json.dumps(payload, ensure_ascii=False).encode('utf8')
    }
    output.append(output_record)

  print('Successfully processed {} records.'.format(len(event['records'])))
  return {'records': output}

但是lambda抛出以下错误：

An error occurred during JSON serialization of response: b'
{
   "id": "d23fd47f-3a62-4383-bcb3-abdb913ea572",
   "timestamp": 1526358140730,
   "message": "Hello World"
}
' is not JSON …

在写入镶木地板文件之前，是否有可能将 pyarrow 表中的字符串时间戳转换为日期时间格式？

我正在尝试在 Mac OSX 上通过 pip 安装 dask[complete]，但我总是找不到匹配项：dask[complete]。在 Mac OSX 上安装 dask[complete] 库的最佳方法是什么？

pip install dask[complete]
zsh: no matches found: dask[complete]

是否可以在 vuetify 文本区域标签中使用 v-icon 而不是文本？如果是这样，最好的方法是什么。

<v-textarea
  outlined
  label="DEMO"
  value="Hello World"
/>

这就是我尝试过的

<v-textarea
  outlined
  label=<v-icon>fas fa-lock</v-icon>
  value="Hello World"
/>

这是没有图标时的样子

这就是我想要的

我们在 AWS 上运行 Kafka 服务，并计划使用 Athena/S3 长期存储我们的分析数据。是否可以将 Kafka 与 AWS Glue 服务结合使用，从 Kafka 读取数据并将其存储在 s3 中？

我需要在 Hasura Docker Image 中安装 awscli 和 jq 库。我尝试使用 yum、apt-get 或 apk 命令来安装依赖项，但它们都不起作用。

Docker 镜像：https : //hub.docker.com/r/hasura/graphql-engine/

如何在 Hasura Docker Image 中安装这些依赖项？任何帮助表示赞赏。

Dockerfile：

FROM hasura/graphql-engine:latest

COPY entrypoint.sh /entrypoint.sh
RUN chmod +x /entrypoint.sh

CMD ["./entrypoint.sh"]

入口点.sh：

#!/bin/sh
set -o errexit -o nounset -o pipefail

DB_HOST=${DB_HOST:-postgres}
DB_PORT=${DB_PORT:-5432}

if [ -z "${DB_NAME}" ]; then
   echo "Must provide DB_NAME environment variable. Exiting...."
   exit 1
fi

if [ -z "${DB_USER}" ]; then
   echo "Must provide DB_USER environment variable. Exiting...."
   exit 1
fi

if [ …