小编bra*_*ana的帖子

从AWS Kinesis firehose到AWS S3写拼花

我想从kinesis firehose格式化为镶木地板的数据中摄取数据.到目前为止,我刚刚找到一个解决方案,意味着创建一个EMR,但我正在寻找更便宜和更快的东西,如直接从firehose存储收到的json作为镶木地板或使用Lambda函数.

非常感谢,Javi.

json amazon-s3 amazon-web-services parquet amazon-kinesis-firehose

23
推荐指数
3
解决办法
1万
查看次数

Python Pandas Series失败日期时间

我认为这必须是大熊猫的失败,有一个大熊猫系列(也是第18.1和19节),如果我给系列分配一个日期,第一次添加为int(错误),第二次它被添加为datetime(正确),我无法理解原因.

例如,使用此代码:

import datetime as dt
import pandas as pd
series = pd.Series(list('abc'))
date = dt.datetime(2016, 10, 30, 0, 0)
series["Date_column"] =date
print("The date is {} and the type is {}".format(series["Date_column"], type(series["Date_column"])))
series["Date_column"] =date
print("The date is {} and the type is {}".format(series["Date_column"], type(series["Date_column"])))
Run Code Online (Sandbox Code Playgroud)

输出是:

The date is 1477785600000000000 and the type is <class 'int'>
The date is 2016-10-30 00:00:00 and the type is <class 'datetime.datetime'>
Run Code Online (Sandbox Code Playgroud)

如您所见,它第一次始终将值设置为int而不是datetime.

有人可以帮助我吗?非常感谢你,Javi.

python datetime series pandas

7
推荐指数
1
解决办法
204
查看次数

通过有效负载将AWS Kinesis Firehose数据分区为s3

我使用AWS-Kinesis-Firehose将数据输入S3,然后使用Athena将其消耗掉.

我试图分析事件从不同的游戏,以避免雅典娜探索多的数据,我想使用分区为每个游戏的标识符S3的数据,到目前为止,我没有找到一个解决方案,因为流水从不同的游戏接收数据.

有谁知道怎么做?

谢谢你,哈维.

partitioning amazon-s3 payload amazon-web-services amazon-kinesis-firehose

6
推荐指数
1
解决办法
2188
查看次数

在Ubuntu中连接USB规模,cdc_acm说无法设置dtr / trs

我正在尝试在Linux(Ubuntu)中连接秤(Dibal系列400),但无法成功。安装了启用虚拟Com端口的驱动程序后,该秤可以在Windows上运行,但是当我在Linux上插入秤时,它会尝试启动,但是一段时间后,秤会关闭。

sys日志消息显示:

kernel: [ 3202.896355] usb 1-2: new full-speed USB device number 8 using xhci_hcd
kernel: [ 3203.038395] usb 1-2: New USB device found, idVendor=0483, idProduct=5740
kernel: [ 3203.038400] usb 1-2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
kernel: [ 3203.038403] usb 1-2: Product: Dibal G Series
kernel: [ 3203.038405] usb 1-2: Manufacturer: DIBAL S.A
kernel: [ 3203.038407] usb 1-2: SerialNumber: 00000000001A
kernel: [ 3203.039349] cdc_acm 1-2:1.0: ttyACM0: USB ACM device
mtp-probe: checking bus 1, device 8: "/sys/devices/pci0000:00/0000:00:14.0/usb1/1-2"
mtp-probe: bus: …
Run Code Online (Sandbox Code Playgroud)

usb ubuntu serial-port cdc tty

3
推荐指数
1
解决办法
5973
查看次数