小编kzf*_*fid的帖子

AWS Athena可以更新或插入存储在S3中的数据吗?

该文档只是说它是一个查询服务,但没有明确声明它可以或不可以执行数据更新.

如果Athena无法插入或更新,是否还有其他aws服务可以像普通数据库那样做?

amazon-web-services

9
推荐指数
4
解决办法
8619
查看次数

docker run 没有入口点

我们可以有一个没有入口点的 {docker run} 命令吗?据我所知,必须有一个入口点(如果未指定,则在大多数情况下应默认为“bash”)。否则,我无法将图像作为容器运行。

假设我在物理机上安装 Linux。
有一个后台服务在后台运行,监听端口然后做一些事情。
在我登录之前,没有运行 bash shell,我仍然可以通过名称和端口从另一台计算机调用后台服务。

我可以通过 {docker run} 做类似的事情吗?这意味着,我不需要入口点(或者入口点是系统进程而不是 bash?),只需让容器系统及其后台服务启动并运行即可。

docker docker-entrypoint

9
推荐指数
2
解决办法
3万
查看次数

AWS Athena + S3 限制

我目前正在将 AWS S3 + Athena 用于一个项目。但是,在使用了 1-2 个月后,我发现它有一些局限性。我不确定我是不知道如何使用它还是它真的是一个限制。但是请不要问我为什么在足够的研究之前选择使用它。我认为有2点:

  1. 这是项目需要的
  2. Athena S3 和 AWS 的资源不是很集中,其功能也在不断变化。在实际使用一段时间之前,我很难找到 Athena + S3 可以做什么或不能做什么。

太过分了,现在回到正题。>_<

目前,我面临一个问题。随着数据量的不断增加,数据扫描量和查询量急剧增加(有时甚至会出现异常,例如执行查询时打开的文件过多)。但是,AWS S3 + Athena 似乎只有分区但没有索引。因此,问题来了。

问题 1:
我可以在 AWS S3 + Athena 上做一些类似索引的事情吗?

问题2:
如果我使用分区,似乎只能指定一个组合键(S3文件夹中的一列或多列作为标签);否则,数据大小将翻倍。这是真的?

问题3:
即使我愿意增加数据量,也不可能有2个组合键的表。为了实现这一点,我必须有 2 个 Athena 表和 2 个相同的数据集,但在 S3 中有 2 种类型的分区。这是真的?

问题4:
对于“too many open files”的错误,经过一番研究,似乎是操作系统级别的问题,预定义了有限数量的文件描述符。我现在的情况是SQL大部分时间没有异常,但在某些时候,它很容易出现异常。我的理解是,亚马逊会有一组计算机(例如,32 个节点服务器)来服务一定数量的客户,包括我的公司和其他公司。每个服务器都有有限数量的可用文件描述符,并在所有客户之间共享。然后,在某些高峰期(其他公司正在执行大量查询),文件描述符的可用数量会下降,这也解释了为什么我的具有相同数据集的 SQL 有时会出现异常但并非总是如此。这是真的?

问题 5:
由于缺少索引功能,S3+Athena 不应该执行复杂的 SQL 查询。这意味着,复杂的连接逻辑只能在加载到 S3 之前在转换层的某处完成。这是真的?

问题 6:
这个问题是在上一个问题 5 之后的问题。让我用一个简单的例子来说明:开发了一个报告系统来显示订单和交易。关系是订单执行后,会产生一笔交易。Order_ID 是链接一笔交易及其相关订单活动的关键。分区设置为日期。
现在,以下数据来了:
在此处输入图片说明
要求是:
1。第1天的报告,只订单记录O001-下订单显示
2.报告第2天,只有订单记录O002-订单更改订单显示 …

amazon-s3 amazon-web-services amazon-athena

6
推荐指数
1
解决办法
7480
查看次数

如何在没有后端收集器的情况下将 opentelemetry 数据导出到文件中进行测试

我有使用 OpenTelemetry 的 c# 应用程序。

不同的后端收集器有不同的导出器(例如 Jaeger)

但在我的开发环境中,没有设置这样的后端服务。

虽然我可以使用控制台导出器,但它会与我的其他消息混合在一起。

我也尝试过 Otlp Exporter

.AddOtlpExporter(options => options.Endpoint = new Uri(@"C:\temp\a.txt"))
Run Code Online (Sandbox Code Playgroud)

但返回以下错误

System.NotSupportedException: 'Endpoint URI scheme (file) is not supported. Currently only "http" and "https" are supported.'
Run Code Online (Sandbox Code Playgroud)

目前似乎不支持文件架构。

有什么方法可以简单地将其输出到文件中以便于测试和调试吗?

c# open-telemetry

4
推荐指数
1
解决办法
4999
查看次数

如何在VS 2019中的非grpc服务项目中添加proto文件

在 grpc 服务项目中,当我添加新项目/文件时,我可以选择文件类型为“协议缓冲区文件”,“构建操作”(在文件属性中)为“Protobuf 编译器”

但是,当我有一个非 grpc 服务项目(例如类库)时,在添加新文件时没有可以选择的“协议缓冲区文件”类型。即使我使用 .proto ext 创建文件,“构建操作”中也没有我可以选择的“Protobuf 编译器”。

有什么方法可以在非 grpc 服务项目中添加 proto 文件,或者我只能手动编辑项目 .csproj (我的意思是将有关 proto 文件的 xml 节点从 grpc 服务项目复制到非 grpc 服务项目)?

c# protocol-buffers visual-studio-2019

4
推荐指数
1
解决办法
5906
查看次数