我有一个java API（接受HTTPS请求_打包成docker镜像，然后使用k8s集群部署在EC2之上。主EC2前面有一个ELB。
我可以向 ELB 发出 curl POST 请求，以便访问该 java API。
有时，即使当我看到 kube 日志时处理已成功，我的curl 请求也会永远等待响应。
对于 40 分钟左右的较大请求，会发生这种情况，25 分钟的请求可以获得正常响应。
您认为超时可能在哪里？我应该查看任何特定的配置参数吗？
客户端 (curl) --> ELB --> k8s --> 运行 java api 镜像的 pod
我认为这与 ELB 相关（我没有设置 IdleTimeout），但文档说默认值为 60 秒，尽管我可以获得 20 分钟请求的响应 "ConnectionSettings": { "IdleTimeout" }
我正在编写一个接受 tableName 值和 updEpoch 值的 golang api，即：
curl -F "tableName=abc" -F "updEpoch=123" myhost:8080/singleroute
curl -F "tableName=abc" -F "updEpoch=456" myhost:8080/singleroute
curl -F "tableName=def" -F "updEpoch=123" myhost:8080/singleroute
curl -F "tableName=def" -F "updEpoch=345" myhost:8080/singleroute
我想允许并行处理多个不同的 tableName 请求，但同时每个 tableName 只能处理 1 个请求。所以在上面的例子中，如果同时触发了 4 个以上的请求，那么第一个和第三个应该能够同时运行（作为唯一的 tableNames），但是第二个只会在第一个完成后开始，第四个只会在第三个完成后开始。当我研究互斥锁时，似乎没有任何例子适合这种情况，我不想在代码中的任何地方对 abc/def.etc 进行硬编码，因为相同的规则应该适用于任何任意 tableName。
我的猜测基于 Crowman 的帮助：
package main
import (
"fmt"
"sync"
"time"
"http"
)
km := KeyedMutex{}
type KeyedMutex struct {
mutexes sync.Map // Zero value is empty and ready for use
}
func (m *KeyedMutex) Lock(key string) …我的 dag 需要大约 50 秒来解析，我只使用外部触发器来启动 dag 运行，没有时间表。我注意到气流想要大量填充 dagbag --> 在每个 trigger_dag 命令和在后台，它不断检查 dags 文件夹并在部署新的 .py 后似乎立即创建 .pyc 文件。
无论如何我可以部署我的集群并填充一次 dags！然后在接下来的 2 周内，在任何 trigger_dag 上立即开始 dagruns（现在需要 50 秒才能在开始之前填充 dagbag）。我不需要在 2 周内更新 dag 定义。
有没有关于aws java sdk,hadoop,hadoop-aws bundle,hive,spark之间哪些版本兼容的参考？
例如,我知道Spark与Hive 2.1.1之上的hive版本不兼容
当进行spark-submit时，做任何事情都需要30秒，我相信它绑定到sparkmaster上的端口，创建sparkcontext，分配执行器，jvm启动等
无论如何要加快速度吗？我将每 3 分钟使用不同的参数调用 jar 并希望减少延迟
我尝试使用 local:/ 读取 jar，这似乎节省了几秒钟
我记得当做一个ftp将文件从大型机复制到Windows时,文件名总会有一些数字后缀,每天都会改变.即abc.4328然后它将成为abc.23595..etc大型机世界中更改后缀的概念/术语是什么？
是否有人可以快速获取S3中托管的文件的行数？最好使用CLI，s3api，但我也对python / boto开放。注意：解决方案必须非交互式运行，即隔夜运行。
对，不，我正在这样做，它可以工作，但是一个20GB的文件大约需要10分钟：
aws cp s3://foo/bar - | wc -l
在Spark的WebUI（端口8080）中和环境选项卡上，存在以下设置：
user.timezone祖鲁语
您知道如何/在哪里可以将其覆盖到UTC吗？
信封详细信息：
编辑（有人回答以下内容然后删除）：https : //www.timeanddate.com/time/zones/z