我发现了很多信息和脚本示例,展示了如何对API的用户进行速率限制,但我无法找到任何关于在施加这些限制时如何限制自己的API请求的示例.
我总是使用代码sleep或usleep命令对我的脚本进行速率限制,但感觉这是一种低效的处理方式,特别是当API端点具有相当高的速率限制并且敲击API时,直到达到限制也是低效的.
例如,Google的API限制因您使用的API而异,并且可以增加/减少,在这种情况下,硬编码到代码中的固定速率限制似乎就像原始猜测工作一样!
我错过了很明显的东西吗？或者这不像我预期的那样普遍吗？
我有一份工作在消息一开始就失败了：
"@*" and "@N" are reserved sharding specs. Filepattern must not contain any of them.
我已将目标位置更改为包含 @ 符号的默认位置（电子邮件地址）以外的其他位置，但我仍然可以看到它在该路径中使用了我无法编辑的临时目标。
有没有人遇到过这个问题？我有一个只有 65,000 行长的文件，我可以在 Data Prep 中预览所有完整的数据，但是当我运行该作业时它会失败，这是非常乏味的，如果这不会运行的话，大约需要 3 小时的时间来清理下水道. （我很欣赏它不是为此设计的，但 Excel 是一匹母马，所以它似乎是一个很好的解决方案！）
编辑 - 添加日志：
2018-03-10 (13:47:34) Value "PTableLoadTransformGCS/Shuffle/GroupByKey/Session" materialized.
2018-03-10 (13:47:34) Executing operation PTableLoadTransformGCS/SumQuoteAndDelimiterCounts/GroupByKey/Read+PTableLoadTran...
2018-03-10 (13:47:38) Executing operation PTableLoadTransformGCS/Shuffle/GroupByKey/Close
2018-03-10 (13:47:38) Executing operation PTableStoreTransformGCS/WriteFiles/GroupUnwritten/Create
2018-03-10 (13:47:39) Value "PTableStoreTransformGCS/WriteFiles/GroupUnwritten/Session" materialized.
2018-03-10 (13:47:39) Executing operation PTableLoadTransformGCS/Shuffle/GroupByKey/Read+PTableLoadTransformGCS/Shuffle/Gr...
2018-03-10 (13:47:39) Executing failure step failure49
2018-03-10 (13:47:39) Workflow failed. Causes: (c759db2a23a80ea): "@*" and "@N" are reserved sharding …