P i*_*P i 4 logging amazon-cloudwatch
问题总结
如何使用CLI工具从CloudWatch下载完整日志?
我下载的日志不完整。我知道这是因为,如果我使用来颠倒顺序,则会--start-from-head得到新的内容。不只是逆序。
研究
我正在尝试追踪(Flask / Zappa,AWS lambda)微服务中的棘手间歇性故障。
我需要下载日志。
我可以检查CloudWatch中的日志:
这是包含我所追求的文字的内容:
但是,如果我下载这个日志,下载的文件并没有包含这样的文字:
> aws logs get-log-events --log-group-name '/aws/lambda/api-dev' --log-stream-name '2018/12/01/[$LATEST]59bc7e539d7948688e0666f8ed14822a' > wtf.txt
> cat wtf.txt | grep "timer"
Run Code Online (Sandbox Code Playgroud)
即没事
现在,如果我添加了--start-from-head,现在我看到了:
> aws logs get-log-events --log-group-name '/aws/lambda/api-dev' --log-stream-name '2018/12/01/[$LATEST]59bc7e539d7948688e0666f8ed14822a' --start-from-head > wtf.txt
> cat wtf.txt | grep "timer"
"message": "> > > starting game timer < < <\n",
Run Code Online (Sandbox Code Playgroud)
从https://docs.aws.amazon.com/cli/latest/reference/logs/get-log-events.html中我观察到:
--limit(整数)
返回的最大日志事件数。如果未指定值,则最大日志事件数为1 MB响应大小时可以容纳的日志事件数,最多10,000个日志事件。
...和:
> ls -l wtf.txt
-rw-r--r-- 1 pi staff 1247053 3 Dec 10:55:14 2018 wtf.txt
Run Code Online (Sandbox Code Playgroud)
因此它已经超过1MB。因此,似乎日志太长。我追求的文字最早是在日志中。
因此,问题就变成了:如何下载完整的日志?
我尝试设置更高的--limit,但得到:
调用GetLogEvents操作时发生错误(InvalidParameterException):检测到1个验证错误:位于'limit'的值'999999'无法满足约束:成员的值必须小于或等于10000
而10000是默认值!无论如何,设置任意限制是很丑陋的。无论我设置了什么,都有可能日志会更长。
如何使用已记录的"nextForwardToken"密钥?
def get_complete_log(stream_name):
nextForwardToken = None
while True:
param_group = " --log-group-name '/aws/lambda/api-dev'"
param_stream = " --log-stream-name '" + stream_name + "'"
param_token = (" --next-token '" + nextForwardToken + "'") if nextForwardToken else ""
params = param_group + param_stream + param_token
cmd = "aws logs get-log-events" + params + " > logs/tmp.txt"
print(cmd)
system(cmd)
with open('logs/tmp.txt','r') as f:
tmp = f.read()
print('CONTENTS:', tmp[:120], '\n')
J = json.loads( tmp )
nextForwardToken = J.get("nextForwardToken")
if not nextForwardToken:
break
get_complete_log( "2018/12/01/[$LATEST]59bc7e539d7948688e0666f8ed14822a" )
Run Code Online (Sandbox Code Playgroud)
如果我检查输出:
aws logs get-log-events --log-group-name '/aws/lambda/api-dev' --log-stream-name '2018/12/01/[$LATEST]030c7bd5c6ff4d9eb3bb56b8607746b8' > logs/tmp.txt
CONTENTS: {
"events": [
{
"timestamp": 1543707627572,
"message": "START RequestId: 7b34fa3b-f5
aws logs get-log-events --log-group-name '/aws/lambda/api-dev' --log-stream-name '2018/12/01/[$LATEST]030c7bd5c6ff4d9eb3bb56b8607746b8' --next-token 'f/34426362085021867195594556764906427633106607331166978053' > logs/tmp.txt
CONTENTS: {
"events": [],
"nextForwardToken": "f/34426362085021867195594556764906427633106607331166978053",
"nextBackw
Run Code Online (Sandbox Code Playgroud)
因此,除了第一个调用以外的所有内容都会返回,"events": []并且"nextForwardToken":与传入的令牌相同!
我建议尝试使用此CLI工具。我认为,它比AWS控制台和AWS CLI工具可靠得多。我用它来搜索CloudWatch中的大量日志流。您可以轻松地指定时间范围,甚至可以通过CloudWatch日志流搜索甚至grep。您还可以实时查看日志流。下面的示例在组中的所有日志流中搜索指定的时间范围(另请参见我正在为ERROR模式进行grep并使用来输出到文件和控制台tee):
awslogs get my_log_group ALL --start='23/1/2015 12:00' --end='23/1/2016 13:00' | grep ERROR | tee errlogs.txt
Run Code Online (Sandbox Code Playgroud)