Amazon 微型实例崩溃 - 帮助我找出原因？

Question

我正在运行一个 Amazon AWS Micro Linux 实例，它在几天前的一些“轻度”使用过程中崩溃了。我正在运行一个将照片上传到服务器的应用程序。我们可能有 10 位用户在 1 小时内上传多张照片。

在某个时刻，服务器停止响应。我登录AWS控制台，发现“实例可达性检查”失败。我重新启动了服务器，重新启动了 PHP 和 MySQL，然后必须修复一些已损坏的 MySQL 表。

我打开了监控工具，CPU 使用率表明我们的 CPU 使用率达到了 28% - 在阅读了更多有关微实例的文档后，我认为我们没有达到 CPU 使用率的上限，但我可能是错的。

我不知道足够理解日志的含义。我发现了我认为是问题发生时服务器上的日志，我希望有人可以帮助我解释发生了什么：

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157082] httpd调用了oom-killer：gfp_mask = 0x201da，order = 0，oom_adj = 0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157100] httpd cpuset=/ mems_allowed=0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157108] Pid：1824，通讯：httpd 未受污染 2.6.35.14-97.44.amzn1.x86_64 #1

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157117] 调用跟踪：

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.157131] [] ？cpuset_print_task_mems_allowed+0x98/0xa0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157143] [] dump_header.clone.1+0x77/0x1a0

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.157153] [] ？_raw_spin_unlock_irqrestore+0x19/0x20

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.157164] [] ？___速率限制+0x9f/0x120

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157172] [] oom_kill_process.clone.0+0x76/0x140

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157185] [] __out_of_memory+0x118/0x190

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157196] [] out_of_memory+0x82/0x1c0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157204] [] __alloc_pages_nodemask+0x689/0x6a0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157215] [] alloc_pages_current+0x94/0xf0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157223] [] __page_cache_alloc+0x7f/0x90

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157232] [] __do_page_cache_readahead+0xc0/0x200

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157240] [] ra_submit+0x1c/0x20

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157248] [] filemap_fault+0x3e3/0x430

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157257] [] __do_fault+0x4f/0x4b0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157265] []handle_mm_fault+0x1b4/0xb40

7 月 23 日 00:19:07 ip-10-117-66-219 内核: [19699669.157275] [] ? xen_clocksource_read+0x21/0x30

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.157283] [] ？xen_clocksource_get_cycles+0x9/0x10

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.157293] [] ？ktime_get_ts+0xa3/0xd0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157302] [] do_page_fault+0x112/0x310

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157310] [] page_fault+0x25/0x30

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157316] 内存信息：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157320] 每个 CPU 的节点 0 DMA：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157327] CPU 0：嗨：0，btch：1 美元：0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157332] 每个 CPU 的节点 0 DMA32：

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157339] CPU 0：hi：186，btch：31美元：30Jul 23 00:19:07 ip-10-117-66-219内核：[19699669.157347] active_anon：70901 inactive_anon：71000isolated_anon：0Jul 23 00：19：07 ip-10-117-66-219内核：[19699669.157348] active_file：13 inactive_file：28isolated_file：0Jul 23 00：19 :07 ip- 10-117-66-219内核：[19699669.157349]不可删除：0脏：4写回：0不稳定：0Jul 23 00：19：07 ip-10-117-66-219内核：[19699669.157350]免费：1374slab_reclaimable：613板坯不可回收：1843

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157351] 映射：25 shmem：34 页表：4842 反弹：0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157430]节点0 DMA空闲：2436kB最小值：76kB低：92kB高：112kB active_anon：6104kB inactive_anon：6272kB active_file：0kB inactive_file：0kB不可删除： 0kB 隔离（匿名）：0kB 隔离（文件）：0kB 存在：15772kB mlocked：0kB 脏：0kB 写回：0kB 映射：0kB shmem：0kB 平板可回收：0kB 平板不可回收：0kB 内核堆栈：0kB 页表：20kB 不稳定：0kB 反弹：0kB writeback_tmp ：0kB page_scanned：0 all_unreclaimable？是的

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157459] lowmem_reserve[]：0 590 590 590

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157475]节点0 DMA32空闲：3060kB最小值：3068kB低：3832kB高：4600kB active_anon：277500kB inactive_anon：277728kB active_file：52kB不活动_文件：112kB 不可驱逐： 0kB 隔离（匿名）：0k B 隔离（文件）：0kB 存在：604988kB mlocked：0kB 脏：16kB 写回：0kB 映射：100kB shmem：136kB 平板可回收：2452kB 平板不可回收：7372kB 内核堆栈：752kB 页表：19348kB 不稳定：0kB 反弹：0kB writeback_tmp:0kB 页 ges_scanned:256 all_unreclaimable？是的

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157503] lowmem_reserve[]：0 0 0 0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157518] 节点 0 DMA：1*4kB 0*8kB 0*16kB 0*32kB 0*64kB 1*128kB 1*256kB 0*512kB 0 *1024kB 1*2048kB 0*4096kB = 2436kB

7月23日00:19:07 ip-10-117-66-219内核：[19699669.157553]节点0 DMA32：729*4kB 4*8kB 5*16kB 1*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0 *1024kB 0*2048kB 0*4096kB = 3060kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157587] 总页面缓存页数 80

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157592] 交换缓存中有 0 页

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157597] 交换缓存统计信息：添加 0、删除 0、查找 0/0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157602] 自由交换 = 0kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.157607] 总交换 = 0kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.158050] 157439 页 RAM

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.158050] 保留 4626 页

7月23日00:19:07 ip-10-117-66-219内核：[19699669.158050] 38855页共享

7月23日00:19:07 ip-10-117-66-219内核：[19699669.158050] 149663页非共享

7月23日00:19:07 ip-10-117-66-219内核：[19699669.158050]内存不足：杀死进程2135（httpd）分数87500或一个孩子

7月23日00:19:07 ip-10-117-66-219内核：[19699669.158050]杀死进程2135（httpd）vsz：350000kB，anon-rss：49376kB，file-rss：0kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.164960] httpd 调用了 oom-killer：gfp_mask=0x201da，order=0，oom_adj=0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.164990] httpd cpuset=/ mems_allowed=0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.164998] Pid：1824，通讯：httpd 未污染 2.6.35.14-97.44.amzn1.x86_64 #1

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165006] 调用跟踪：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165020] []？cpuset_print_task_mems_allowed+0x98/0xa0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165032] [] dump_header.clone.1+0x77/0x1a0

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.165042] [] ？_raw_spin_unlock_irqrestore+0x19/0x20

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.165053] [] ？___速率限制+0x9f/0x120

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165061] [] oom_kill_process.clone.0+0x76/0x140

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165069] [] __out_of_memory+0x118/0x190

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165077] [] out_of_memory+0x82/0x1c0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165086] [] __alloc_pages_nodemask+0x689/0x6a0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165096] [] alloc_pages_current+0x94/0xf0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165105] [] __page_cache_alloc+0x7f/0x90

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165114] [] __do_page_cache_readahead+0xc0/0x200

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165122] [] ra_submit+0x1c/0x20

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165129] [] filemap_fault+0x3e3/0x430

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165139] [] __do_fault+0x4f/0x4b0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165147] []handle_mm_fault+0x1b4/0xb40

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.165156] [] ？xen_clocksource_read+0x21/0x30

7 月 23 日 00:19:07 ip-10-117-66-219 内核： [19699669.165164] [] ？xen_clocksource_get_cycles+0x9/0x10

7 月 23 日 00:19:07 ip-10-117-66-219 内核: [19699669.165178] [] ? ktime_get_ts+0xa3/0xd0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165187] [] do_page_fault+0x112/0x310

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165195] [] page_fault+0x25/0x30

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165201] 内存信息：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165205] 每个 CPU 的节点 0 DMA：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165212] CPU 0：嗨：0，btch：1 美元：0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165217] 每个 CPU 的节点 0 DMA32：

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165224] CPU 0：嗨：186，btch：31 美元：130

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165232] active_anon:70836 inactive_anon:71000isolated_anon:0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165233] active_file:13 inactive_file:28isolated_file:0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165234] 不可删除：0 脏：4 回写：0 不稳定：0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165235] 空闲：1343lab_reclaimable：613lab_unreclaimable：1843

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165236] 映射：25 shmem：34 页表：4842 反弹：0

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165262]节点0 DMA空闲：2436kB最小值：76kB低：92kB高：112kB active_anon：6104kB inactive_anon：6272kB active_file：0kB inactive_file：0kB不可清除： 0kB 隔离（匿名）：0kB 隔离（文件）：0kB 存在：15772kB mlocked：0kB 脏：0kB 写回：0kB 映射：0kB shmem：0kB 平板可回收：0kB 平板不可回收：0kB 内核堆栈：0kB 页表：20kB 不稳定：0kB 反弹：0kB writeback_tmp ：0kB page_scanned：0 all_unreclaimable？是的

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165290] lowmem_reserve[]：0 590 590 590

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165305]节点0 DMA32空闲：2936kB最小值：3068kB低：3832kB高：4600kB active_anon：277240kB inactive_anon：277728kB active_file：52kB不活动_文件：112kB 不可驱逐： 0kB 隔离（匿名）：0kB 隔离（文件）：0kB 存在：604988kB mlocked：0kB 脏：16kB 写回：0kB 映射：100kB shmem：136kB 平板可回收：2452kB 平板不可回收：7372kB 内核堆栈：752kB 页表：19348kB 不稳定：0kB 反弹：0kB 写回_ tmp ：0kB 页 ges_scanned：256 all_unreclaimable？是的

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165334] lowmem_reserve[]：0 0 0 07月23日00:19:07 ip-10-117-66-219内核：[19699669.165348]节点0 DMA: 1*4kB 0*8kB 0*16kB 0*32kB 0*64kB 1*128kB 1*25 6kB 0*512kB 0*1024kB 1*2048kB 0*4096kB = 2436kBJul 23 00:19:07 ip-10-117 -66-219内核：[19699669.165420]节点0 DMA32：710*4kB 4*8kB 4*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 29 36kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 总页面缓存页数 80

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 交换缓存中有 0 页

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 交换缓存统计信息：添加 0、删除 0、查找 0/0

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 自由交换 = 0kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 总交换 = 0kB

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 157439 页 RAM

7 月 23 日 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 保留 4626 页

7月23日00:19:07 ip-10-117-66-219内核：[19699669.165648]共享37922页

Jul 23 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 149594 页非共享Jul 23 00:19:07 ip-10-117-66-219 内核：[19699669.165648] 内存不足：杀死进程1859（httpd）得分87366或孩子Jul 23 00:19:07 ip-10-117-66-219内核：[19699669.165648]杀死进程1859（httpd）vsz：349464kB，anon-rss：49312k B，文件- RSS:0kB

如果我可以提供任何其他信息，请告诉我。

Answer 1

Linux 内存不足杀手觉得有必要释放一些 RAM。然后它尝试执行此操作（httpd 是记录的目标）。然而，它看起来不够成功，最终硬锁，由于服务器内存不足，因此没有用于日志缓冲区的内存，因此不会被记录。