ECS实例宕机并报错“Out of memory and no killable processes”如何处理？ - 云服务器 ECS

如果您的ECS实例出现宕机，并且报错日志中存在Out of memory and no killable processes信息，则可以参考本文提供的方案解决问题。

问题现象

ECS实例在运行过程中出现宕机，并且有类似于如下所示的调用栈：

[28663.625353] [ pid ]   uid  tgid total_vm      rss nr_ptes nr_pmds swapents oom_score_adj name
[28663.625363] [ 1799]     0  1799    26512      245      56       3        0         -1000 sshd
[28663.625367] [29219]     0 29219    10832      126      26       3        0         -1000 systemd-udevd
[28663.625375] Kernel panic - not syncing: Out of memory and no killable processes...
[28663.634374] CPU: 1 PID: 3578 Comm: kworker/u176:4 Tainted: G           OE   3.10.0-1062.9.1.el7.x86_64 #1
[28663.676873] Call Trace:
[28663.679312]  [<ffffffff8139f342>] dump_stack+0x63/0x81
[28663.684421]  [<ffffffff811b2245>] panic+0xf8/0x244
[28663.689184]  [<ffffffff811b98db>] out_of_memory+0x2eb/0x550
[28663.694726]  [<ffffffff811be254>] __alloc_pages_may_oom+0x114/0x1c0
[28663.700959]  [<ffffffff811bedb3>] __alloc_pages_slowpath+0x7d3/0xa40
[28663.707279]  [<ffffffff811bf229>] __alloc_pages_nodemask+0x209/0x260
[28663.713599]  [<ffffffff81216535>] alloc_pages_current+0x95/0x140
[28663.719573]  [<ffffffff811ba5ee>] __get_free_pages+0xe/0x40
[28663.725113]  [<ffffffff81075dae>] pgd_alloc+0x1e/0x160
[28663.730225]  [<ffffffff810875e4>] mm_init+0x184/0x240
[28663.735249]  [<ffffffff81088102>] mm_alloc+0x52/0x60
[28663.740186]  [<ffffffff81257640>] do_execveat_common.isra.37+0x250/0x780
[28663.759839]  [<ffffffff81257b9c>] do_execve+0x2c/0x30
[28663.764864]  [<ffffffff810a231b>] call_usermodehelper_exec_async+0xfb/0x150
[28663.777246]  [<ffffffff81741dd9>] ret_from_fork+0x39/0x50

问题原因

操作系统内核分配内存失败后，尝试通过kill进程来释放内存，但系统没有可被kill的进程，进而触发了系统的主动宕机。出现该问题的可能原因有：

系统内核存在内存泄漏，从而导致系统可用内存不足。
oom_score_adj为-1000的进程占用过多内存，该类进程无法被杀死从而导致系统可用内存不足。
说明
oom_score_adj 的值是一个整数，表示进程在Out of Memory（OOM）条件下被内核优先级选择的可能性。较低的值表示内核不可能选择该进程进行OOM杀死，而较高的值表示该进程越有可能被选择。

解决方案

重要

在操作前，建议您为ECS实例创建快照备份数据，避免因误操作造成的数据丢失。创建快照的具体操作，请参见创建快照。

检查系统内核是否存在内存泄漏。
具体操作，请参见如何排查slab_unreclaimable内存占用高的原因？。
检查进程的oom_score_adj设置是否合理。
1. 执行以下命令，获取进程的PID。您可以使用命令如 ps、top 或 pgrep 来查找进程的 PID。
```
ps aux | grep <进程名称>
```
  您需要将 <进程名称> 替换为您要查找的进程的名称。
2. 执行以下命令，检查 oom_score_adj 设置。
```
cat /proc/<PID>/oom_score_adj
```
  您需要将 <PID> 替换为已获取的进程实际PID。
  根据您的环境和需求，可以根据oom_score_adj的值来评估进程的OOM行为是否合理。如果oom_score_adj的值为-1000，则表示该进程具有较低的优先级，更不可能被内核选择进行OOM杀死，从而导致系统可用内存不足。