尽管在 btrfs 上有足够的空间，但“设备上没有剩余空间”错误

Question

几乎到处都是我抱怨日志失败的地方 No space left on device

Gitlab 日志：

==> /var/log/gitlab/nginx/current <==
2016-11-29_20:26:51.61394 2016/11/29 20:26:51 [emerg] 4871#0: open() "/var/opt/gitlab/nginx/nginx.pid" failed (28: No space left on device)

Dovecot 电子邮件日志：

Nov 29 20:28:32 aws-management dovecot: imap(email@www.sitename.com): Error: open(/home/vmail/emailuser/Maildir/dovecot-uidlist.lock) failed: No space left on device

输出 df -Th

Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/xvda1     ext4      7.8G  3.9G  3.8G  51% /
devtmpfs       devtmpfs  1.9G   28K  1.9G   1% /dev
tmpfs          tmpfs     1.9G   12K  1.9G   1% /dev/shm
/dev/xvdh      btrfs      20G   13G  7.9G  61% /mnt/durable
/dev/xvdh      btrfs      20G   13G  7.9G  61% /home
/dev/xvdh      btrfs      20G   13G  7.9G  61% /opt/gitlab
/dev/xvdh      btrfs      20G   13G  7.9G  61% /var/opt/gitlab
/dev/xvdh      btrfs      20G   13G  7.9G  61% /var/cache/salt

看起来也有足够的 inode 空间。输出df -i

Filesystem     Inodes  IUsed  IFree IUse% Mounted on
/dev/xvda1     524288 105031 419257   21% /
devtmpfs       475308    439 474869    1% /dev
tmpfs          480258      4 480254    1% /dev/shm
/dev/xvdh           0      0      0     - /mnt/durable
/dev/xvdh           0      0      0     - /home
/dev/xvdh           0      0      0     - /opt/gitlab
/dev/xvdh           0      0      0     - /var/opt/gitlab
/dev/xvdh           0      0      0     - /var/cache/salt

输出 btrfs fi show

Label: none  uuid: 6546c241-e57e-4a3f-bf43-fa933a3b29f9
        Total devices 4 FS bytes used 11.86GiB
        devid    1 size 10.00GiB used 10.00GiB path /dev/xvdh
        devid    2 size 10.00GiB used 9.98GiB path /dev/xvdi
        devid    3 size 10.00GiB used 9.98GiB path /dev/xvdj
        devid    4 size 10.00GiB used 9.98GiB path /dev/xvdk

输出 btrfs fi df /mnt/durable

Data, RAID10: total=17.95GiB, used=10.12GiB
Data, single: total=8.00MiB, used=0.00
System, RAID10: total=16.00MiB, used=16.00KiB
System, single: total=4.00MiB, used=0.00
Metadata, RAID10: total=2.00GiB, used=1.74GiB
Metadata, single: total=8.00MiB, used=0.00
unknown, single: total=272.00MiB, used=8.39MiB

这可能是什么原因？我正在使用基本的 linux AMI ec2 内核版本 4.4.5-15.26.amzn1.x86_64

更新

运行下面建议的命令btrfs fi balance start -dusage=5 /mnt/durable给了我以下错误：

ERROR: error during balancing '/mnt/durable' - No space left on device There may be more info in syslog - try dmesg | tail

在手动删除了一堆总计约 1GB 的较大文件后，我重新启动了机器并再次尝试，确保我使用的是 sudo，并且执行了命令。然后我再次重新启动了我的机器以进行良好的测量，它似乎已经解决了问题

Answer 1

欢迎来到 BTRFS 的世界。它有一些诱人的功能，但也有一些令人恼火的问题。

首先，关于您的设置的一些信息，看起来您在 BTRFS“raid 10”卷中有四个驱动器（因此所有数据都存储在不同的磁盘上两次）。然后这个 BTRFS 卷被分割成不同挂载点上的子卷。子卷共享一个磁盘空间池，但具有独立的 inode 编号，并且可以安装在不同的位置。

BTRFS 以“块”的形式分配空间，块被分配给特定类别的数据或元数据。可能发生的事情（并且在您的情况下看起来已经发生）是所有可用空间都分配给数据块，而没有元数据的空间

似乎（出于我不完全理解的原因）BTRF 在使用的​​元数据空间比例指标达到 100% 之前“耗尽”了元数据空间。

这似乎是您的情况发生的情况，有大量可用数据空间，但没有尚未分配给块的可用空间，并且现有元数据块中的可用空间不足。

解决方法是运行“重新平衡”。这将移动数据，以便一些块可以返回到“全局”空闲池，在那里它们可以作为元数据块重新分配

btrfs fi balance start -dusage=5 /mnt/durable

后面的数字-dusage设置了重新平衡的积极程度，即块必须接近清空才能被重写。如果余额显示它重写了 0 个块，请尝试使用更高的-dusage.

如果平衡失败，那么我会尝试通过删除文件重新启动和/或释放一些空间。