#1.情况说明

#1.1分布式服务docker容器部署,内存溢出处理

# du - 报告磁盘空间使用情况
# du --max-depth=1 -h 在根目录执行,列出文件磁盘占用情况

[root@localhost /]# du --max-depth=1 -h
148M	./boot
0		./dev
42G		./home
du: 无法访问"./proc/26052": 没有那个文件或目录
du: 无法访问"./proc/26179/task/26179/fd/3": 没有那个文件或目录
du: 无法访问"./proc/26179/task/26179/fdinfo/3": 没有那个文件或目录
du: 无法访问"./proc/26179/fd/4": 没有那个文件或目录
du: 无法访问"./proc/26179/fdinfo/4": 没有那个文件或目录
0		./proc
3.2G	./run
0		./sys
43M		./etc
1.1G	./root
40G		./var
40K		./tmp
9.0G	./usr
0		./media
0		./mnt
14G		./opt
0		./srv
85G		.//最后这个是总计

#1.2 /var/lib/docker

1.目录展示

[root@localhost docker]# pwd
/var/lib/docker
[root@localhost docker]# ll
总用量 20
drwx------.   2 root root    24 1月   5 2021 builder
drwx------.   4 root root    92 1月   5 2021 buildkit
drwx------.   3 root root    20 1月   5 2021 containerd
drwx------.  29 root root  4096 9月  18 10:01 containers
drwx------.   3 root root    22 1月   5 2021 image
drwxr-x---.   3 root root    19 1月   5 2021 network
drwx------. 120 root root 12288 9月  18 10:01 overlay2
drwx------.   4 root root    32 1月   5 2021 plugins
drwx------    2 root root     6 8月  16 09:03 runtimes
drwx------.   2 root root     6 1月   5 2021 swarm
drwx------    2 root root     6 9月   9 18:08 tmp
drwx------.   2 root root     6 1月   5 2021 trust
drwx------.   3 root root    97 9月  17 10:47 volumes

2.查看/var/lib/docker下的磁盘空间使用情况

[root@localhost docker]# du --max-depth=1 -h
1.4M	./containerd
2.3G	./containers
0		./plugins
12G		./overlay2
7.8M	./image
56M		./volumes
0		./trust
252K	./network
0		./swarm
16K		./builder
56K		./buildkit
0		./tmp
0		./runtimes
15G		.//最后这个是总计

3.查看containers每个容器使用空间,下面就是你创建所有容器的文件,文件名就是容器id

[root@localhost containers]# du --max-depth=1 -h
99M		./a8bcb70543d8b6792849e04aa5b7eb86cf61bd62fc94ca6d06fc231ffe9be539
1.3M	./570ab47f83f408021af329f4cbc3d37f8f948b68dc9f82508c2e2a53afc0249e
20M		./82e23003969fbe2ab30aaf30287c4f072a9d577981202c5071cbd052b620d351
185M	./784a19b6d06b1d78bd74f44d8af9404f98fbe2b1544836a089c72807a7f9b59b
1.3M	./34aa6db7c8a50f2819270e3bd1a8d42ea1723a5e7999e57b5e5197eefcb32204
163M	./2cb5b949740eec2695119c261d3c7071aaa9f5531e9bd61a2258ee7858827dd0
35M		./ce2dfe71c2d1162a9702be8c48b953a27895451c5cd46cce796711b964e7acfd
20M		./1b579993f447f6544621af9115d836601ac9884e7775044771d770900837bcf4
888K	./20843996d160ed82a99d911d23420c618eabee24634a94d639601f9994ff362f
5.8M	./0399a8f469893441a42f13120493a0cfd70b395f6ea33b91d5a8f1eae71a2174
2.6M	./0e3fccb3996c423cabcf076acac5a22dc87a1e7b17da2216d90444eae83cac3a
9.3M	./20c3a39e678cc4e2b9aa22a35a464e98454dbfc7b432ddd16a4dbe5fc2b41f4a
40K		./62b9e1c854a7e29d6290b0b5e38ba326c684f7596219281894c9f4307819da05
108K	./b28a4278b3b48277d1e148d55387f42fd592953ba8b384e5acca6f89d08e27d2
575M	./22b402958d413d912931f3274172b0f2c5356c3844c942c13330e2adcd20e269
828K	./14a87c1ad6b5fc526948b827eb94777a287a8be31821ec0b5bfcf9e58fd45a61
424M	./5a0f14246e7fce9a15207f6c6d0192a454c99eca3f16c713c218746c5fc94ecc
71M		./a8ca1cce2fa3f6099cd6bf2cea164d3a3adeaef109d9282d8b91df159db87137
173M	./e6e73e04a6f2b251a0750c011fbbb830648bab9e8c78ba5e1e542ad399c9a87f
68M		./fcb3248d62c879d47e8939feb96e4daa21a45dd37add7692f9d98067bf6bffed
24K		./71ccce45e73b881c2ece16bda45ac64ef6db7286ac5ce40988f469c635912ba0
2.5M	./721c770d2db027b7b15363572ad5948944bf60056586a8a5176bd652ec129253
96K		./ed9cb27e109265789da1d6e531c69ff2f93946fc199129d961fb2f187deaf597
2.8M	./9f684d980afc82cb83d6270f361d37308326c9b468dd89ae0a463a15791873a4
504M	./cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7
84K		./f600401f4af806ce8fa53e1fa31011f7a38cc13f5ce9e2df488f8f7fc7a42d1a
164K	./4fa020730940970a42c5dce9e802859c9372455d2b721ab7d7fb924316f9a0b3
2.4G	. //最后这个是总计

4.随便进一个容器文件去

[root@localhost cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7]# tree -L 1
.
├── cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7-json.log
├── checkpoints
├── config.v2.json
├── hostconfig.json
├── hostname
├── hosts
├── mounts
├── resolv.conf
└── resolv.conf.hash

5.查看容器情况
说明:总容量504,全被*631da7-json.log这个文件占完了
实际情况是,这一堆容器的json.logs文件加起来有20个G,
现在看到的都是清空后的容量统计了

[root@localhost cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7]# ll -h
总用量 504M
-rw-r----- 1 root root 504M 9月  18 10:07 cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7-json.log
drwx------ 2 root root    6 9月   7 19:36 checkpoints
-rw------- 1 root root 5.3K 9月  10 11:01 config.v2.json
-rw-r--r-- 1 root root 1.7K 9月  10 11:01 hostconfig.json
-rw-r--r-- 1 root root   13 9月  10 11:01 hostname
-rw-r--r-- 1 root root  175 9月  10 11:01 hosts
drwx------ 3 root root   17 9月   7 19:36 mounts
-rw-r--r-- 1 root root   38 9月  10 11:01 resolv.conf
-rw-r--r-- 1 root root   71 9月  10 11:01 resolv.conf.hash

cad76ef9bb6beadf0c34af6cf614234eddd5dfb18e23a587b390cc10ba631da7-json.log
这个文件夹,就是docker容器的日志文件,该文件会不断的增长,最终导致你linux服务无法使用
无法为立即文档创建临时文件: 设备上没有空间
cd /ho table键都无法使用

#２.处理

#２.１清空该日志文件，*-json.log

正确姿势是:
1.cat /dev/null > *-json.log，(清空文件)
2.当然你也可以通过rm删除后重启docker（不建议）

#3.上述为查找文件流程

#4.清理脚本

!/bin/sh
echo "==================== start clean docker containers logs =========================="
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in logs
do 
echo "cleanlogs:log"
cat /dev/null > $log
done
echo "==================== end clean docker containers logs =========================="