خطای postgresql down و could not write lock file "postmaster.pid": No space left on device

[Habili]

امروز یه سرور gitlab ی رو ترابل شوت میکردم که سرویسش بالا نمیآمد. وقتی دستور gitlab-ctl status رو میزدم با خطای postgresql down مواجه میشدم.

# systemctl status mysql
Unit mysql.service could not be found.
root@prod-tools-gitlab-01:~# gitlab-ctl status
run: alertmanager: (pid 19478) 302s; run: log: (pid 753) 1579s
run: gitaly: (pid 19493) 302s; run: log: (pid 749) 1579s
run: gitlab-monitor: (pid 19516) 302s; run: log: (pid 752) 1579s
run: gitlab-workhorse: (pid 19536) 301s; run: log: (pid 742) 1579s
run: logrotate: (pid 19551) 301s; run: log: (pid 746) 1579s
run: nginx: (pid 19566) 300s; run: log: (pid 744) 1579s
run: node-exporter: (pid 19653) 300s; run: log: (pid 745) 1579s
run: postgres-exporter: (pid 19660) 299s; run: log: (pid 748) 1579s
down: postgresql: 0s, normally up, want up; run: log: (pid 741) 1579s
down: prometheus: 0s, normally up, want up; run: log: (pid 750) 1579s
run: redis: (pid 788) 1577s, got TERM; run: log: (pid 740) 1579s
run: redis-exporter: (pid 20600) 233s; run: log: (pid 751) 1579s
run: sidekiq: (pid 23849) 6s; run: log: (pid 747) 1579s
run: unicorn: (pid 23928) 1s; run: log: (pid 743) 1579s 

برای ترابل شوت مشکل کامند gitlab-ctl tail postgresql زدم که خطای کم بودن فضای مصرفی دیسک را میداد.

# gitlab-ctl tail postgresql
==> /var/log/gitlab/postgresql/current <==
2019-02-12_09:05:08.14774 FATAL:  could not write lock file "postmaster.pid": No space left on device
2019-02-12_09:05:09.15754 FATAL:  could not write lock file "postmaster.pid": No space 

بعد دستور df -TH رو زدم که دیدم پارتیشن sd1 هیچی فضای خالی نداره. از توی esx ظرفیت هارد رو افزایش دادم سپس ماشین رو خاموش کردم و با سی دی لایو gparted اومدم بالا و فضایی که در مرحله قبل به ماشنی اضافه کرده بودم رو به اون پارتیشن اختصاص دادم و بعد از اعمال تغییرات ماشین رو ریست کردم که با سیستم عامل خودش بیاد بالا. بعد از بالا اومدن سایز پارتیشن رو چک کردم و مشکل من هم برطرف شده بود.