The 3:00 AM Outage Drills: Αντιμετώπιση Εκτάκτων Περιστατικών σε Linux & Docker (Cheatsheet)
Οδηγός άμεσης επέμβασης σε νυχτερινές βλάβες παραγωγής: 100% γεμάτος δίσκος από Docker logs, εξάντληση PIDs από zombie διεργασίες και starvation του connection pool της PostgreSQL.
Έλεγχος περιεχομένου: 2026-11-09
14 min ανάγνωση • Robo Lead Instructor
Όταν χτυπάει το pager στις 3:00 π.μ., η ψυχραιμία και η μεθοδικότητα κάνουν τη διαφορά ανάμεσα σε 5 λεπτά downtime και 5 ώρες καταστροφής.
Προαπαιτούμενα
Εντολές containers και δίσκου (βλ. Docker cheatsheet και Linux SysAdmin cheatsheet).
Drill 1: 100% Disk Full από Docker JSON Logs
Σύμπτωμα: No space left on device, τα services αρνούνται να γράψουν logs ή sessions.
# 1. Έλεγχος διαθέσιμου χώρου ανά partition
df -h
# 2. Εντοπισμός των μεγαλύτερων καταλόγων στο /var/lib/docker
du -sh /var/lib/docker/containers/* | sort -rh | head -n 5
# 3. ΑΣΦΑΛΗΣ εκκαθάριση του log χωρίς επανεκκίνηση του container
truncate -s 0 /var/lib/docker/containers/<container-id>/<container-id>-json.logΜόνιμη πρόληψη στο /etc/docker/daemon.json (μετά: sudo systemctl restart docker· ισχύει για νέα containers):
{
"log-driver": "json-file",
"log-opts": {
"max-size": "10m",
"max-file": "3"
}
}Drill 2: Zombie Processes & PID Table Exhaustion
Σύμπτωμα: fork: Resource temporarily unavailable. Η εντολή top δείχνει ελάχιστη χρήση CPU/RAM, αλλά καμία νέα διεργασία δεν ξεκινά.
# 1. Εντοπισμός zombie διεργασιών (state με Z) — το grep 'Z' πιάνει και τον εαυτό του
ps -eo pid,ppid,stat,cmd | awk '$3 ~ /^Z/'
# 2. Εύρεση του Parent Process ID (PPID) που δεν κάνει wait()
ps -o ppid= -p <zombie-pid>
# 3. Επανεκκινήστε την υπηρεσία του γονέα (π.χ. systemctl restart my-app) ή στείλτε SIGHUP
kill -HUP <parent-pid>
# ΠΟΤΕ kill -9 στο PID 1: αν ο γονέας είναι το PID 1, το HUP δεν θα κάνει reap — κάντε restart στο service, όχι στο initDrill 3: PostgreSQL Connection Pool Starvation
Σύμπτωμα: FATAL: remaining connection slots are reserved for non-replication superuser connections.
-- Εντοπισμός idle connections που κρατούνται ανοιχτά
SELECT pid, usename, client_addr, state, age(clock_timestamp(), query_start)
FROM pg_stat_activity
WHERE state = 'idle in transaction'
ORDER BY age DESC;
-- Τερματισμός κολλημένων sessions — ΠΡΩΤΑ διαβάστε το query τους, ΜΕΤΑ σκοτώστε
-- Ελέγξτε ποια queries θα σκοτώσετε (αποφύγετε migrations/reports μεγάλης διάρκειας):
-- SELECT pid, query, age(clock_timestamp(), query_start) FROM pg_stat_activity WHERE state = 'idle in transaction' ORDER BY age DESC;
SELECT pg_terminate_backend(pid)
FROM pg_stat_activity
WHERE state = 'idle in transaction'
AND pid <> pg_backend_pid()
AND age(clock_timestamp(), query_start) > interval '5 minutes';
-- Μόνιμη λύση: ρυθμίστε PgBouncer `server_idle_timeout` (στο Supavisor: pool_size/pool_mode) αντί για χειροκίνητα kills.Δοκιμάστε ζωντανά στο τερματικό παρακάτω: πληκτρολογήστε εντολές στο πλαίσιο με το $ και πατήστε Enter. Επιτυχία = ο pooler επανεκκινείται (systemctl restart pgbouncer) ή τα idle sessions καθαρίζονται — ο προσομοιωτής επιβεβαιώνει αυτόματα.
Drill 4: OOM-Killed Node (exit 137)
Σύμπτωμα: το Node container επανεκκινείται σε loop και το docker ps δείχνει Exited (137). Ο κωδικός 137 = 128 + 9 = SIGKILL — συνήθως από τον OOM killer του kernel, όχι από εσάς.
# 1. Επιβεβαίωση από τον kernel: ποιος σκότωσε ποιον και γιατί
dmesg -T | grep -i "oom\|killed"
journalctl -k | grep -i oom
# 2. Επιβεβαίωση από το Docker: βγήκε όντως από OOM;
docker inspect --format '{{.State.OOMKilled}}' <container>
# 3. Πόση μνήμη τρώει τώρα (ζωντανή εικόνα)
docker stats --no-streamFix: βάλτε ρητό όριο μνήμης στο container (mem_limit/deploy.resources.limits — χωρίς όριο, ένα leak τρώει όλο τον host), κατεβάστε το heap της Node με NODE_OPTIONS=--max-old-space-size=512 (χαμηλότερα από το container limit, για περιθώριο), και ελέγξτε το swap (δείτε disk & swap) — χωρίς swap, ο OOM killer έρχεται νωρίτερα. Πρόληψη: alert μνήμης πριν το 90% και ανάλυση heap (όχι blind restart) — πλήρης μεθοδολογία στο bottlenecks & OOM (Pro).
Διαδραστική Εξάσκηση: 100% Full Docker Logs Emergency
Δοκιμάστε τώρα ζωντανά στο διαδραστικό τερματικό παρακάτω (ζωντανή εκδοχή του Drill 1). Ο δίσκος /var/lib/docker έχει φτάσει στο 100% και τα web services καταρρέουν (crash). Εντοπίστε το πρόβλημα με df -h και du -sh και απελευθερώστε χώρο μηδενίζοντας το log με truncate -s 0 /var/lib/docker/containers/web-1234/web-1234-json.log ή εκτελώντας docker system prune -f! Πληκτρολογήστε στο πλαίσιο με το $· επιτυχία = ο δίσκος πέφτει κάτω από 100% (ο προσομοιωτής επιβεβαιώνει αυτόματα).
kill -HUP <parent-pid>Ποιο PID δεν σκοτώνετε ποτέ με kill;
Ανακεφαλαίωση
- Γεμάτος δίσκος:
df -h→du→truncate -s 0στο json-log → μόνιμοlog-optsστο daemon.json. - Zombies:
ps -eo pid,ppid,stat,cmd | awk— restart στο service του γονέα, ποτέ kill στο PID 1. - Pool starvation: διαβάστε πρώτα το
query, σκοτώστε μεpid <> pg_backend_pid(), μόνιμη λύση τοserver_idle_timeout. - OOM-killed Node (137): επιβεβαίωση με
dmesg/journalctl -k+OOMKilled, fix με container limit +--max-old-space-size.