Φόρτωση περιεχομένου...
Φόρτωση περιεχομένου...
Μάθετε να γράφετε κανόνες alerting που δεν ξυπνούν άδικα, να στέλνετε ειδοποιήσεις με Alertmanager και να ορίζετε SLOs με error budgets.
Dashboard χωρίς alerting είναι ντοκιμαντέρ: το βλέπετε αφού έγινε το κακό. Το alerting σε ξυπνά εγκαίρως — αρκεί να χτυπά για συμπτώματα που νοιάζουν τον χρήστη, όχι για κάθε μικροδιακύμανση.
Οι κανόνες ζουν σε αρχείο που φορτώνει ο Prometheus. Το κρίσιμο πεδίο είναι το for: πόση ώρα πρέπει να ισχύει η συνθήκη πριν χτυπήσει:
groups:
- name: web
interval: 30s
rules:
- alert: HighErrorRate
expr: |
sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m])) > 0.05
for: 5m
labels:
severity: page
annotations:
summary: 'High 5xx rate on web'Χωρίς for, ένα μοναδικό άτυχο λεπτό σας ξυπνάει άδικα. Λογικές αφετηρίες: 5xx πάνω από 5% για 5 λεπτά (σελίδα), p99 πάνω από 1 δευτερόλεπτο για 10 λεπτά (εισιτήριο), δίσκος πάνω από 85% (εισιτήριο), στόχος down πάνω από 2 λεπτά (σελίδα).
Δύο σοβαρότητες αρκούν: page (ξύπνα άνθρωπο τώρα — χρήστες επηρεάζονται) και ticket (κοίταξέ το σε εργάσιμες ώρες). Ο Alertmanager δρομολογεί:
global:
resolve_timeout: 5m
route:
receiver: 'team-webhook'
group_wait: 30s
group_interval: 5m
repeat_interval: 3h
routes:
- matchers: ['severity = "page"']
receiver: 'team-webhook'
repeat_interval: 30m
receivers:
- name: 'team-webhook'
webhook_configs:
- url: 'http://127.0.0.1:5001/hooks/alerts'
send_resolved: trueΤο send_resolved: true στέλνει και την «έληξε» ειδοποίηση — αλλιώς δεν μαθαίνετε ποτέ ότι το πρόβλημα πέρασε. Ένας ελάχιστος δέκτης σε Node:
import http from 'node:http';
const server = http.createServer((req, res) => {
let body = '';
req.on('data', (chunk) => { body += chunk; });
req.on('end', () => {
const alert = JSON.parse(body);
console.log(JSON.stringify({ event: 'alert', count: alert.alerts.length }));
res.writeHead(200);
res.end('ok');
});
});
server.listen(5001, '127.0.0.1');Αποθηκεύστε τους κανόνες της §1 στο ./rules/web.yml, δηλώστε τα στο prometheus.yml και σηκώστε τον Alertmanager δίπλα στον Prometheus:
# prometheus.yml — προσθήκη δίπλα στα scrape_configs
rule_files:
- '/etc/prometheus/rules/*.yml'
alerting:
alertmanagers:
- static_configs:
- targets: ['127.0.0.1:9093']# docker-compose.yml — προσθήκη (και νέο volume στο prometheus service για τους κανόνες)
services:
prometheus:
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
- ./rules:/etc/prometheus/rules:ro
- prometheus-data:/prometheus
alertmanager:
image: prom/alertmanager:v0.34.2
network_mode: host
command:
- '--config.file=/etc/alertmanager/alertmanager.yml'
- '--web.listen-address=127.0.0.1:9093'
volumes:
- ./alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro
restart: unless-stoppedΜε network_mode: host ο Alertmanager βλέπει το webhook του δέκτη στο 127.0.0.1:5001 (όπως ο Prometheus τους στόχους του)· το δικό του UI μένει κλειδωμένο στο loopback με --web.listen-address=127.0.0.1:9093.
Το SLO είναι η υπόσχεση σε αριθμό: «99,9% των requests πετυχαίνουν μέσα σε 30 μέρες». Το error budget είναι πόση αποτυχία αντέχει η υπόσχεση: το 0,1% των requests του μήνα (με 10 εκατ. requests, 10.000 αποτυχημένα). Με σταθερή κίνηση αυτό ισοδυναμεί περίπου με 0,1% × 43.200 λεπτά = 43,2 λεπτά πλήρους διακοπής· η προσέγγιση βοηθά τη διαίσθηση, αλλά ο λογαριασμός γίνεται πάντα με πλήθος requests.
Όσο έχετε budget, ρισκάρετε (deploys, πειράματα). Όταν εξαντληθεί, παγώνετε τα features και ρίχνετε δουλειά στην αξιοπιστία. Αυτός είναι ολόκληρος ο μηχανισμός: ένας αριθμός που αποφασίζει αν η ομάδα χτίζει ή σταθεροποιεί.
Συνδέστε το με alerting: burn-rate alert όταν καταναλώνετε το μηνιαίο budget σε ώρες αντί για μέρες — π.χ. 5% σφάλματα για 5 λεπτά τρώει budget 50 φορές ταχύτερα από το επιτρεπτό.
Ένα alert που ξυπνά άνθρωπο στις 3:00 AM χωρίς οδηγίες είναι μισή δουλειά. Κάθε κανόνας οφείλει να δείχνει το runbook του — το έγγραφο «τι κάνω τώρα»:
# Προσθήκη στον κανόνα HighErrorRate της §1
annotations:
summary: 'High 5xx rate on web'
description: '5xx πάνω από 5% για 5 λεπτά στο web.'
runbook_url: 'https://example.com/runbooks/high-error-rate'Το runbook_url εμφανίζεται στην ειδοποίηση (και στο Alertmanager UI) — ένα κλικ μακριά από τη λύση. Δομή runbook (μία σελίδα, πέντε επικεφαλίδες):
Κανόνας: κανένα alert χωρίς runbook. Αν δεν ξέρετε τι θα κάνει ο on-call όταν χτυπήσει, ο κανόνας δεν είναι έτοιμος. Δείτε το alerting rules config.
console.log(10000000 / 1000);Με SLO 99,9% και 10 εκατ. requests το μήνα, πόσα αποτυχημένα requests αντέχει το error budget (0,1%);
rule_files + alerting στο prometheus.yml, volume ./rules στο prometheus service, και Alertmanager στο loopback.for (υπομονή), σοβαρότητα page έναντι ticket, send_resolved: true.annotations.runbook_url): σύμπτωμα → διάγνωση → fix → επαλήθευση → escalate.