Prometheus, sunuculardan ve uygulamalardan metrik toplayıp zaman serisi olarak saklayan açık kaynak bir izleme sistemi. Grafana ise bu metrikleri okuyup grafiklere, panolara ve alarmlara çeviren bir görselleştirme aracı. Prometheus nedir, Grafana nedir diye ayrı ayrı aranıyorlar ama pratikte çoğu zaman birlikte kuruluyorlar: biri veriyi topluyor, diğeri gösteriyor.
Prometheus ve Grafana, DevOps tarafında kullandığım araçlar. Grafana, Prometheus ve node_exporter'ı Docker Compose ile ayağa kaldıran grafana-docker-compose adında açık kaynak bir stack'im de var. Bu yazıda önce iki aracı ayrı ayrı anlatıyorum, sonra node_exporter ile nasıl bir araya geldiklerini ve küçük bir kurulumu gösteriyorum.
Prometheus nedir?
Prometheus bir izleme ve alarm sistemi. 2012'de SoundCloud'da başladı, 2016'da da Kubernetes'ten sonra Cloud Native Computing Foundation'a katılan ikinci proje oldu. Yaptığı iş üç adımda özetlenebilir:
- Belirlediğiniz hedeflere düzenli aralıklarla HTTP isteği atıp metrikleri çekiyor.
- Bu metrikleri kendi zaman serisi veritabanında saklıyor.
- PromQL adlı sorgu diliyle bu verinin sorgulanmasını ve kurallara göre alarm üretilmesini sağlıyor.
Metrik ve zaman serisi ne demek?
Metrik, zaman içinde ölçülen bir sayı. CPU kullanımı, boş bellek, saniyedeki istek sayısı, bir API'nin cevap süresi. Prometheus her ölçümü bir zaman damgasıyla saklıyor ve bu sayılar dizisine zaman serisi deniyor.
Her metriğin bir adı ve etiketleri (label) var:
node_cpu_seconds_total{cpu="0",mode="idle"} 183245.67
node_memory_MemAvailable_bytes 4.21e+09
http_requests_total{method="GET",status="200"} 10432
Etiketler sayesinde aynı metriği farklı boyutlarda sorgulayabiliyorsunuz: tek bir CPU çekirdeği, tüm sunucular, yalnızca 500 dönen istekler.
Pull modeli: Prometheus metrikleri çekiyor
Çoğu izleme aracında uygulama veriyi merkeze gönderiyor (push). Prometheus tersini yapıyor: izlenen her hedef /metrics gibi bir adreste metriklerini düz metin olarak sunuyor, Prometheus da o adresi belirli aralıklarla ziyaret edip veriyi alıyor. Buna scrape deniyor.
Bu modelin pratik bir faydası var: bir hedef cevap vermediğinde Prometheus bunu hemen fark ediyor. Her hedef için otomatik olarak bir up metriği tutuyor, 1 ayakta, 0 ulaşılamıyor demek. Kısa süren işler (örneğin bir cron job) scrape edilemeyecek kadar çabuk bittiği için onlar için Pushgateway adında bir ara katman var.
Prometheus neye uygun değil?
Prometheus'un kendi dokümanı da söylüyor: yüzde yüz doğruluk gereken işler için tasarlanmadı. İstek başına faturalandırma gibi bir şeyi Prometheus verisine dayandırmayın. Varsayılan olarak veriyi 15 gün saklıyor ve yerel depolaması kümelenmiş ya da yedekli değil. Uzun süreli saklama gerekiyorsa retention süresini artırmak ya da uzak bir depolamaya yazmak gerekiyor.
Log toplamak da Prometheus'un işi değil. Metrikler "ne kadar" sorusuna, loglar "ne oldu" sorusuna cevap veriyor. Log için ELK stack ya da Grafana Loki gibi ayrı araçlar kullanılıyor.
Exporter nedir, node_exporter ne işe yarar?
Prometheus'un metrik çekebilmesi için hedefin metriklerini Prometheus'un anladığı formatta sunması gerekiyor. Her yazılım bunu kendiliğinden yapmıyor. Exporter, bir sistemin bilgilerini okuyup Prometheus formatında sunan küçük bir program.
node_exporter bunların en bilineni. Linux sunucunun CPU, bellek, disk, dosya sistemi ve ağ metriklerini okuyup varsayılan olarak 9100 portunda sunuyor. Kurduktan sonra http://sunucu:9100/metrics adresini açtığınızda yüzlerce satırlık metrik listesini görüyorsunuz.
Başka exporter'lar da var: Docker container'larının metrikleri için cAdvisor, PostgreSQL için postgres_exporter, web sitelerini dışarıdan kontrol etmek için blackbox_exporter. Kendi uygulamanızın metriklerini sunmak için de exporter yazmanız gerekmiyor. Prometheus'un client kütüphaneleriyle (Node.js için prom-client) uygulamanıza bir /metrics endpoint'i ekliyorsunuz.
Grafana nedir?
Grafana, farklı veri kaynaklarından gelen veriyi panolarda (dashboard) gösteren açık kaynak bir görselleştirme aracı. Kendi başına veri toplamıyor ve saklamıyor. Prometheus, PostgreSQL, Elasticsearch, Loki gibi kaynaklara bağlanıp onlara sorgu atıyor, sonucu grafik, tablo ya da tek bir büyük sayı olarak çiziyor.
Grafana ile yapabildikleriniz:
- Bir sunucunun CPU, bellek ve disk kullanımını tek bir ekranda görmek
- Aynı panoda birden fazla veri kaynağını yan yana koymak
- Bir değer belirli bir eşiği geçtiğinde e-posta, Slack ya da başka bir kanala alarm göndermek
- Hazır panoları Grafana'nın sitesinden içe aktarmak
Grafana varsayılan olarak 3000 portunda açılıyor ve ilk girişte kullanıcı adı ve şifre admin. İlk girişte şifreyi değiştirmenizi istiyor. Sunucuyu internete açmadan önce bunu mutlaka yapın.
Prometheus ve Grafana birlikte nasıl çalışır?
Akış şöyle:
node_exporter (:9100) <--- scrape --- Prometheus (:9090) <--- PromQL --- Grafana (:3000)
sunucunun metrikleri metrikleri saklar panoları çizer
|
v
Alertmanager (:9093)
e-posta, Slack bildirimi
- node_exporter sunucunun metriklerini 9100 portunda sunuyor.
- Prometheus her birkaç saniyede bir bu adresi scrape edip veriyi saklıyor.
- Grafana'ya Prometheus'u veri kaynağı olarak ekliyorsunuz. Panodaki her grafik, Prometheus'a bir PromQL sorgusu atıyor.
- Alarm kuralları Prometheus'ta tanımlanıyorsa, tetiklenen alarmlar Alertmanager'a gidiyor ve o da bildirimi gönderiyor.
Rollerin ayrı olması işleri kolaylaştırıyor. Prometheus'u değiştirmeden Grafana'yı güncelleyebiliyor, aynı Grafana'ya ikinci bir veri kaynağı ekleyebiliyor, birden fazla sunucuyu tek bir Prometheus'tan izleyebiliyorsunuz.
Docker Compose ile Prometheus, Grafana ve node_exporter kurulumu
En hızlı kurulum Docker Compose ile. Docker'a yeniyseniz önce Docker nedir yazısına bakabilirsiniz. Boş bir klasörde iki dosya oluşturun.
docker-compose.yml:
services:
grafana:
image: grafana/grafana:13.3.0
ports:
- "3000:3000"
volumes:
- grafana_data:/var/lib/grafana
restart: unless-stopped
prometheus:
image: prom/prometheus:v3.16.0
command:
- --config.file=/etc/prometheus/prometheus.yml
ports:
- "9090:9090"
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml
- prometheus_data:/prometheus
restart: unless-stopped
node_exporter:
image: prom/node-exporter:v1.12.1
command:
- --path.rootfs=/host
volumes:
- /:/host:ro,rslave
restart: unless-stopped
volumes:
grafana_data:
prometheus_data:
prometheus.yml:
global:
scrape_interval: 15s
scrape_configs:
- job_name: "node"
static_configs:
- targets: ["node_exporter:9100"]
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]
Başlatın:
docker compose up -d
Birkaç not:
- node_exporter'a sunucunun kök dosya sistemini salt okunur olarak bağlıyoruz (
/:/host:ro,rslave) ve--path.rootfs=/hostile oraya bakmasını söylüyoruz. Yoksa sunucuyu değil container'ın kendisini ölçüyor. - Bu haliyle ağ metrikleri container'ın kendi ağından geliyor. node_exporter'ın README'si sunucunun ağını ve süreçlerini görmek için container'ı
--net="host"ve--pid="host"ile çalıştırmayı öneriyor. O durumda Prometheus'a hedef olarak servis adı yerine sunucunun IP adresini yazmanız gerekiyor. - Prometheus node_exporter'a
node_exporter:9100adıyla ulaşıyor, çünkü Compose iki servisi aynı network'e koyuyor. node_exporter'ın portunu dışarı açmadım, Prometheus'un erişmesi yetiyor. - Image etiketleri sabit.
latestkullanırsanız bir gündocker compose pullsonrası beklemediğiniz bir ana sürüme geçebilirsiniz.
Kontrol etmek için http://localhost:9090/targets adresini açın. node ve prometheus hedefleri UP görünmeli.
Grafana'ya Prometheus'u bağlamak
http://localhost:3000adresineadmin/adminile girin ve şifreyi değiştirin.- Sol menüden Connections > Add new connection sayfasına gidin, Prometheus'u aratıp seçin ve sağ üstteki Add new data source butonuna basın.
- URL olarak
http://prometheus:9090yazın. Grafana da aynı Compose network'ünde olduğu için servis adı çalışıyor. Save & test deyin. - Dashboards > New > Import dashboard ile Grafana'nın sitesindeki hazır bir panoyu içe aktarın. node_exporter için en çok kullanılanı Node Exporter Full, ID'si
1860. ID'yi yazıp Load deyin, veri kaynağı olarak Prometheus'u seçip Import ile bitirin.
Birkaç saniye içinde CPU, bellek, disk ve ağ grafikleri dolmaya başlıyor.
Basit PromQL örnekleri
Hazır pano işinizi görse de kendi grafiğinizi ya da alarmınızı yazmak için biraz PromQL bilmek gerekiyor. Prometheus arayüzünün Query sekmesinde ya da Grafana'da deneyebilirsiniz.
Hangi hedefler ayakta:
up
Sunucu başına yüzde olarak CPU kullanımı, son 5 dakikanın ortalaması:
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
node_cpu_seconds_total sürekli artan bir sayaç. rate(...[5m]) son 5 dakikada saniyede ne kadar arttığını hesaplıyor. Boşta geçen zamanın oranını 100'den çıkarınca kullanım yüzdesi kalıyor.
Kullanılan bellek yüzdesi:
(1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100
Kök dosya sisteminde kalan boş alan yüzdesi:
node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100
Bu son sorguyu bir alarm kuralına çevirip "boş alan yüzde 10'un altına düşünce haber ver" demek iyi bir ilk alarm. Dolan bir disk, sunucuyu çoğu zaman hiçbir uyarı vermeden durduruyor.
Tam stack: grafana-docker-compose
Yukarıdaki kurulum başlamak için yeterli. Daha eksiksiz bir şey isterseniz grafana-docker-compose reposunda şunlar hazır:
- Prometheus veri kaynağı ve Node Exporter panosu otomatik tanımlı (provisioned) bir Grafana
- node_exporter, cAdvisor ve Prometheus'un kendisini scrape eden, varsayılan 30 gün saklayan bir Prometheus
- Sunucu düşmesi, CPU, bellek, disk alanı, ağ hataları ve sistem yükü için alarm kuralları
- Kritik alarmları ayrı bir alıcıya yönlendiren Alertmanager, e-posta ve Slack webhook örnekleriyle
- Docker container metrikleri için cAdvisor
Kurulum:
git clone https://github.com/halitsever/grafana-docker-compose.git
cd grafana-docker-compose
cp .env.example .env
docker compose up -d
.env içinde Grafana admin şifresini değiştirin. Bu repoda Grafana 1296 portunda açılıyor. Adım adım anlatımı ve ekran görüntüleriyle Grafana Docker Compose yazısında bulabilirsiniz.
Sunucularınız için izleme ya da altyapı kurulumunda yardım arıyorsanız freelance çalıştığım işlere bakabilirsiniz.
Sık sorulan sorular
Prometheus ile Grafana arasındaki fark ne?
Prometheus metrikleri toplayıp saklıyor ve sorgulamayı sağlıyor. Grafana veri saklamıyor, Prometheus gibi kaynaklardan aldığı veriyi görselleştiriyor. Biri veritabanı, diğeri ekran.
Grafana Prometheus olmadan kullanılabilir mi?
Evet. Grafana PostgreSQL, MySQL, Elasticsearch, Loki ve daha birçok veri kaynağına bağlanabiliyor. Prometheus en yaygın eşleşme, ama zorunlu değil.
Prometheus ücretsiz mi?
Evet, Prometheus açık kaynak ve kendi sunucunuzda ücretsiz çalıştırabiliyorsunuz. Grafana'nın da kendi sunucunuza kurabileceğiniz açık kaynak sürümü var. Grafana Labs ayrıca barındırılan bir bulut hizmeti sunuyor, onun koşulları için kendi fiyatlandırma sayfasına bakın.
Kaç sunucuyu tek bir Prometheus ile izleyebilirim?
Her sunucuya bir node_exporter kurup hepsini prometheus.yml içindeki targets listesine eklemeniz yeterli. Küçük ve orta ölçekli kurulumlarda tek bir Prometheus rahatça yetiyor.
Prometheus logları da toplar mı?
Hayır. Prometheus sayısal metrikler için. Loglar için Grafana Loki ya da ELK stack gibi bir araç gerekiyor, Grafana bunları da aynı panoda gösterebiliyor.