Ana içeriğe geç

SecuraWall.com

E-posta güvenliği ve sürekliliği

Keşfedin

Sorun Giderme · Veritabanları

PostgreSQL Extended Statistics ile Yanlış Satır Tahmini Teşhisi

PostgreSQL planlayıcı, filtrelerin satır sayısını tahmin ederek join sırası, join algoritması ve index/seq scan seçer. Tek sütun istatistikleri, ilişkili iki koşulu varsayılan olarak…

Teknik gözden geçirme:

Mimari ve çalışma modeli

PostgreSQL planlayıcı, filtrelerin satır sayısını tahmin ederek join sırası, join algoritması ve index/seq scan seçer. Tek sütun istatistikleri, ilişkili iki koşulu varsayılan olarak büyük ölçüde bağımsız değerlendirebilir. Şehir ve posta kodu gibi bağımlı sütunlarda bu varsayım tahmini katlayarak küçültebilir veya büyütebilir. `CREATE STATISTICS` ile dependencies, ndistinct ve MCV bilgisi toplanarak belirli sütun grupları için daha doğru seçicilik sağlanabilir.

Önce problemi `EXPLAIN (ANALYZE, BUFFERS, SETTINGS)` ile kanıtlayın. Her plan düğümünde estimated rows ile actual rows oranını bulun ve ilk büyük sapmanın oluştuğu filtre veya join'i belirleyin. En üstteki sapma alttaki hataların çarpımı olabilir; yalnız yavaş düğüme index eklemek kök nedeni düzeltmez. Parametreli sorgu, prepared statement generic planı ve güncel olmayan ANALYZE durumu da benzer belirti üretir.

Dependencies, bir sütun değerinin diğerini ne ölçüde belirlediğini modellemeye yardım eder. `ndistinct`, GROUP BY veya birden çok sütunun farklı kombinasyon sayısına yarar. MCV, sık görülen sütun kombinasyonlarını saklar ve belirli ortak değerlerde seçiciliği iyileştirir. Her sütun çiftine istatistik oluşturmak planlama ve ANALYZE maliyetini artırır; yalnız tekrarlanan sorgularda birlikte kullanılan, anlamlı korelasyonu olan grupları seçin.

İstatistik nesnesini oluşturduktan sonra `ANALYZE` çalıştırılmadan veri toplanmaz. `default_statistics_target` veya nesne hedefi, örnekleme ve MCV ayrıntısını etkiler; yüksek değer otomatik olarak daha iyi plan garantilemez. Önce sabit bir sorgu setiyle tahmin oranı, plan şekli, buffer ve süreyi karşılaştırın. Yeni plan daha kötüleşirse nesneyi kaldırabilmek için adı, gerekçeyi ve önceki planı değişiklik kaydında tutun.

  1. 1Yavaş sorgu ve EXPLAIN kanıtı
  2. 2İlk tahmin sapması ve sütun korelasyonu
  3. 3CREATE STATISTICS ve ANALYZE
  4. 4Plan/regresyon doğrulaması ve yaşam döngüsü
Extended statistics yalnız seçilmiş sütun ilişkilerini öğretir; önce ilk tahmin sapmasını bulun, sonra doğru istatistik türünü ekleyin.

Tasarım parametreleri

Sapma oranı
İlk hatalı düğümde max(actual,estimated)/min(actual,estimated) oranını kaydedin.
İstatistik türü
Bağımlılık, kombinasyon sayısı veya ortak değer sorununa göre dependencies, ndistinct veya mcv seçin.
Sütun grubu
Aynı sorgularda birlikte filtrelenen ve iş kuralıyla ilişkili sütunları sınırlı tutun.
Örnekleme hedefi
ANALYZE süresi, katalog boyutu ve tahmin iyileşmesini birlikte ölçün.
Plan kararlılığı
Prepared/generic plan, parametre dağılımı ve sürüm farklarını regresyon setine dahil edin.

Hesap ve uygulama örneği

10 milyon satırlı tabloda `country='TR' AND city='Izmir'` koşulu için tekil seçicilikler 0,10 ve 0,01 ise bağımsız varsayım 10.000 satır tahmin edebilir. Gerçekte 70.000 satır varsa tahmin yedi kat düşüktür. Dependencies veya MCV istatistiği, veri dağılımına göre bu farkı azaltabilir.

Plan düğümünde estimated 120, actual 48.000 ise sapma 400 kattır. İstatistik sonrası estimated 41.000 ve actual 48.000 olması planın doğru join seçmesine yardım edebilir. Başarıyı yalnız süreyle değil estimate ratio, buffer read ve plan shape ile kaydedin.

Örnek komutlar: laboratuvar değerlerini değiştirin; kullanmadan önce yetkiyi ve yazılım sürümünü doğrulayın.

EXPLAIN (ANALYZE, BUFFERS, SETTINGS)
SELECT * FROM orders WHERE country='TR' AND city='Izmir';
CREATE STATISTICS st_orders_geo (dependencies, mcv)
ON country, city FROM orders;
ANALYZE orders;
SELECT statistics_name, kinds FROM pg_stats_ext WHERE tablename='orders';

Hata teşhisi

BelirtiOlası neden / ayrımDoğrulama
İstatistik var, plan değişmiyorANALYZE çalışmamış, sorgu yapısı istatistiği kullanmıyor veya generic plan tutuluyor olabilir.`pg_statistic_ext`, analyze zamanı ve custom/generic planı karşılaştırın.
Tahmin iyileşti, sorgu yavaşladıYeni plan disk dağılımı, cache veya paralellikte daha kötü olabilir.BUFFERS, WAL, I/O timing ve tekrarlı sıcak/soğuk testleri karşılaştırın.
ANALYZE çok uzadıYüksek hedef veya fazla geniş istatistik nesneleri örnekleme maliyetini artırmış olabilir.Nesne başına kullanım kanıtını inceleyip hedefi ve sütun grubunu daraltın.

Kabul ve doğrulama kontrolleri

  1. EXPLAIN ANALYZE ile ilk büyük estimate/actual sapmasını bulun.
  2. Sorgudaki ilgili sütunların veri korelasyonunu ölçün.
  3. Uygun dependencies, ndistinct veya mcv nesnesini oluşturun.
  4. ANALYZE çalıştırıp katalogda veri oluştuğunu doğrulayın.
  5. Aynı parametre setinde plan, buffer ve süreyi karşılaştırın.
  6. Regresyon, sahiplik ve kaldırma koşulunu değişiklik kaydına ekleyin.

İlgili kavramlar

İndeks ve sorgu planı

İndeks, uygun sorgularda taranacak veriyi azaltabilir; her yeni indeks yazma, bakım ve depolama maliyeti getirir. Sütun sırası, seçicilik, filtre ve sıralama gereksinimi birlikte değerlendirilir. Sorgu yavaşlığını yalnız indeks yokluğuna bağlamayın: yanlış tahmin, kilit beklemesi, disk gecikmesi veya gereksiz veri taşıma da neden olabilir. Temsilî sorgunun yürütme planını ve gerçek satır sayılarını inceleyin. Değişikliğin okuma kazancını, yoğun yazma sırasında oluşturduğu maliyetle birlikte ölçün; üretimde kontrolsüz bakım işlemleri başlatmayın.

Kapasite ve kullanılabilir pay

Ham kapasite ile uygulamanın kullanabileceği kapasite aynı değildir. RAID veya erasure coding, dosya sistemi, ayrılmış alan, metadata, snapshot ve büyüme payı ayrı kalemlerdir. TB ile TiB gösterimi de görünür sayıyı değiştirir. Hesabı birimleriyle yazın ve önce kullanılabilir korumalı kapasiteyi, sonra işletim rezervini çıkarın. Ortalama doluluğu izlemek kadar büyüme eğimini izlemek de önemlidir. Tahmini dolma tarihi, yeni kapasiteyi satın alma ve devreye alma süresinden daha uzakta tutulmalıdır.

Gecikme dağılımı

Gecikme, bir işlemin başlangıcı ile yanıtı arasındaki süredir. Ortalama değer, az sayıdaki çok yavaş işlemi gizleyebilir; medyan ile p95/p99 gibi yüzdelikler farklı sorulara cevap verir. Ağ RTT, disk bekleme, işlemci kuyruğu ve uygulama işlemesi toplam süreye katkıda bulunur. Ölçümün istemci tarafında mı sunucuda mı yapıldığını yazın. Gecikme artışının trafik yükselmesine, bakım işine veya kapasite sınırına denk gelip gelmediğini karşılaştırın. Bir eşik seçmeden önce normal yük ve yoğun saat için temel davranışı kaydedin.

Telemetri ve zaman eşleştirmesi

Telemetri, sistemin ne yaptığını açıklayan log, metrik ve olay kayıtlarının bütünüdür. Log bir olayın ayrıntısını, metrik zaman içindeki davranışı, dağıtık iz ise isteğin bileşenler arasındaki yolunu gösterir. Saat farkları aynı olayı farklı zamanlarda olmuş gibi gösterebilir. Merkezi zaman senkronizasyonu, kaynak kimliği ve tutarlı saat dilimi kullanın. Alarm tasarımında yalnız eşik değil, ne kadar sürdüğü ve kullanıcıya etkisi de değerlendirilmelidir. Kayıtların kesildiği durum ayrıca izlenmeli; günlük kaydı bulunmaması, olay yaşanmadığı şeklinde yorumlanmamalıdır.

Bağımlılık ve yeniden başlatma sırası

Bir hizmet çoğu zaman kimlik, DNS, zaman, ağ, veritabanı ve lisans servislerine bağlıdır. Bağımlılıkları yalnız cihaz listesi olarak değil, hangi hizmetin hangi koşulla çalışabildiğini gösteren bir grafik olarak kaydedin. Hizmetlerin yeniden başlatılma sırası buna göre belirlenir; bazı döngüsel bağımlılıklar özel acil erişim gerektirir. Çalışan altyapı bileşenleri ile işin yeniden başlayabildiği anı ayırın. Her bağımlılığa sorumlu, doğrulama yöntemi ve alternatif erişim yolu atayın. Uçtan uca testte bir bileşeni bilerek erişilemez hale getirerek varsayımları sınayın.

Transaction sınırı

Transaction, uygulamanın belirli işlemleri birlikte başarılı veya başarısız kabul ettiği mantıksal birimdir. Veritabanı içindeki atomiklik, e-posta gönderimi veya farklı servislerdeki değişikliklerin otomatik olarak aynı atomik kapsamda olduğu anlamına gelmez. Commit noktası ve hata sonrasında tekrar denemenin davranışı açık olmalıdır. Aynı isteğin iki kez işlenmesini önlemek için idempotency gereksinimini değerlendirin. Testte ağ kesintisi ve bağlantı kopmasını commit öncesi ve sonrasında ayrı uygulayın; istemcinin hata alması işlemin kesinlikle başarısız olduğu anlamına gelmeyebilir.

Birincil teknik dokümantasyon

Doz Teknoloji teknik ekibi tarafından aşağıdaki birincil kaynaklar temel alınarak hazırlanmıştır. Hesaplar ve laboratuvar senaryoları varsayımlarını belirtir; uygulamadan önce kullanılan ürün sürümünü doğrulayın.

Bilgi Merkezi

Kurumsal IT Ürün Satışı, Lisanslama ve Kurulum
Kurumsal IT Proje & Çözüm Senaryoları
Tüm ilgili içerikleri görüntüleyin
WhatsApp'tan Yazın
Kopyalandı!