Mimari ve çalışma modeli
LLM isteğinin toplam süresi tek metrik olarak yeterli değildir. Gateway, retrieval, queue, prefill, ilk token zamanı (TTFT), token başına süre (TPOT), tool çağrıları ve çıktı aktarımı ayrı span'larda ölçülür. Input/output token, model sürümü ve sonuç durumu maliyet ile kapasiteyi aynı trace üzerinde açıklar.
İçerik telemetrisi varsayılan olarak kapalı veya redakte olmalıdır. Prompt/cevap kaydı kişisel veri ve ticari sır taşıyabilir; hash, uzunluk, sınıf ve örnekleme çoğu performans teşhisi için yeterlidir. Tam içerik yalnız onaylı hata ayıklama penceresinde erişim kontrollü ve süreli tutulur.
SLO kullanıcı yoluna göre tanımlanır: interaktif sohbet için p95 TTFT ve p95 TPOT; batch iş için tamamlanma süresi ve token/s; agent için araç başarı oranı ve toplam adım. Sağlayıcı veya model aliası değiştiğinde dashboard boyutları cardinality patlaması yaratmadan sürümlenir.
- 1İstek ve kimlik context'i
- 2Retrieval/tool/model span'ları
- 3Token ve gecikme metrikleri
- 4SLO, alarm ve maliyet geri bildirimi
Tasarım parametreleri
- TTFT ayrımı
- Gateway, retrieval, queue ve prefill sürelerini ayrı span ve histogramlarda tutun.
- TPOT ve throughput
- Streaming aralıklarından TPOT, worker sayaçlarından output token/s üretip kuyrukla ilişkilendirin.
- Maliyet muhasebesi
- Input, cached input, output, embedding, rerank ve tool maliyetini istek/tenant/use-case etiketleriyle hesaplayın.
- İçerik gizliliği
- Prompt ve tool argümanlarını varsayılan kapalı; gerektiğinde redaksiyon, sampling ve kısa saklama ile yönetin.
Hesap ve uygulama örneği
p95 toplam gecikme 9,2 saniye; retrieval 0,4, queue 3,8, prefill 0,7 ve üretim 4,1 saniyeyse önce model hızını değil queue kapasitesini ele alın. Queue süresi trafikle, KV doluluğuyla ve replica sayısıyla korele edilir.
Aylık 120 milyon input, 18 milyon output token; ayrıca 30 milyon embedding token varsa maliyet ayrı birim fiyatlarla hesaplanır. Cached input indirimi yalnız gerçekten cache-hit metriğiyle doğrulanır; faturayı istek sayısına bölmek uzun bağlamlı tenant'ları gizler.
Örnek komutlar: laboratuvar değerlerini değiştirin; kullanmadan önce yetkiyi ve yazılım sürümünü doğrulayın.
otel-check trace --service ai-gateway --required-spans retrieval,model,tool
llm-slo evaluate --window 30m --ttft-p95 900ms --tpot-p95 45ms --error-rate 0.01
llm-cost reconcile --period 2026-10 --group-by tenant,use_case,modelHata teşhisi
| Belirti | Olası neden / ayrım | Doğrulama |
|---|---|---|
| Toplam latency arttı, GPU normal | Retrieval, queue, ağ veya tool süresi artmış olabilir. | Trace waterfall'da span p95 değişimini sürüm ve trafik boyutuyla karşılaştırın. |
| Maliyet artıyor, istek sayısı sabit | Context/output token veya retry oranı yükselmiştir. | Token histogramı, cache hit, tool retry ve model routing değişimini inceleyin. |
| Dashboard yavaşlıyor | Model, prompt, user veya document ID yüksek cardinality label olarak kullanılmıştır. | Kimlikleri trace/log alanına taşıyıp metric label setini sınırlayın. |
Kabul ve doğrulama kontrolleri
- Gateway'den modele trace context aktarımını doğrulayın.
- Queue, TTFT, TPOT ve toplam süreyi aynı saat kaynağıyla ölçün.
- Input/output/cached token sayaçlarını fatura örneğiyle uzlaştırın.
- Hassas içerik kaydını varsayılan kapalı ve süreli yapın.
- SLO alarmını model sürümü ve trafik sınıfıyla test edin.
- Bir hata olayında trace'ten release manifestine ve eval sonucuna geri gidin.
İlgili kavramlar
Telemetri ve zaman eşleştirmesi
Telemetri, sistemin ne yaptığını açıklayan log, metrik ve olay kayıtlarının bütünüdür. Log bir olayın ayrıntısını, metrik zaman içindeki davranışı, dağıtık iz ise isteğin bileşenler arasındaki yolunu gösterir. Saat farkları aynı olayı farklı zamanlarda olmuş gibi gösterebilir. Merkezi zaman senkronizasyonu, kaynak kimliği ve tutarlı saat dilimi kullanın. Alarm tasarımında yalnız eşik değil, ne kadar sürdüğü ve kullanıcıya etkisi de değerlendirilmelidir. Kayıtların kesildiği durum ayrıca izlenmeli; günlük kaydı bulunmaması, olay yaşanmadığı şeklinde yorumlanmamalıdır.
Gecikme dağılımı
Gecikme, bir işlemin başlangıcı ile yanıtı arasındaki süredir. Ortalama değer, az sayıdaki çok yavaş işlemi gizleyebilir; medyan ile p95/p99 gibi yüzdelikler farklı sorulara cevap verir. Ağ RTT, disk bekleme, işlemci kuyruğu ve uygulama işlemesi toplam süreye katkıda bulunur. Ölçümün istemci tarafında mı sunucuda mı yapıldığını yazın. Gecikme artışının trafik yükselmesine, bakım işine veya kapasite sınırına denk gelip gelmediğini karşılaştırın. Bir eşik seçmeden önce normal yük ve yoğun saat için temel davranışı kaydedin.
Bant genişliği ve gerçek aktarım
Hat kapasitesi ile uygulamanın taşıdığı yararlı veri miktarı farklıdır. Protokol başlıkları, şifreleme, yeniden iletim, küçük dosyalar ve disk beklemeleri net hızı azaltır. Bit ile byte birimini karıştırmayın: 1 Gbit/s teorik olarak 125 MB/s seviyesindedir; bu bir uygulama performans garantisi değildir. Aktarım süresini veri miktarı / ölçülen net hız şeklinde hesaplayın. Ölçümü aynı anda ağ, kaynak okuması ve hedef yazması üzerinden yaparak sınırlayıcı bileşeni bulun. Ortalama hız kadar kısa süreli düşüşleri ve diğer işlerin rekabetini de değerlendirin.
Kuyruk ve eşzamanlılık
Kuyruk, bir kaynağın işleyebildiğinden daha hızlı gelen işleri tutar. Eşzamanlılığı artırmak belirli bir noktaya kadar kapasite kullanımını yükseltir; sonra bekleme süresini büyütür. Durağan durumda Little yasası L = λ × W ilişkisidir: ortalama sistemdeki iş sayısı, tamamlanan iş hızı ile ortalama toplam sürenin çarpımıdır. Birimler tutarlı olmalıdır. 2.000 işlem/s ve 5 ms toplam süre yaklaşık 10 eşzamanlı iş demektir. Bu ilişki tasarım tahminidir; kuyruk sınırları, ani yük ve çok değişken servis süreleri ayrıca ölçülmelidir.
Maliyet ölçümünün sınırı
Maliyeti yalnız satın alma veya aylık kaynak bedeli olarak görmeyin. Lisans kapsamı, depolama, veri çıkışı, yedekleme, destek, işletim emeği ve arıza etkisi farklı kalemlerdir. Hesap için aynı hizmet seviyesi, kapasite ve süreyi kullanın; ucuz görünen seçenek başka bir yükümlülüğü dışarıda bırakıyor olabilir. Tahmin ile gerçekleşeni kaynak veya iş birimi bazında karşılaştırın. Taahhütlü modelde kullanım azalması, esnek modelde ise kontrolsüz büyüme riskini değerlendirin. Fiyat ve lisans koşullarını karar günündeki resmî belgelerden doğrulayın.
Yüksek erişilebilirlik ile kurtarma ayrımı
Yüksek erişilebilirlik, belirli arızalarda hizmetin kısa kesintiyle sürmesini hedefler; yedekleme, kaybolan veya bozulan veriyi önceki bir noktadan geri getirir. Bir küme yanlış silinen kaydı diğer düğüme de aktarabilir. Bu nedenle HA ve yedekleme birbirinin yerine geçmez. Hizmetin DNS, kimlik, ağ, depolama ve enerji bağımlılıklarını birlikte düşünün. Başarılı düğüm geçişi tek başına yeterli değildir: kullanıcı oturumunun, uygulama yazmasının ve dış entegrasyonların geçiş sonrası davranışı da ölçülmelidir.
Birincil teknik dokümantasyon
Doz Teknoloji teknik ekibi tarafından aşağıdaki birincil kaynaklar temel alınarak hazırlanmıştır. Hesaplar ve laboratuvar senaryoları varsayımlarını belirtir; uygulamadan önce kullanılan ürün sürümünü doğrulayın.