Mimari ve çalışma modeli
NUMA sisteminde her CPU soketi, yerel bellek denetleyicisine diğer düğümlerden daha düşük gecikmeyle erişir. KVM misafiri bir NUMA düğümünün vCPU'larında çalışırken belleği başka düğümden alırsa uzak bellek trafiği ve ara bağlantı baskısı artar. vCPU pinning işlemci yerleşimini, `numatune` bellek düğümünü, huge pages ise sayfa boyutu ve ayırma modelini belirler. Üçü birlikte tasarlanmadığında tek tek doğru görünen ayarlar gecikmeyi kötüleştirebilir.
Önce fiziksel topolojiyi ve iş yükünü ölçün. `lscpu -e`, `numactl -H` ve libvirt capability çıktısı CPU, sibling ve NUMA eşlemesini verir. SMT kardeşlerini bağımsız fiziksel çekirdek saymayın. Gecikme duyarlı bir VM için vCPU'ları aynı düğümdeki çekirdeklere, emulator thread'i ve I/O thread'lerini ayrı bir housekeeping kümesine yerleştirmek daha öngörülebilir sonuç verir. Host hizmetleri için çekirdek ve bellek payı bırakılmalıdır.
HugeTLB sayfaları TLB baskısını azaltabilir ve belleği önceden ayırarak gecikme değişkenliğini düşürebilir. Ancak 1 GiB veya 2 MiB sayfalar esnek normal bellek havuzundan ayrılır; yanlış boyut hostu sıkıştırabilir veya VM başlatmayı engelleyebilir. VM belleği, QEMU ek yükü, vhost/I/O buffers ve host rezervi ayrı hesaplanmalıdır. NUMA başına yeterli sayfa ayrılmazsa strict binding ile VM yalnız belirli düğümde başarısız olabilir.
Kurulumdan önce taban ölçümü alın, tek VM ile pilot yapın ve geri dönüş XML'ini saklayın. CPU seti, memory backing ve `numatune` aynı değişiklik penceresinde uygulanabilir; fakat her birinin etkisini ayrı sayaçla izleyin. `numastat -p`, `/proc/meminfo`, perf ve hypervisor steal/ready benzeri metrikler uzak bellek, hugepage kullanımı ve CPU beklemesini gösterir. Canlı göç, hotplug ve ballooning gereksinimleri huge pages/pinning kısıtlarıyla ayrıca test edilmelidir.
- 1Fiziksel NUMA ve CPU sibling haritası
- 2vCPU/emulator/I/O thread pinning
- 3NUMA bellek politikası ve huge pages
- 4Yük testi, sayaçlar ve geri dönüş
Tasarım parametreleri
- CPU topolojisi
- Soket, çekirdek, thread ve NUMA düğüm eşlemesini fiziksel sibling bilgisiyle çıkarın.
- Host rezervi
- QEMU emulator, I/O thread, kernel ve yönetim ajanları için pinlenmemiş veya ayrılmış kaynak bırakın.
- Bellek bütçesi
- VM belleği yanında QEMU ve I/O ek yükünü, host page cache gereksinimini hesaplayın.
- Sayfa boyutu
- 2 MiB ve 1 GiB seçeneklerini destek, parçalanma, ayırma zamanı ve geri dönüş açısından değerlendirin.
- İşletim sınırı
- Canlı göç, NUMA hotplug, ballooning ve overcommit beklentisini pilotta doğrulayın.
Hesap ve uygulama örneği
İki NUMA düğümlü hostta her düğüm 128 GiB ise 96 GiB VM için 48 GiB/düğüm otomatik dağılım yerine iş yükünün vCPU yerleşimiyle aynı düğümde 96 GiB ayırmak uzak erişimi azaltabilir. Ancak o düğümde QEMU ve host rezervi kalmıyorsa strict politika VM başlangıcını engeller.
64 GiB bellek için 2 MiB sayfa teorik olarak 32.768 sayfa gerektirir. Ek yük ve başka VM'ler için pay eklemeden tam sayıyı ayırmak yetersiz olabilir. `HugePages_Free`, `HugePages_Rsvd` ve düğüm başına `/sys/devices/system/node/node*/hugepages` değerlerini VM öncesi/sonrası karşılaştırın.
Örnek komutlar: laboratuvar değerlerini değiştirin; kullanmadan önce yetkiyi ve yazılım sürümünü doğrulayın.
lscpu -e=CPU,NODE,SOCKET,CORE,ONLINE
numactl -H
virsh vcpupin vm01
virsh emulatorpin vm01
virsh numatune vm01
numastat -p $(pgrep -f 'qemu.*vm01')
grep -E 'Huge|MemAvailable' /proc/meminfo
Hata teşhisi
| Belirti | Olası neden / ayrım | Doğrulama |
|---|---|---|
| VM strict modda başlamıyor | Hedef NUMA düğümünde yeterli boş huge page veya kilitlenebilir bellek olmayabilir. | Düğüm başına hugepage sayısını, QEMU logunu ve memlock sınırını kontrol edin. |
| CPU kullanımı düşük, gecikme yüksek | vCPU yerel düğümdeyken bellek uzak düğümden geliyor olabilir. | `numastat -p` ile numa_miss/other_node değerlerini ve live XML'i karşılaştırın. |
| Host yönetim süreçleri yavaşlıyor | Tüm çekirdekler VM'lere pinlenmiş veya hugepage havuzu host belleğini sıkıştırmış olabilir. | Housekeeping CPU setini, normal sayfa `MemAvailable` değerini ve PSI metriklerini inceleyin. |
Kabul ve doğrulama kontrolleri
- CPU sibling ve NUMA haritasını kaydedin.
- Host/housekeeping çekirdeklerini ve bellek rezervini ayırın.
- vCPU, emulator ve I/O thread pinlerini live XML'de doğrulayın.
- NUMA düğümü başına hugepage kapasitesini önceden ayırın.
- VM altında uzak bellek ve P99 gecikmeyi ölçün.
- Canlı göç, restart ve geri dönüş senaryosunu sınayın.
İlgili kavramlar
NUMA yerelliği
NUMA sistemlerde işlemci, kendisine yakın bellekle uzak düğüm belleğine farklı maliyetle erişebilir. Bir sanal makinenin vCPU ve bellek boyutu, fiziksel düğüm kapasitesi ve hypervisor yerleştirmesiyle birlikte değerlendirilir. Daha fazla vCPU vermek her zaman hız kazandırmaz; yerellik kaybı ve zamanlama beklemesi performansı düşürebilir. Fiziksel topolojiyi, VM içindeki görünen topolojiyi ve gerçek iş yükünün bellek davranışını birlikte kaydedin. Değişikliği aynı yük altında önce/sonra karşılaştırın; yalnız CPU yüzdesi yerine uygulama gecikmesini ve uzak bellek etkisini inceleyin.
Gecikme dağılımı
Gecikme, bir işlemin başlangıcı ile yanıtı arasındaki süredir. Ortalama değer, az sayıdaki çok yavaş işlemi gizleyebilir; medyan ile p95/p99 gibi yüzdelikler farklı sorulara cevap verir. Ağ RTT, disk bekleme, işlemci kuyruğu ve uygulama işlemesi toplam süreye katkıda bulunur. Ölçümün istemci tarafında mı sunucuda mı yapıldığını yazın. Gecikme artışının trafik yükselmesine, bakım işine veya kapasite sınırına denk gelip gelmediğini karşılaştırın. Bir eşik seçmeden önce normal yük ve yoğun saat için temel davranışı kaydedin.
Kapasite ve kullanılabilir pay
Ham kapasite ile uygulamanın kullanabileceği kapasite aynı değildir. RAID veya erasure coding, dosya sistemi, ayrılmış alan, metadata, snapshot ve büyüme payı ayrı kalemlerdir. TB ile TiB gösterimi de görünür sayıyı değiştirir. Hesabı birimleriyle yazın ve önce kullanılabilir korumalı kapasiteyi, sonra işletim rezervini çıkarın. Ortalama doluluğu izlemek kadar büyüme eğimini izlemek de önemlidir. Tahmini dolma tarihi, yeni kapasiteyi satın alma ve devreye alma süresinden daha uzakta tutulmalıdır.
Kaynak rekabeti
Kaynak rekabeti, birden fazla iş yükünün aynı CPU, bellek, disk veya bağlantıyı paylaşırken birbirini bekletmesidir. Boş görünen toplam kapasite, tek bir sıcak çekirdek veya tek kuyruk üzerindeki darboğazı gizleyebilir. Aynı anda çalışan backup, antivirüs taraması, indeks bakımı ve kullanıcı trafiğini zaman çizelgesinde karşılaştırın. Kaynak eklemeden önce darboğazın yerini doğrulayın. Testte bir işi tek başına ve diğerleriyle birlikte çalıştırarak paylaşılan kaynağın etkisini ayırın; ortalama kullanım kadar yoğun saatlerdeki gecikmeyi de raporlayın.
İzolasyon ile sanallaştırma ayrımı
Container ve sanal makine aynı izolasyon sınırını sunmaz. Containerlar host çekirdeğini paylaşırken sanal makineler konuk işletim sistemi çalıştırır. Rootless kullanım, namespace ve capability kısıtları riski azaltabilir; yapılandırma ve host güvenliği yine önemlidir. Image, çalışan container ve kalıcı volume ayrı yaşam döngülerine sahiptir. Image güncellemek veriyi yedeklemez. Testte process izinlerini, mountları, ağ erişimini ve kalıcı verinin yeniden oluşturma sonrasında korunmasını ayrı ayrı doğrulayın.
Telemetri ve zaman eşleştirmesi
Telemetri, sistemin ne yaptığını açıklayan log, metrik ve olay kayıtlarının bütünüdür. Log bir olayın ayrıntısını, metrik zaman içindeki davranışı, dağıtık iz ise isteğin bileşenler arasındaki yolunu gösterir. Saat farkları aynı olayı farklı zamanlarda olmuş gibi gösterebilir. Merkezi zaman senkronizasyonu, kaynak kimliği ve tutarlı saat dilimi kullanın. Alarm tasarımında yalnız eşik değil, ne kadar sürdüğü ve kullanıcıya etkisi de değerlendirilmelidir. Kayıtların kesildiği durum ayrıca izlenmeli; günlük kaydı bulunmaması, olay yaşanmadığı şeklinde yorumlanmamalıdır.
Birincil teknik dokümantasyon
Doz Teknoloji teknik ekibi tarafından aşağıdaki birincil kaynaklar temel alınarak hazırlanmıştır. Hesaplar ve laboratuvar senaryoları varsayımlarını belirtir; uygulamadan önce kullanılan ürün sürümünü doğrulayın.