İşlemci önbelleği

Başlığın diğer anlamları için Bellek (anlam ayrımı) sayfasına bakınız.

Dört çekirdekli bir işlemcide önbellek hiyerarşisi. Her çekirdeğin ayrı birinci düzey buyruk ve veri önbelleği ile özel ikinci düzey önbelleği vardır; üçüncü düzey (son düzey) önbellek bütün çekirdeklerce paylaşılır, orada da bulunamayan satırlar kırmık dışındaki ana bellekten getirilir. Büyüklük ve gecikmeler Intel'in Skylake mikromimarisinin istemci sürümü içindir; öteki işlemcilerin değerleri gerçeklemeler çizelgesinde verilmiştir.

İşlemci önbelleği (İngilizce: CPU cache), işlemcinin ana bellekteki buyruk ve verilere ortalama erişim süresini kısaltmak için işlemciye yakın yerleştirilen, ana bellekten çok daha küçük ve çok daha hızlı bir donanım belleğidir. Önbellek, ana belleğin o sırada kullanılan bölümlerinin kopyalarını tutar; işlemcinin istediği veri önbellekte varsa erişim birkaç saat çevriminde tamamlanır, yoksa veri ana bellekten getirilir ve yakında yeniden gerekeceği varsayılarak bir kopyası önbelleğe yazılır. İlk kez 1960'ların sonunda büyük bilgisayarlarda kullanılan bu düzen, 1980'lerde mikroişlemci yongalarının içine girmiş, bugün ise birkaç düzeyden oluşan bir bellek hiyerarşisine dönüşmüştür.

İşlemci önbelleği, genel önbellek düşüncesinin donanımdaki uygulamasıdır. Programın kendisi önbelleği görmez ve onu adreslemez; buyruklar ana bellek adresleriyle çalışır, hangi verinin önbellekte tutulacağına, hangisinin çıkarılacağına ve değiştirilen verinin ana belleğe ne zaman yazılacağına donanım kendisi karar verir. Önbellek ile ana bellek arasında taşınan birim tek bir sözcük değil, satır ya da veri öbeği (İngilizce: cache line, block) adı verilen, çağdaş işlemcilerin çoğunda 64 baytlık bitişik bir bellek parçasıdır.

Çağdaş işlemcilerde her çekirdeğin ayrı bir birinci düzey buyruk önbelleği ve birinci düzey veri önbelleği, bunların arkasında daha büyük bir ikinci düzey önbelleği vardır; çekirdeklerin ortak kullandığı üçüncü düzey önbellek ise AMD'nin Zen 3 çekirdeklerinde olduğu gibi 32 MB'a ulaşabilir. Intel'in Skylake mikromimarisinde birinci düzey veri önbelleğine erişim 4, ikinci düzey önbelleğe 12, paylaşılan üçüncü düzey önbelleğe ortalama 44 çevrim sürer. Bu katmanlara ek olarak işlemcinin içinde adres çevirilerini, çözülmüş buyrukları ya da dallanma hedeflerini saklayan, önbellek gibi düzenlenmiş başka yapılar da vardır. Önbelleğin başarımı, işlemcinin ana bellek gecikmesini ne ölçüde gizleyebildiğini belirler.

Tarihçe

Uydu bellekten Model 85'e

Önbellek düşüncesinin ilk yayımlanmış betimlemesi, Maurice Wilkes'in 1965'te önerdiği uydu bellektir (İngilizce: slave memory). Wilkes'in tasarımında küçük ve çok hızlı bir bellek, yavaş ana bellekten okunan sözcükleri kendiliğinden biriktirir; her yazmacın yanında adresin üst bitlerinden oluşan bir etiket tutulur ve okunacak sözcüğün etiketi eşleşirse ana belleğe gidilmez. Bugünkü doğrudan eşlemeli önbelleğin, etiket karşılaştırmasının ve adresin alt bitleriyle konum seçmenin hepsi bu kısa makalede vardır.

Düşünce ticari bir makinede ilk olarak IBM System/360 ailesinin Model 85'inde hayata geçmiştir. Model 85'in işlemcisi 80 nanosaniyelik bir çevrimle çalışıyordu, ana belleğin çevrim süresi ise 1,04 mikrosaniyeydi; bu hızda büyük bir ana bellek yapılamadığı için işlemcinin içine yarı iletken yongalardan yapılmış küçük bir hızlı bellek eklendi. 16 KB'lık (isteğe bağlı olarak 24 ya da 32 KB'lık) bu önbellek 1 KB'lık bölümlere ayrılmıştı, her bölüm ise ayrı ayrı yüklenebilen 64 baytlık on altı veri öbeğinden oluşuyordu. Önbellekteki bir veriyi okumak iki işlemci çevrimi sürüyordu ve yazmalar her zaman ana belleğe de iletiliyordu. Önbelleği anlatan 1968 tarihli makale, benzetimlerde makinenin, bütün belleği önbellek hızında çalışan kuramsal bir makinenin başarımının ortalama yüzde 81'ine ulaştığını bildirir.

1970'lerde önbellek büyük bilgisayarların olağan bir parçası oldu ve küçük bilgisayarlara da yayıldı. Smith 1982'de yayımladığı kapsamlı incelemede, neredeyse bütün büyük bilgisayarların önbellek taşıdığını, IBM 3033, Amdahl 470 ailesi ve DEC VAX-11/780 gibi makinelerde kümedeki satır sayısının 2 ile 16 arasında seçildiğini aktarır. Aynı inceleme, devre yoğunluğu arttıkça önbelleğin tek yongalı mikroişlemcilere de gireceğini ve yonga üstündeki bir önbelleğin, yonga dışına çıkmanın uzun süresi nedeniyle orada da büyük kazanç sağlayacağını öngörmüştür.

Mikroişlemcilerde ilk önbellekler

Motorola 68020 işlemcisinin kırmığı. 1984 tarihli kullanıcı kılavuzuna göre işlemci, yonga üstünde 64 girdilik doğrudan eşlemeli bir buyruk önbelleği taşır.

Mikroişlemcilerde önbellek önce buyruklar için ortaya çıktı. Motorola'nın 1984 tarihli MC68020 kullanıcı kılavuzu, işlemcinin yonga üstündeki buyruk önbelleğini 64 uzun sözcüklük doğrudan eşlemeli bir önbellek olarak tanımlar; her girdi adresin üst 24 bitinden oluşan bir etiket, bir geçerlilik biti ve iki 16 bitlik buyruk sözcüğü tutar, girdiyi ise adresin 2. ile 7. bitleri seçer. 64 girdinin her biri dört bayt taşıdığından toplam veri kapasitesi 256 bayttır. Ardılı MC68030 bu buyruk önbelleğinin yanına 256 baytlık bir veri önbelleği ekledi; iki önbellek de 16 baytlık dört uzun sözcükten oluşan 16 girdiye ayrılmıştı ve işlemcinin mantıksal (sanal) adresleriyle erişiliyordu. Denning'in yerellik ilkesinin tarihçesi için hazırladığı çizelge de yonga üreticilerinin bir noktada buyruk önbelleklerinin yanına, veriye erişimi hızlandırmak ve bellek arayüzündeki çekişmeyi azaltmak için veri önbellekleri eklemeye başladığını kaydeder.

Intel'in 32 bitlik ilk işlemcisi 80386 ise yonga üstünde önbellek taşımıyordu; önbellek, işlemcinin yanına konan ayrı bir denetleyiciyle kuruluyordu. Intel'in 82385 önbellek denetleyicisi, dış belleklerden kurulan 32 KB'lık bir önbelleğin etiket dizinini ve bütün yönetim mantığını taşıyordu ve önbelleğin doğrudan eşlemeli ya da iki yollu kümeli ilişkili düzenlenmesine izin veriyordu. Bu önbellek doğrudan yazmalıydı; her yazma ana belleği de güncelliyordu. Intel'in 1989 tarihli veri sayfasına göre i486 ile önbellek Intel işlemcilerinde de yongaya taşındı; işlemci buyruk ve veri için ortak kullanılan, 16 baytlık satırlardan oluşan 8 KB'lık, dört yollu kümeli ilişkili ve doğrudan yazmalı bir önbellek taşıyordu.

Intel işlemcilerinde önbellek, buyruk ve veri için Pentium ile ikiye ayrıldı. Intel'in 1993 tarihli Pentium el kitabı, işlemcide 8 KB'lık ayrı bir buyruk önbelleği ile 8 KB'lık ayrı bir veri önbelleği bulunduğunu, ikisinin de 32 baytlık satırlı ve iki yollu kümeli ilişkili olduğunu, veri önbelleğinin her satır için ayrı ayrı geri yazmalı ya da doğrudan yazmalı çalışacak biçimde ayarlanabildiğini ve MESI protokolünü izlediğini belirtir. Ayrık önbellekler, boru hattında buyruk getirme ile veri erişiminin aynı anda yapılabilmesini sağlayarak önbelleğin bant genişliğini artırır.

İkinci düzey önbelleğin yongaya taşınması

Birinci düzey önbellek yongaya girdikten sonra ikinci düzey önbellek bir süre işlemci kırmığının dışında kaldı. Pentium Pro, 256 KB'lık ikinci düzey önbelleği, işlemci kırmığından ayrı bir kırmık olarak aynı paketin içine yerleştirdi ve iki kırmığı işlemci hızında çalışan ayrı bir önbellek yoluyla bağladı. Pentium II ise 512 KB'lık ikinci düzey önbelleği, piyasadan alınan bellek kırmıklarıyla işlemcinin yanına, bir kartuşun üstüne yerleştirdi; işlemci ile bu önbellek arasındaki aktarım hızı işlemci saat sıklığının yarısıydı.

İkinci düzey önbelleği işlemci kırmığının üstüne alan bir tasarım DEC'in Alpha 21164'üdür. 1995 tarihli bir makalede anlatılan bu işlemcide 8 KB'lık doğrudan eşlemeli birinci düzey buyruk ve veri önbelleklerinin arkasında, yonga üstünde 96 KB'lık üç yollu kümeli ilişkili bir ikinci düzey önbellek bulunmaktaydı; bunun da arkasına yonga dışında 1 ile 64 MB arasında üçüncü düzey bir önbellek eklenebiliyordu. Ardılı Alpha 21264, birinci düzey buyruk önbelleğini 64 KB'a ve iki yollu kümeli ilişkili bir düzene büyüttü. IBM'in POWER4 işlemcisinde ise aynı kırmıktaki iki çekirdek, üç dilime bölünmüş 1,5 MB'lık bir ikinci düzey önbelleği paylaşıyordu; 32 MB'lık üçüncü düzey önbelleğin etiket dizini ve denetleyicisi işlemci yongasındaydı, veri dizisi ise ayrı bir modüle takılmış iki gömülü DRAM yongasında tutuluyordu.

Paylaşılan son düzey önbellek

İki çekirdekli Intel Xeon 7130M işlemcisinin kırmığı. Üst yarıda iki işlemci çekirdeği, alt yarıda ise bu çekirdeklerin paylaştığı üçüncü düzey önbelleğin düzenli bellek dizileri görülmektedir.

Tek kırmıkta birden çok çekirdek bulunan çok çekirdekli işlemcilerle birlikte önbellek düzeylerinden en az birinin çekirdekler arasında paylaşılması olağan hâle geldi. Intel'in Core 2 işlemcilerinde iki çekirdek 6 MB'a kadar çıkan bir ikinci düzey önbelleği ve bir yol arayüz birimini paylaşıyordu; Intel bu birleşime Advanced Smart Cache adını vermişti. Drepper, bu düzende iki çekirdeğin çalışma kümeleri büyük ölçüde örtüşüyorsa kullanılabilen önbellek kapasitesinin arttığını, örtüşmüyorsa Intel'in önbellek yönetiminin bir çekirdeğin bütün önbelleği tekeline almasını önlemek için tasarlandığını yazar.

Sandy Bridge kuşağıyla birlikte Intel'in paylaşılan son düzey önbelleği, her çekirdek için bir tane olmak üzere dilimlere bölündü ve dilimler bir halka ağla birbirine bağlandı. IBM ise 2009'da Hot Chips konferansında tanıttığı POWER7'de üçüncü düzey önbelleği yonga dışındaki gömülü DRAM'den işlemci kırmığının üstüne taşıdı. Sekiz çekirdekli işlemcide her çekirdeğin 256 KB'lık özel ikinci düzey önbelleğinin yanında, çekirdeklerin paylaştığı 32 MB'lık gömülü DRAM üçüncü düzey önbelleği vardı. Intel'in bazı işlemcilerinde ise bunlara bir dördüncü düzey eklendi. Haswell kuşağının bazı yapılandırmalarında kırmık dışında, isteğe bağlı bir dördüncü düzey önbellek desteklenir; Broadwell kuşağından Core i7-5775C'nin teknik özellikleri 128 MB'lık gömülü DRAM içerir.

Yongacıklar ve yığılmış önbellek

Büyük işlemcilerin tek bir kırmık yerine birkaç yongacıktan kurulması önbellek düzenini de bu bölünmeye uydurdu. AMD'nin 2019'da tanıttığı Zen 2 mikromimarisinde dört çekirdek ve 16 MB'lık üçüncü düzey önbellek bir çekirdek kompleksi (İngilizce: core complex, CCX) oluşturur, iki çekirdek kompleksi 7 nm'de üretilen 74 mm²'lik bir hesaplama yongacığında yer alır; giriş/çıkış işlevleri ise ayrı bir giriş/çıkış kırmığına bırakılmıştır. Bu düzende üçüncü düzey önbellek bütün işlemcide değil, yalnızca bir çekirdek kompleksinin içinde paylaşılır; 64 çekirdekli sunucu işlemcisi sekiz hesaplama yongacığıyla toplam 256 MB üçüncü düzey önbellek taşır.

Önbelleği büyütmenin bir sonraki adımı onu işlemci kırmığının üstüne yığmak oldu. AMD, 2021'de hibrit bağlama yöntemiyle iki boyutlu yongacık bağlantılarının 200 katından fazla bağlantı yoğunluğu sağlayan bir üç boyutlu yığma tekniği ve bunun ilk uygulaması olarak bir Ryzen 5000 işlemcisine bağlanmış dikey bir önbellek tanıttı. Zen 3 hesaplama yongacığının kendi 32 MB'lık üçüncü düzey önbelleği, üstüne yığılan 64 MB'lık AMD 3D V-Cache kırmığıyla yongacık başına 96 MB'a çıkarıldı; iki kırmık silisyumdan geçen bağlantı delikleri ve doğrudan bakır-bakır bağlamayla birleştirilir. AMD'nin Ocak 2022'de tanıttığı Ryzen 7 5800X3D, AMD'nin açıklamasıyla üç boyutlu yığılmış yongacıklar taşıyan ilk tüketici bilgisayarı işlemcisidir ve 96 MB üçüncü düzey önbelleğe sahiptir. AMD aynı teknolojiyi Mart 2022'de sunucu işlemcilerine de taşıdı; Milan-X kod adlı üçüncü kuşak EPYC işlemcileri, üç boyutlu kırmık yığması kullanan ilk veri merkezi işlemcisi olarak duyuruldu ve 768 MB üçüncü düzey önbelleğe ulaştı.

IBM'in 2021'de tanıttığı z ana bilgisayar işlemcisi Telum'da ise önbellek düzeyleri farklı bir biçimde kurulmuştur. Yongadaki sekiz çekirdeğin her birinin 32 MB'lık özel ikinci düzey önbelleği vardır; IBM'e göre bu ikinci düzey önbellekler birlikte çalışarak yonga üstünde 256 MB'lık sanal bir üçüncü düzey önbellek oluşturur; birden çok işlemcinin önbellekleri de aynı biçimde 2 GB'a varan sanal bir dördüncü düzey önbellek gibi kullanılır. Özel ikinci düzey önbelleğin yükle-kullan gecikmesi, adres çevirisi dahil 19 çevrim ya da yaklaşık 3,8 nanosaniyedir; yonga üstüne dağılmış 256 MB'lık sanal üçüncü düzeyin ortalama gecikmesi ise yaklaşık 12 nanosaniyedir.

Neden gerekli

Ana maddeler: Bellek duvarı ve Bellek hiyerarşisi

İşlemci hızı ile ana bellek hızı uzun yıllar boyunca farklı oranlarda arttı. Mahapatra ve Venkatrao'nun 1999'da aktardığı değerlere göre mikroişlemci başarımı yılda yaklaşık yüzde 60 artarken DRAM erişim süresi yılda yüzde 10'dan az iyileşiyordu; ikisi de üstel olarak geliştiği için aradaki fark da üstel olarak büyüyordu. Wulf ve McKee 1995'te bu ayrışmaya "bellek duvarı" adını verdi. Hesaplarında DRAM hızının yılda yüzde 7, işlemci hızının yılda yüzde 80 arttığını varsaydılar ve buyrukların yaklaşık beşte birinin belleğe başvurduğu bir programda ortalama erişim süresi beş buyruk süresini aştığında başarımın artık bellekle sınırlanacağını gösterdiler. Bu varsayımlarla bir bellek erişiminin ortalama süresi 2000'de 1,52, 2005'te 8,25, 2010'da 98,8 çevrime çıkıyordu; yüzde 99,8'lik bir önbellek bulma oranı bile duvara çarpmayı ancak on bir on iki yıl erteleyebiliyordu.

İşlemci önbelleğinin varlık nedeni bu farkı kapatmaktır. Ortalama bellek erişim süresi bulma zamanı, bulamama oranı ve bulamama cezasıyla belirlenir; önbellek tasarımındaki tekniklerin hemen hepsi bu üç etkenden birini iyileştirmeyi amaçlar. Rakamlar farkın büyüklüğünü gösterir. Intel'in Sandy Bridge mikromimarisinde birinci düzey veri önbelleğinden bir yükleme 4 çevrimde, ikinci düzey önbellekten 12 çevrimde, paylaşılan son düzey önbellekten ise çekirdeğin halkadaki yerine göre 26 ile 31 çevrimde tamamlanır. Drepper'in Pentium M için aktardığı ölçümlerde ana belleğe erişim yaklaşık 240 çevrim sürmektedir.

Önbelleğin kapattığı açık yalnızca gecikme değildir. Mahapatra ve Venkatrao, gecikmeyi gizlemeye yönelik tekniklerin işlemcinin bellek bant genişliği gereksinimini artırdığını, daha büyük yonga üstü önbelleklerin ise yonga dışına daha az istek gönderilmesini sağlayarak etkin bant genişliğini iyileştirdiğini vurgular. Çağdaş bir çekirdekte birinci düzey veri önbelleği her çevrimde onlarca bayt aktarabilir; Skylake'te bu tepe değer çevrim başına 96 bayt, ikinci düzey önbellekte 64 bayt, son düzey önbellekte 32 bayttır. Ana belleğin bu hızda veri sağlaması olanaksız olduğundan, yürütme birimlerini besleyen bant genişliği büyük ölçüde önbelleklerden gelir.

Önbelleğin işe yaramasının nedeni programların yerellik özelliğidir; bir program yakın zamanda kullandığı veriyi yeniden kullanma, kullandığı adresin yakınındaki adreslere de erişme eğilimindedir. İşlemci önbellekleri ilk eğilimden, yakın zamanda kullanılan satırları tutarak; ikincisinden ise bir bulamamada istenen sözcüğün çevresindeki bütün satırı getirerek yararlanır. Smith, zamanda yerelliği döngülerin, alanda yerelliği ise buyrukların çoğunlukla sırayla yürütülmesinin ve ilişkili verilerin bir arada saklanmasının doğurduğunu belirtir.

Satır yapısı ve adresin bölünmesi

Ana madde: Önbellek

Bir önbellek girdisinin yapısı ve adresin alanları. 32 KB'lık, sekiz yollu, 64 baytlık satırlı birinci düzey veri önbelleğinde 512 satır 64 kümeye ayrılır; öbek içi göreli konum 6, dizin 6 bittir, adresin geri kalan bütün bitleri etiket olarak saklanır.

Girdinin içeriği

Bir işlemci önbelleği, her biri bir veri satırı ile o satırı tanımlayan bilgileri tutan girdilerden oluşur. Girdinin en önemli parçası, satırın ana bellekteki hangi adresten geldiğini gösteren ve adresin üst bitlerinden oluşan etikettir (İngilizce: tag). Etiketin yanında satırın geçerli bir veri taşıyıp taşımadığını gösteren bir geçerlilik biti (İngilizce: valid bit) vardır; işlemci açıldığında ya da önbellek boşaltıldığında bütün geçerlilik bitleri sıfırlanır. Geri yazmalı önbelleklerde, satırın önbellekteyken değiştirildiğini gösteren bir kirli bit (İngilizce: dirty bit) de gerekir; satır önbellekten çıkarılırken bu bit 1 ise satır ana belleğe geri yazılır. Bunlara veri çıkarma yönteminin kullandığı bitler ve çok işlemcili sistemlerde satırın tutarlılık durumunu gösteren bitler eklenir. Pentium'un veri önbelleğinde her satır MESI protokolünün dört durumundan birini taşır, buyruk önbelleği ise bu durumların yalnızca paylaşılan ve geçersiz olanlarını kullanır.

Durum bitlerinin ve etiketlerin tuttuğu yer önbelleğin toplam alanının küçük ama göz ardı edilemeyecek bir bölümüdür. i486'nın 8 KB'lık önbelleğinde 128 küme ve her kümede dört satır vardır; satırlar 16 bayttır, her satıra 21 bitlik bir etiket ve bir geçerlilik biti eşlik eder, her küme için ayrıca üç bitlik bir veri çıkarma bilgisi tutulur. Bu değerlerle her satırın 128 bitlik verisine 22 bitlik etiket ve durum bilgisi eklenir. Smith'in belirttiği gibi uzun satırlar, aynı kapasitede daha az satır ve dolayısıyla daha az etiket biti gerektirdiği için bu ek yükü azaltır.

Adresin alanları

Bir adres önbellekte aranırken üç alana ayrılır. En düşük bitler satırın içindeki baytı seçen öbek içi göreli konumdur (İngilizce: block offset); 64 baytlık satırda bu alan 6 bittir. Onların üstündeki bitler kümeyi seçen dizindir (İngilizce: index); küme sayısı 2'nin bir kuvveti olarak seçildiğinden dizin, adresin bir bit dilimidir ve seçim için yalnızca bu bitlerin çözülmesi yeter. Smith bu yönteme bit seçimi adını verir ve onu en basit ve en yaygın küme seçme yolu olarak niteler. Geriye kalan üst bitler etiket olarak saklanır ve aramada karşılaştırılır.

Alanların genişliği önbelleğin boyutundan, satır uzunluğundan ve ilişkililiğinden çıkar. Intel'in Skylake mikromimarisindeki birinci düzey veri önbelleği 32 KB büyüklüğünde, sekiz yollu ve 64 baytlık satırlıdır. 32 KB'lık önbellek 512 satır taşır; sekiz yollu düzende bu satırlar 64 kümeye ayrılır. Öbek içi göreli konum 6 bit, dizin de 6 bit olduğundan adresin en düşük 12 biti küme ve bayt seçimine gider, geri kalan bütün bitler etiketi oluşturur. Aynı hesap Motorola 68020'nin buyruk önbelleğine uygulanırsa her girdi dört bayt taşıdığı için en düşük iki bit sözcük içindeki baytı, 2. ile 7. bitler 64 girdiden birini seçer; adresin kalan üst 24 biti, buyruğun hangi adres alanından geldiğini gösteren bir bitle birlikte etiket olarak saklanır.

Etiketin, dizinin ve öbek içi göreli konumun birbirinden bağımsız olarak çözülebilmesi, önbelleği hızlı yapan özelliklerden biridir. Önbellek erişiminde dizin önce etiket dizisinde ve veri dizisinde birer satırı seçer, seçilen etiketler adresin etiket bitleriyle karşılaştırılır ve karşılaştırmanın sonucu hem bulma ya da bulamama kararını hem de çıkışa hangi verinin gönderileceğini belirler.

Satır uzunluğu

Satır uzunluğu, alanda yerellikten ne ölçüde yararlanılacağını belirler. Uzun bir satır bir bulamamada daha çok komşu veriyi getirir, ama aynı kapasitede daha az satır tutulmasına ve kullanılmayacak verinin de taşınmasına yol açar. Smith'in ölçümleri, her önbellek büyüklüğü ve her iş yükü için bulamama oranını en aza indiren bir satır uzunluğu bulunduğunu gösterir; uzun satırların ek bir yararı, iki satıra yayılan erişimleri azaltmasıdır. 1982'de kullanılan satır uzunlukları makineden makineye büyük farklar gösteriyordu; satırlar PDP-11/70'te 4, VAX-11/780'de 8, Amdahl 470 ailesinde 32, IBM 3033'te 64, IBM 3081'de 128 bayttı. Smith, IBM 3033 ve Amdahl 470 gibi makinelerdeki satırların şaşırtıcı ölçüde kısa seçilmesini, uzun satırların aktarım süresinin ve gereken geniş bellek yolunun maliyetine bağlar.

Çağdaş işlemcilerin çoğu 64 baytlık satır kullanır. Intel işlemcileri bir satırı sistem belleğinden her zaman 64 baytlık bir sınırdan başlayarak okur; AMD'nin Zen ailesinde ve ARM'ın Cortex-A76 çekirdeğinde de satır 64 bayttır. Bu değer her işlemcide aynı değildir. Pentium 4'ün ikinci düzey önbelleği 128 baytlık satırlar kullanıyordu, IBM'in POWER4'ünde birinci ve ikinci düzey satırlar 128 bayt, üçüncü düzey satırlar ise 512 bayttı. Satır uzunluğu düzeyden düzeye değişebildiği gibi, uzun bir satır daha küçük parçalara da bölünebilir. POWER4'ün birinci düzey buyruk önbelleği 128 baytlık satırları dört 32 baytlık kesim, 512 baytlık üçüncü düzey satırları da dört 128 baytlık kesim olarak yönetiyordu. Aynı düşüncenin ilk örneği Model 85'tir; önbelleğinin 1 KB'lık her bölümü yalnızca bir etiket taşıyor, ama bölüm 64 baytlık öbekler hâlinde, gerektikçe dolduruluyordu.

Satır uzun olduğunda bir bulamamada bütün satırın gelmesini beklemek cezayı büyütür. Bunu kısaltmak için bellek denetleyicisi satırın sözcüklerini sırayla değil, işlemcinin beklediği sözcükten başlayarak getirebilir; o sözcük gelir gelmez program kaldığı yerden sürer, satırın geri kalanı ise arkadan dolar. Drepper bu tekniğin önce kritik sözcük ve erken yeniden başlatma (İngilizce: critical word first & early restart) diye anıldığını, işlemcilerin bunu uyguladığını, ama önceden getirilen bir satırda kritik sözcük bilinmediği için her zaman uygulanamadığını belirtir; ölçümlerinde istenen sözcüğün satırın sonunda olması, başında olmasına göre yaklaşık yüzde 0,7 yavaşlamaya yol açmıştır.

İlişkililik

Tam ilişkili bir önbellekte arama. 32 baytlık satırlı bu örnekte adresin en düşük 5 biti satırdaki baytı seçer; kalan 27 bit etikettir ve her girdinin yanındaki karşılaştırıcıda bütün etiketlerle aynı anda karşılaştırılır. Etiketi eşleşen ve geçerlilik biti 1 olan girdide bulma olur.

Bir satırın önbellekte hangi konumlara yerleşebileceğini belirleyen kurala yerleştirme düzeni ya da ilişkililik (İngilizce: associativity) denir. Hill ve Smith'in tanımıyla önbellekteki satırlar, her birinde aynı sayıda satır bulunan kümelere ayrılır; her kümede tek satır varsa önbellek doğrudan eşlemeli, bütün önbellek tek bir kümeyse tam ilişkili, öteki durumlarda n yollu kümeli ilişkilidir. Bir kümedeki satır konumlarının her birine yol (İngilizce: way) denir; dört yollu bir önbellekte her adres, kümesinin dört yolundan herhangi birine yerleşebilir.

Donanımda gerçekleme

Dört yollu kümeli ilişkili önbellekte okuma. Dizin kümeyi seçer, dört etiket dört karşılaştırıcıda adresin etiketiyle karşılaştırılır ve eşleşen yolun verisini çoklayıcı seçer. Altta yol öngörüsü: etiketlerin dördü okunur ama veri dizisinden yalnız öngörülen yol okunur; öngörü yanlışsa doğru yol için veri dizisine ikinci kez erişilir.

İlişkililiğin bedeli donanımda görülür. A yollu bir kümeli ilişkili önbellekte kümenin bütün etiketleri birlikte okunur ve adresin etiketiyle karşılaştırılır; bunun için A tane karşılaştırıcı gerekir. Karşılaştırmaların sonucu hem bulma ya da bulamama çıkışını hem de doğru yolun verisini seçen çoklayıcıları sürer. Doğrudan eşlemeli önbellekte ise tek bir karşılaştırıcı yeter ve okunan veri, karşılaştırmanın sonucunu beklemeden kullanılmaya başlanabilir; Jouppi bu düzende kritik yolun yalnızca bellek dizisine erişim süresinden oluştuğunu, bu yüzden birinci düzey önbelleklerde en kısa etkin erişim süresini doğrudan eşlemeli düzenin verdiğini belirtir.

Wilton ve Jouppi'nin önbellek erişim süresi modeli, doğrudan eşlemeli düzenden iki yollu düzene geçişte erişim süresinin belirgin biçimde arttığını, iki yoldan dört yola geçişte artışın çok daha küçük kaldığını, ilişkililik daha da büyütüldüğünde ise erişim süresinin ve çevrim süresinin yeniden hızla arttığını göstermiştir. Doğrudan eşlemeli önbellek her zaman en hızlı olanıdır ama bulma oranı en düşük olan da odur. Hill ve Smith'in ölçümlerine göre ilişkililiği sekiz yoldan dörde, dörtten ikiye ve ikiden doğrudan eşlemeye indirmek bulamama oranını sırasıyla yaklaşık yüzde 5, 10 ve 30 artırır. Bu iki ölçüm birlikte, tasarımcıların neden çoğu zaman küçük ve hızlı birinci düzey önbelleklerde az, büyük ve yavaş alt düzeylerde çok sayıda yol seçtiğini açıklar.

Gerçek işlemciler bu ödünleşimi farklı noktalarda çözmüştür. Alpha 21164'ün 8 KB'lık birinci düzey önbellekleri doğrudan eşlemeli, 96 KB'lık ikinci düzeyi üç yolluydu. Pentium'un birinci düzey önbellekleri iki yollu, i486'nın ortak önbelleği dört yolluydu. Skylake'te birinci düzey önbellekler sekiz yollu, ikinci düzey önbellek ise dört yolludur; Intel bu kuşakta ikinci düzeyin ilişkililiğini sekiz yoldan dörde indirmiştir. AMD'nin Zen 5 çekirdeğinde 48 KB'lık birinci düzey veri önbelleği 12 yollu, 1 MB'lık ikinci düzey önbelleği 16 yolludur. Tam ilişkili düzen ise girdi sayısı küçük olan yapılarda kullanılır; Drepper birinci düzey etkin sayfalar önbelleğinin küçüklüğünün çoğu zaman onu tam ilişkili yaparak telafi edildiğini belirtir.

Çarpık ilişkililik

Kümeli ilişkili bir önbellekte bütün yollar aynı dizinle seçilir; bu yüzden aynı kümeye düşen satırlar, öteki kümeler boş olsa bile birbirini çıkarır. Seznec ve Bodin'in 1992'de önerdiği çarpık ilişkili önbellek (İngilizce: skewed-associative cache), önbelleğin her yolunu ayrı bir bölüm olarak düşünür ve her bölüm için farklı bir eşleme işlevi kullanır; böylece bir yolda çakışan iki satır, öteki yolda büyük olasılıkla farklı konumlara düşer. Yazarlara göre gereken donanım değişikliği çok küçüktür ve iki bölümlü bir çarpık ilişkili önbellek tipik olarak aynı satır sayısındaki dört yollu bir kümeli ilişkili önbellekle aynı bulma oranını verir; dört bölümlü bir çarpık önbelleğin davranışı da sekiz yollu bir önbelleğinkine yaklaşır. Düzenin bir sakıncası, bir satırın olası konumları her adres için farklı olduğundan en uzun süredir kullanılmayanı çıkarma yönteminin basit bir donanımla gerçeklenmesinin güçleşmesidir.

Yol öngörüsü

Kümeli ilişkili bir önbellekte bütün yolların verisi etiket aramasıyla birlikte okunur, ama bunlardan yalnızca biri kullanılır. Powell ve arkadaşları bu düzenin enerjiyi boşa harcadığını, etiket araması bitip doğru yol belirlendikten sonra yalnızca o yolu okuyan ardışık erişimin yaklaşık yüzde 75 daha az enerji harcadığını, ama erişim süresini yaklaşık yüzde 60 uzattığını belirtir. Yol öngörüsü (İngilizce: way prediction) bu iki uç arasında bir yol açar. Erişimde etiket dizisi ile öngörülen tek bir veri yolu birlikte okunur, öngörü yanlış çıkarsa veri dizisine doğru yol için ikinci kez erişilir. Doğru öngörülen erişim koşut erişim kadar hızlı, ardışık erişim kadar az enerjiyle tamamlanır. Yazarların benzetimlerinde yol öngörüsü ve seçici doğrudan eşleme, dört yollu koşut erişimli birinci düzey veri önbelleğinin enerji ile gecikmenin çarpımını yüzde 69 azaltmış, başarım kaybı yüzde 3'ün altında kalmıştır.

Ticari işlemcilerde de benzer düzenekler vardır. Alpha 21264'ün iki yollu buyruk önbelleği, bir sonraki getirilecek satırı ve yolunu öngören bir düzenekle kurulmuştu; Kessler'e göre bu öngörücüler çoğu uygulamada zamanın yüzde 85 ile 100'ünde doğru sonuç veriyordu. AMD'nin Zen çekirdeklerinde birinci düzey veri önbelleğinin etiketleri, her satırı doğrusal adresiyle işaretleyen bir mikro etiket (İngilizce: microtag, utag) içerir; bu sayede bir yükleme sekiz yolun hepsini değil yalnızca birini okur, AMD'ye göre bu hem güç tasarrufu sağlar hem de önbelleğin bölmelerine erişimdeki çakışmaları azaltır.

Veri çıkarma yöntemleri

Ana madde: Önbellek algoritmaları

Bir bulamamada yeni satıra yer açmak gerektiğinde, doğrudan eşlemeli bir önbellekte seçenek yoktur, çünkü satırın gidebileceği tek bir konum vardır. Kümeli ilişkili bir önbellekte ise kümedeki satırlardan hangisinin çıkarılacağına bir veri çıkarma yöntemi (İngilizce: replacement policy) karar verir. Smith, işlemci önbelleğinde bu yöntemin tümüyle donanımda gerçeklenmesi ve işlemciyi yavaşlatmayacak kadar hızlı çalışması gerektiğini vurgular. Bu kısıt, sayfalı bellekler ya da disk önbellekleri için geliştirilen pek çok yöntemin işlemci önbelleğinde kullanılmasını engeller ve donanımı ucuz olan yaklaşık yöntemleri öne çıkarır.

LRU ve maliyeti

En uzun süredir kullanılmayanı çıkarma (İngilizce: least recently used, LRU), kümedeki satırların kullanım sırasını tutar ve en eski kullanılanı çıkarır. İki yollu bir önbellekte bu sıra tek bir bitle tutulabilir; Pentium'un iki yollu önbellekleri her küme için bir LRU biti kullanıyordu. Smith'in ölçümlerinde kullanıma bakmayan ilk giren ilk çıkar yöntemi, LRU'dan ortalama yaklaşık yüzde 12 daha yüksek bir bulamama oranı vermiştir. Yol sayısı arttıkça kesin LRU sırasını tutmak pahalılaşır. Jaleel ve arkadaşlarının hesabına göre n yollu bir kümede LRU, küme başına n·log₂n bit gerektirir; 16 yollu bir önbellekte bu 64 bit eder. Al-Zoubi ve arkadaşları LRU'nun donanım maliyetinin sekiz yoldan büyük ilişkililikte çok hızlı arttığını belirtir.

Sözde LRU

i486'nın dört yollu önbelleğinde sözde LRU. Çizelge yol 1, 0, 3, 2 sırasıyla yapılan erişimlerde B0, B1 ve B2 bitlerinin nasıl yazıldığını gösterir; ağaçta son durumdan çıkarılacak satır bulunur: B0 = 0 olduğundan yol 0-1 çiftine, B1 = 1 olduğundan yol 1'e gidilir.

Bu maliyeti düşürmek için çoğu işlemci LRU'ya yaklaşan sözde LRU (İngilizce: pseudo-LRU) yöntemleri kullanır. En yaygın biçimi ağaç tabanlı sözde LRU'dur; n yollu bir küme için n−1 bitlik bir ikili karar ağacı tutulur. i486'nın veri sayfası dört yollu önbellekte bu düzeni ayrıntısıyla anlatır. Her kümede B0, B1 ve B2 adlı üç bit vardır; son erişim 0 ya da 1 numaralı satıraysa B0 1, 2 ya da 3 numaralı satıraysa 0 yapılır, B1 0 ile 1 arasındaki, B2 ise 2 ile 3 arasındaki son erişimi gösterir. Bir satırın çıkarılması gerektiğinde önce B0'a bakılarak hangi çiftin daha önce kullanıldığı, sonra o çiftin bitine bakılarak çiftteki daha eski satır belirlenir. Kümede geçersiz bir satır varsa bu ağaca hiç bakılmaz ve önce geçersiz satır doldurulur.

Bu düzen kümede gerçek kullanım sırasını değil, yalnızca bir yaklaşığını tutar, ama donanımı çok ucuzdur; 16 yollu bir önbellekte küme başına 64 bit yerine 15 bit yeter. Al-Zoubi ve arkadaşlarının SPEC CPU2000 programlarıyla yaptıkları benzetimlerde sözde LRU yöntemlerinin LRU'ya çok iyi yaklaştığı görülmüştür; aynı çalışmada LRU ile kuramsal en iyi yöntem arasındaki farkın yüzde 50'ye kadar çıkabildiği de bulunmuştur. ARM'ın Cortex-A76 çekirdeğinin birinci düzey önbellekleri de sözde LRU kullanır.

Yakın zamanda kullanılmayanı çıkarma ve yeniden başvuru aralığı

Daha da ucuz bir yaklaşım, her satır için tek bir bit tutan yakın zamanda kullanılmayanı çıkarma (İngilizce: not recently used, NRU) yöntemidir. Bir satıra erişildiğinde onun biti, yakında yeniden kullanılacağını gösterecek biçimde ayarlanır; çıkarılacak satır gerektiğinde biti "uzak gelecekte kullanılacak" anlamını taşıyan bir satır aranır, böyle bir satır yoksa kümedeki bütün bitler bu değere çekilip arama yinelenir. Jaleel ve arkadaşları NRU'nun yüksek başarımlı işlemcilerde yaygın olarak kullanıldığını belirtir ve kaynak olarak Itanium 2 ile UltraSPARC T2 belgelerini gösterir.

Aynı yazarların önerdiği yeniden başvuru aralığı öngörüsü (İngilizce: re-reference interval prediction, RRIP), NRU'nun tek bitini M bitlik bir sayaca genişletir. Sayaç, satıra ne kadar uzak bir gelecekte yeniden başvurulacağının bir öngörüsüdür; M 1 olduğunda yöntem NRU'nun aynısıdır. Yöntemin durağan biçimi SRRIP, yeni gelen satırları "uzun aralıkta yeniden kullanılacak" diye işaretler; böylece yalnızca bir kez okunacak uzun bir veri dizisi önbelleğe girse bile orada önceden duran ve yeniden kullanılacak satırları hemen çıkaramaz. Devingen biçimi DRRIP ise bu davranışla, satırların büyük çoğunluğunu "çok uzak gelecekte kullanılacak" diye ekleyen ikinci bir davranış arasında çalışma sırasında seçim yapar. Satır başına yalnızca iki bit kullanan bu yöntemler, yazarların benzetimlerinde LRU'dan sırasıyla ortalama yüzde 4 ve yüzde 10 daha iyi sonuç vermiştir.

Ekleme yöntemleri ve küme yarıştırma

Çıkarma kararı kadar, yeni gelen satırın kullanım sırasında nereye konacağı da başarımı etkiler. Qureshi ve arkadaşları, büyük ikinci düzey önbelleklerde satırların yüzde 60'ından fazlasının önbelleğe girdikten sonra hiç kullanılmadan çıkarıldığını gözlemlemiştir. Programın çalışma kümesi önbellekten büyük olduğunda LRU, her yeni satırı en yeni konuma koyduğu için satırların birbirini sürekli çıkarmasına yol açar. Önerdikleri LRU konumuna ekleme yönteminde (İngilizce: LRU insertion policy, LIP) gelen satır en eski konuma konur ve ancak orada dururken yeniden kullanılırsa en yeni konuma alınır; iki kipli biçiminde (BIP) gelen satırların küçük bir bölümü, örneğin 32'de biri, yine en yeni konuma yerleştirilir.

Hangi ekleme yönteminin daha iyi olduğu programa göre değiştiği için yazarlar çalışma sırasında seçim yapan bir düzenek de önermiştir. Küme yarıştırma (İngilizce: set dueling) adı verilen bu düzenekte önbelleğin birkaç kümesi her zaman bir yöntemi, birkaç kümesi öteki yöntemi kullanır; bu kümelerde oluşan bulamamalar bir sayaçla karşılaştırılır ve önbelleğin geri kalanı o anda daha az bulamama üreten yöntemi izler. Yazarlara göre her yönteme 32 ile 64 küme ayırmak yeterlidir ve bütün düzenek iki bayttan az ek bellek ister. Benzetimlerde bu devingen ekleme yöntemi, 1 MB'lık 16 yollu bir ikinci düzey önbelleğin bin buyruk başına bulamama sayısını ortalama yüzde 21 azaltmış ve LRU ile kuramsal en iyi yöntem arasındaki farkın üçte ikisini kapatmıştır.

Yazma yöntemleri

Geri yazma ve doğrudan yazma

İşlemcinin bir yazması önbellekteki kopyayı değiştirdiğinde, değişikliğin ana belleğe ne zaman yansıtılacağı iki temel biçimde düzenlenir. Doğrudan yazmalı (İngilizce: write-through ya da store-through) bir önbellekte her yazma hemen alt düzeye de iletilir; geri yazmalı (İngilizce: write-back, store-in ya da copy-back) bir önbellekte ise değişiklik yalnızca önbellekte yapılır ve satır önbellekten çıkarılırken alt düzeye yazılır. Jouppi'ye göre geri yazmalı önbellekler, yazmaların da zamanda ve alanda yerellik göstermesinden yararlanır; aynı satıra yapılan çok sayıda yazma önbellekte toplanır ve alt düzeye tek bir satır olarak gider.

Mikroişlemci tarihinde iki yöntem de geniş biçimde kullanılmıştır. i486'nın ortak önbelleği, 386 için yapılmış 82385 denetleyicisi ve MC68030'un veri önbelleği doğrudan yazmalıydı. Pentium'un veri önbelleği her satır için ayrı ayrı geri yazmalı ya da doğrudan yazmalı çalışacak biçimde ayarlanabiliyordu. Çok düzeyli önbelleklerde iki yöntem bir arada da kullanılabilir. Alpha 21164'ün birinci düzey veri önbelleği ve POWER4'ün birinci düzey önbelleği doğrudan yazmalıydı, yazmalar yonga üstündeki ikinci düzey önbelleğe iletiliyordu. Intel'in Skylake mikromimarisinde ve AMD'nin Zen çekirdeklerinde ise bütün önbellek düzeyleri geri yazmalıdır.

Geri yazmalı bir önbellekte en güncel veri yalnızca önbellekte bulunabilir; bu yüzden mimariler yazılıma belirli satırları önbellekten boşaltma olanağı tanır. Intel'in x86 mimarisindeki CLFLUSH ve CLFLUSHOPT buyrukları, belirli bir satırı, değiştirilmiş verisi önce belleğe yazıldıktan sonra bütün önbellek düzeylerinden geçersiz kılar. Kendi kendini değiştiren kod da benzer bir sorun doğurur. Intel işlemcilerinde, önbellekte bulunan bir kod satırına yapılan yazma o satırın önbellekten geçersiz kılınmasına yol açar.

Yazma bulamamaları

Yazılacak satır önbellekte yoksa ne yapılacağı ayrı bir karardır. Jouppi bu kararın aslında üç ayrı seçimden oluştuğunu gösterir: yazılan veriye önbellekte yer ayrılıp ayrılmayacağı (yaz ve yerini ayır ya da yaz ve yerini ayırma), satırın geri kalanının bellekten getirilip getirilmeyeceği (yazmada getirme ya da getirmeme) ve önbellekte o konumda duran eski satırın geçersiz kılınıp kılınmayacağı. Yazara göre bu seçimlerin farklı birleşimleri, bulamama oranında iki kata varan farklar doğurabilir. Ölçtüğü programlarda yazma bulamamaları bütün bulamamaların yaklaşık üçte biriydi.

En yaygın seçim, geri yazmalı önbellekle birlikte yaz ve yerini ayır ile yazmada satırı getirmektir. Bu düzende yazma bulamamasında satır önce bellekten getirilir, yazma ardından önbellekte yapılır. Jouppi iki seçeneği daha inceler. Yazılanı geçerli sayma (İngilizce: write-validate) yönteminde yazılan veriye önbellekte yer ayrılır ama satırın geri kalanı getirilmez; satıra yazılan baytlar dışındaki bölümlerin geçerlilik bitleri kapalı tutulur. Önbelleği atlayarak yazma (İngilizce: write-around) yönteminde ise yazmalar önbelleğe girmez, doğrudan alt düzeye gider. Benzetimlerde bu iki yöntem her durumda yazmada getirmeden daha iyi sonuç vermiş, yazılanı geçerli sayma yöntemi yazma bulamamalarını yüzde 30 ile 35 azaltmıştır.

Yazma ara belleği ve yazma birleştirme

Doğrudan yazmalı bir önbellekte işlemcinin her yazmada alt düzeyi beklememesi için yazmalar bir yazma ara belleğinde (İngilizce: write buffer) toplanır. Ara bellekte zaten bulunan bir adrese gelen yeni yazmaların eskileriyle birleştirildiği düzene birleştiren yazma ara belleği (İngilizce: coalescing write buffer) denir. Jouppi, beş girdilik ve her girdisi 8 bayt olan küçük, tam ilişkili bir yazma önbelleğinin yazma trafiğini ortalama yüzde 40 azalttığını, 4 KB'lık geri yazmalı bir önbelleğin ise yüzde 58 azalttığını bulmuştur.

Intel işlemcileri bu düşünceyi bellek türleriyle birleştirir. Her bellek bölgesi için önbelleğin nasıl kullanılacağını gösteren bir tür tanımlanır: önbelleğe alınmayan (UC), yazma birleştirmeli (WC), doğrudan yazmalı (WT), yazmaya karşı korumalı (WP) ve geri yazmalı (WB). Geri yazmalı bölgede yazmalar hemen sistem belleğine iletilmez, önbellekte birikir; doğrudan yazmalı bölgede her yazma hem önbellek satırına hem sistem belleğine yapılır; yazma birleştirmeli bölgede ise veri önbelleğe alınmaz, yazmalar bellek erişimlerini azaltmak için geciktirilip yazma birleştirme ara belleğinde (İngilizce: write-combining buffer) birleştirilir. Bu ara bellek gözetlenmez, dolayısıyla tutarlılık sağlamaz. Ara belleğin girdi sayısı kuşaktan kuşağa artmıştır: P6 ailesinde 4, Pentium 4'te 6 ya da 8, Core mikromimarisinde çekirdek başına 8, Nehalem'den başlayarak 10, Ice Lake'ten başlayarak 12.

Bulamamalar

Bulamama türleri

Bulamamalar, nedenlerine göre dört türe ayrılır. İlk kez başvurulan bir satır her durumda bulunamaz; buna zorunlu bulamama denir. Önbelleğin büyüklüğü programın o anda kullandığı veriyi tutmaya yetmediğinde oluşanlara kapasite nedeniyle bulamama, önbellekte yer olduğu hâlde o anda kullanılan çok sayıda satırın aynı kümelere düşmesinden oluşanlara çakışma nedeniyle bulamama denir. Hill ve Smith çakışma nedeniyle bulamamayı, aynı büyüklükte, tam ilişkili ve LRU kullanan bir önbellekte oluşmayacak bulamamalar olarak tanımladığından, tam ilişkili bir önbellekte bu tür bulamama tanım gereği yoktur. Çok çekirdekli sistemlerde bir satır, başka bir çekirdeğin yazması üzerine geçersiz kılındığı için de bulunamayabilir; Jouppi bu dördüncü türe tutarlılık nedeniyle bulamama adını verir.

Türler hangi önlemin işe yarayacağını gösterir. Önbelleği büyütmek kapasite nedeniyle oluşan bulamamaları, ilişkililiği artırmak çakışma nedeniyle oluşanları azaltır; uzun satırlar ve önceden getirme ise zorunlu bulamamalara karşı kullanılır. Jouppi'nin aktardığına göre doğrudan eşlemeli önbelleklerde çakışma nedeniyle oluşan bulamamalar bütün bulamamaların genellikle yüzde 20 ile 40'ını oluşturur; küçük bir çıkarılanlar önbelleği bu bulamamaların önemli bir bölümünü doğrudan eşlemeli önbelleğin hızından vazgeçmeden giderebilir.

Bulamama cezası

Bulamamanın işlemciye maliyeti, verinin hangi düzeyden geldiğine bağlıdır. Sandy Bridge'de birinci düzeyde bulunamayıp ikinci düzeyde bulunan bir yükleme 12, son düzeyde bulunan bir yükleme 26-31 çevrim sürer; veri başka bir çekirdeğin önbelleğinden gelecekse bu süre, satır değiştirilmemişse 43, değiştirilmişse 60 çevrime çıkar. AMD'nin Zen 4 çekirdeğinde ikinci düzeyden bir yükleme en az 14, üçüncü düzeyden ortalama 50 çevrimdir. Ana belleğe kadar inen bir bulamama yüzlerce çevrim sürebildiği için çağdaş işlemciler bulamama cezasını kısaltmanın yanı sıra onu gizlemeye de çalışır; işlemci bulamamayı beklerken başka işler yapar, birden çok bulamamayı aynı anda sürdürür ya da veriyi istenmeden önce getirir.

Engellemeyen önbellekler

Engellemeyen önbellekte bekleyen bulamama yazmaçları. A ve B'nin bulamamaları ana bellekten birlikte beklenirken C ve D önbellekte bulunur. A ile aynı satıra düşen A' yeni bir bellek isteği doğurmaz, ikincil bulamama olarak A'nın yazmacına eklenir ve satır gelince ikisi birlikte yanıtlanır.

İlk önbelleklerde bir bulamama, veri gelene kadar önbelleği kilitliyordu; önbellek o sürede başka hiçbir isteğe yanıt veremiyordu. Kroft 1981'de bu cezayı büyük ölçüde ortadan kaldıran bir önbellek düzeni önerdi. Bu düzende aynı anda sürdürülebilecek her bulamama için bulamamanın bilgisini ve durumunu tutan bir bekleyen bulamama yazmacı (İngilizce: miss information/status holding register, MSHR) vardır; Kroft'un hesaplarına göre dört yazmaç en uygun sayıydı. Böyle bir önbelleğe engellemeyen önbellek (İngilizce: non-blocking ya da lockup-free cache) denir.

Farkas ve Jouppi'nin 1994'teki incelemesi engellemeyen önbelleklerin farklı derecelerini karşılaştırır. En basit biçim, bir bulamama sürerken önbelleğe gelen öteki erişimlerin bulunabilmesine izin verir; HP'nin PA7100 işlemcisi önbellekte aynı anda en çok bir bulamamaya izin veriyordu. Daha gelişmiş biçimlerde birden çok bulamama aynı anda sürer ve her biri bir bekleyen bulamama yazmacında izlenir. Aynı satıra gelen bir birincil bulamama ile ondan sonraki ikincil bulamamalar tek bir bellek isteğinde birleştirilebilir. Yazarların benzetimlerinde tamsayı programları için bulamama sırasında bulmaya izin veren basit bir gerçekleme, elde edilebilecek kazancın neredeyse tamamını sağlamıştır. Intel'in Pentium Pro veri sayfası da işlemcinin hem birinci düzey hem ikinci düzey önbelleğini engellemeyen önbellek olarak tanımlar.

Adres çevirisi ile ilişkisi

Ana maddeler: Etkin sayfalar önbelleği ve Sanal bellek

Sanal bellek kullanan bir sistemde program sanal adreslerle çalışır, ana bellek ise fiziksel adreslerle erişilir. Bu çeviriyi hızlandırmak için işlemci son çevirileri etkin sayfalar önbelleği (İngilizce: translation lookaside buffer, TLB) adı verilen küçük bir önbellekte tutar. i486'nın etkin sayfalar önbelleği 32 girdili ve dört yollu kümeli ilişkiliydi; Pentium'da ise buyruk önbelleği ile veri önbelleğinin her birinin kendine ayrılmış bir etkin sayfalar önbelleği vardı. Önbelleğin kendisinin sanal adresle mi fiziksel adresle mi erişileceği ayrı bir tasarım kararıdır; dizin ve etiket için ayrı ayrı sanal ya da fiziksel adres kullanılabildiğinden üç yaygın düzen ortaya çıkar.

Fiziksel dizinli ve fiziksel etiketli önbellek

En basit düzende önbellek fiziksel adresle erişilir; sanal adres önce çevrilir, sonra önbellekte aranır. i486'nın önbelleği fiziksel adreslerle çalışıyordu. Bu düzende önbelleğin içeriği adres alanından bağımsızdır ve aynı fiziksel satırın iki kopyası oluşamaz; Linux çekirdeğinin belgeleri, x86 işlemcilerinin fiziksel dizinli ve fiziksel etiketli önbelleklerinin sanal adresle ilgili önbellek boşaltma işlemlerine hiç gereksinim duymadığını belirtir. Sakıncası, adres çevirisinin önbellek erişiminin önüne eklenmesidir. Smith, gerçek adresle erişilen bir önbellekte satırın aranıp okunmasının ancak çeviri tamamlandıktan sonra bitebildiğini, çeviri adımı ortadan kaldırılabilirse önbellek erişim süresinin belirgin biçimde kısalacağını yazar.

Sanal dizinli ve sanal etiketli önbellek

Çeviriyi yoldan çıkarmanın doğrudan yolu, önbelleği sanal adresle dizinlemek ve etiketlemektir. MC68030'un buyruk ve veri önbellekleri mantıksal (sanal) adreslerle erişiliyordu. Smith bu düzenin iki ek gereksinimini ve bir ciddi sorununu sıralar. Satırlar ait oldukları adres alanının kimliğiyle etiketlenmeli ya da her görev değişiminde önbellek boşaltılmalıdır; ayrıca bulamamalarda ve doğrudan yazmalı önbellekteki yazmalarda ana belleğe yine fiziksel adresle gidileceği için adres çevirisi düzeneği ortadan kalkmaz. Ciddi sorun, aynı fiziksel adrese eşlenen iki ya da daha çok sanal adres anlamına gelen eşanlamlılardır (İngilizce: synonyms). Eşanlamlılar iki adres alanı kod ya da veri paylaştığında ortaya çıkar ve aynı verinin önbellekte iki farklı yerde, birbirinden habersiz iki kopyasının oluşmasına yol açabilir. Bunun tersi olan eşsesli (İngilizce: homonym) durumunda ise aynı sanal adres farklı süreçlerde farklı fiziksel adreslere karşılık gelir; satırlar adres alanı kimliği taşımıyorsa bağlam değişiminde önbelleğin geçersiz kılınması gerekir.

Wang, Baer ve Levy 1989'da bu sorunlara bir çözüm olarak iki düzeyli bir düzen önerdiler. Birinci düzey önbellek doğrudan sanal adresle erişilir, arkasında ise büyük ve fiziksel adresli bir ikinci düzey önbellek durur. İkinci düzey, sanal önbellekteki satırların fiziksel karşılıklarını izleyen bir ters çeviri bilgisi tutar; düzen eşanlamlılara izin verir ve onları algılar, ama bir verinin sanal önbellekte aynı anda en çok bir kopyası bulunmasını güvenceye alır.

Sanal dizinli ve fiziksel etiketli önbellek

Sanal dizinli fiziksel etiketli birinci düzey önbellek. Dizin ile öbek içi göreli konum, sanal adresin çeviride değişmeyen 12 bitlik sayfa içi göreli konumundan alınır; küme seçimi ve etiketlerin okunması, sanal sayfa numarasının etkin sayfalar önbelleğinde çevrilmesiyle aynı anda yapılır. Çeviri bitince fiziksel sayfa numarası okunan sekiz etiketle karşılaştırılır.

İki düzenin arasında bir çözüm de vardır; önbellek sanal adresle dizinlenir, ama etiketler fiziksel adresi taşır. Dizin sanal adresten alındığı için küme seçimi ve etiketlerin okunması, etkin sayfalar önbelleğindeki çeviriyle aynı anda yapılabilir; çeviri bittiğinde fiziksel sayfa numarası okunan etiketlerle karşılaştırılır. Bunun dayandığı gözlem, sayfa içindeki baytı gösteren bitlerin çeviride değişmemesidir.

Dizin ve öbek içi göreli konum bitlerinin tamamı sayfa içi göreli konumun içinde kalıyorsa, sanal dizin fiziksel dizinle aynıdır ve önbellek fiziksel dizinliymiş gibi davranır. Bu koşul, önbelleğin bir yolunun büyüklüğünün sayfa büyüklüğünü aşmamasıyla sağlanır. Skylake'in 32 KB'lık ve sekiz yollu birinci düzey veri önbelleğinde bir yol 4 KB'tır; 4 KB'lık sayfalarda bu, dizinin tümüyle sayfa içi göreli konumdan alınması demektir. Yol büyüklüğü sayfayı aştığında ise aynı fiziksel satır, farklı sanal adreslerden farklı kümelere düşebilir. Linux çekirdeğinin belgeleri, sanal dizinli, sayfa büyüklüğünden büyük ve aynı fiziksel adresin birden çok satırda bulunmasını engellemeyen bir veri önbelleğinin bu sorunu taşıdığını, bu tür işlemciler için işletim sisteminin belirli noktalarda önbelleği boşaltması gerektiğini anlatır. ARM'ın Cortex-A76 çekirdeğinde ise 64 KB'lık ve dört yollu birinci düzey veri önbelleği sanal dizinli ve fiziksel etiketlidir, ama ARM'a göre fiziksel dizinli ve fiziksel etiketli bir önbellek gibi davranır; eşanlamlı sorununu donanım kendisi çözer.

Sayfa renklendirme

Fiziksel dizinli büyük bir önbellekte, hangi satırın hangi kümeye düşeceğini işletim sisteminin sayfalara verdiği fiziksel adresler belirler. Kessler ve Hill, işletim sistemi sayfaları gelişigüzel yerleştirdiğinde gereksiz çakışma nedeniyle oluşan bulamamaların yüzde 30'a varabildiğini, dikkatli bir yerleştirmenin bulamamaları gelişigüzel yerleştirmeye göre yüzde 10-20 azalttığını ve bu kazancın önbelleği iki katına büyütmenin sağlayacağı kazancın yaklaşık yarısı olduğunu göstermiştir. İnceledikleri yöntemlerden sayfa renklendirme (İngilizce: page coloring), bir sanal sayfayı, önbellekte sanal adresinin düşeceği kümeler grubuyla aynı kümelere düşen bir fiziksel sayfaya yerleştirir; MIPS bu yöntemin bir biçimini kullanmıştır. Öteki yöntem ise sayfaları sanal adreslerine bakmadan, sırayla önbelleğin ardışık bölgelerine dağıtır. Linux çekirdeği de sanal dizinli önbelleklerde eşanlamlı sorununu azaltmak için, çekirdeğin bir sayfayı eşlerken kullanıcı eşlemesiyle aynı "renkte" bir sanal adres seçtiğini, örneğin Sparc64'ün bu tekniği kullandığını belirtir.

Önbellek hiyerarşisi

Buyruk ve veri önbellekleri

Boru hattıyla çalışan bir işlemci belleğe birden çok noktadan erişir: buyruğu getirirken, adresi çevirirken ve yükleme ya da saklama buyruğunu yürütürken. Bu erişimlerin aynı önbellekte yarışmaması için birinci düzeyde ayrı bir buyruk önbelleği, ayrı bir veri önbelleği ve her birine ayrılmış etkin sayfalar önbellekleri kullanılır; Pentium'un yapısı bunun erken bir örneğidir. Smith ayrık önbelleklerin bir bedelini de ölçmüştür; toplam kapasite aynı kalsa bile önbellek ikiye bölündüğünde bulamama oranı iş yüküne bağlı olarak belirgin biçimde artabilir, çünkü iki yarının boyutu programın buyruk ve veri gereksinimlerine her zaman uymaz. Birinci düzeyin arkasındaki düzeyler ise çoğu tasarımda ortaktır; Pentium 4'ün ikinci düzey önbelleği hem iz önbelleğinde bulunamayan buyrukları hem birinci düzey veri önbelleğinde bulunamayan verileri tutuyordu.

Çok düzeyli önbellekler

Tek bir önbellek hem çok hızlı hem çok büyük olamaz. Wilton ve Jouppi'nin modelinde önbellek erişim süresini bellek dizisinin sözcük hatlarının ve bit hatlarının boyu belirler; Muralimanohar ve arkadaşlarına göre sözcük hattının ve bit hattının gecikmesi, dizinin genişliğinin ve yüksekliğinin karesiyle artar. Bu yüzden önbellek büyüdükçe erişimi yavaşlar ve çözüm, küçük ve hızlı bir birinci düzeyin arkasına daha büyük ve daha yavaş düzeyler koymaktır. Mahapatra ve Venkatrao 1999'da önbelleklerin çoğunun iki düzeyli olduğunu, işlemciye yakın olana L1, sonrakine L2 dendiğini yazar. Bugün Intel'in ve AMD'nin işlemcilerinde üç düzey olağandır; çekirdeğe özel birinci ve ikinci düzeyin arkasında çekirdeklerin paylaştığı bir üçüncü düzey vardır.

Düzeylerin büyüklükleri ve gecikmeleri kuşaktan kuşağa değişmiştir. Skylake'te ikinci düzey önbellek 256 KB iken Ice Lake'te 512 KB'a, Golden Cove'un istemci sürümünde 1,25 MB'a, sunucu sürümünde 2 MB'a çıkmıştır. AMD'nin ilk Zen çekirdeğinde 512 KB olan ikinci düzey, Zen 4 ve Zen 5'te 1 MB'tır; üçüncü düzey ise ilk Zen'deki dört çekirdeğin paylaştığı 4 ya da 8 MB'tan, Zen 3 ile birlikte sekiz çekirdeğin paylaştığı 32 MB'a büyümüştür. Gecikme de büyüklükle birlikte artar; AMD'ye göre üçüncü düzeyin ortalama yükle-kullan gecikmesi ilk Zen'de 35, Zen 3'te 46, Zen 4'te 50 çevrimdir.

Kapsayan, dışlayan ve ikisi de olmayan düzenler

Kapsayan, dışlayan ve ne kapsayan ne dışlayan iki düzeyli önbellekte A, B ve C satırlarının tutulduğu yerler. Altta kapsayan düzende ikinci düzeye D gelirken çıkarılan A'nın birinci düzeyden de geriye doğru geçersiz kılınması.

Çok düzeyli bir önbellekte bir satırın aynı anda birden çok düzeyde bulunup bulunamayacağı bir tasarım kararıdır. Jaleel ve arkadaşlarının tanımlarıyla kapsayan (İngilizce: inclusive) bir hiyerarşide küçük düzeylerin içeriği son düzey önbelleğin bir alt kümesi olmak zorundadır; son düzeyden bir satır çıkarıldığında, bu kuralı korumak için aynı satır üst düzeylerden de geriye doğru geçersiz kılınır. Dışlayan (İngilizce: exclusive) bir hiyerarşide hiçbir düzeyin içeriği başka bir düzeyde yinelenmez; ne kapsayan ne dışlayan (İngilizce: non-inclusive) bir hiyerarşinin etkin kapasitesi ise son düzeyin büyüklüğü ile bütün düzeylerin toplamı arasında bir yerdedir.

Her düzenin kendine özgü üstünlükleri ve bedelleri vardır. Kapsayan bir son düzey önbellek, doğal bir gözetleme süzgeci (İngilizce: snoop filter) görevi görür; bir satır son düzeyde yoksa hiçbir çekirdeğin özel önbelleğinde de yoktur, bu yüzden öteki çekirdeklere sormaya gerek kalmaz. Buna karşın kapsayan düzende üst düzeylerdeki satırlar alt düzeyde de yer kaplar ve son düzeyden çıkarılan bir satır, çekirdek onu hâlâ kullanıyor olsa bile üst düzeyden de atılır; Jaleel ve arkadaşlarına göre kapsayan önbelleklerin sınırlı başarımının asıl nedeni, kapsama kuralı yüzünden çekirdek önbelleklerinden atılan bu satırlardır. Dışlayan düzen kapasiteyi en iyi kullanır, ama çekirdeğin önbelleklerinden çıkarılan temiz satırların da son düzeye yazılması gerektiği için daha çok bant genişliği ister. Drepper, kapsayan düzende birinci düzeyden satır çıkarmanın çok daha hızlı olduğunu, dışlayan düzende ise yeni bir satırın yalnızca birinci düzey veri önbelleğine yüklenmesinin bir üstünlük olabileceğini belirtir.

Gerçek işlemciler bu üç düzenin hepsini kullanmıştır. Intel'in Nehalem ve Sandy Bridge kuşaklarında son düzey önbellek, üst düzeylerin bütün içeriğini kapsar. Skylake'in sunucu sürümünde ise Intel bu kuraldan vazgeçmiştir. Son düzey önbellek ne kapsayan ne dışlayan bir paylaşılan önbellektir, bir çekirdeğin ikinci düzey önbelleğindeki satırın son düzeyde kopyası olmayabilir ve bu yüzden iki düzeyin kapasitesi toplanabilir. Bu değişiklikle birlikte ikinci düzey önbellek 256 KB'tan 1 MB'a büyütülmüş, çekirdek başına düşen son düzey önbellek ise 2,5 MB'tan 1,375 MB'a küçültülmüştür. AMD'nin Athlon (Thunderbird) ve Duron işlemcilerinin ikinci düzey önbellekleri dışlayandı; ikinci düzey yalnızca birinci düzeyde olmayan satırları tutuyor, bir satır birinci düzeye kopyalandığında ikinci düzeydeki kopyası geçersiz kılınıyordu. AMD'nin Zen çekirdeklerinde ikinci düzey önbellek birinci düzeyi kapsar, üçüncü düzey ise ikinci düzeyden çıkarılan satırlarla doldurulur; AMD bu son düzeni "çoğunlukla dışlayan" diye niteler. ARM'ın Cortex-A76 çekirdeğinde ikinci düzey önbellek birinci düzey veri önbelleğini kesin olarak, buyruk önbelleğini ise gevşek biçimde kapsar. ARM'ın çekirdek kümelerinde paylaşılan üçüncü düzey önbellek ise satırın kaç çekirdekte kullanıldığına göre karar verir; yalnızca bir çekirdeğin kullandığı veri dışlayan biçimde, çekirdekler arasında paylaşılan veri kapsayan biçimde yerleştirilir.

Paylaşılan son düzey önbellek ve dilimler

Çok çekirdekli işlemcilerde önbellekler, yalnızca bir çekirdeğin kullandığı özel önbellekler ile birden çok çekirdeğin ortak kullandığı paylaşılan önbellekler olarak ayrılır. Paylaşılan bir önbellekte çekirdekler birbirinin satırlarını çıkarabilir; Drepper aynı paylaşılan önbelleği kullanan iki programın, önbelleğin ilişkililiğini uygulamada yarıya indirdiğini belirtir.

Dilimli paylaşılan son düzey önbellek. Her çekirdeğe karşılık bir dilim vardır ve dilimler halka ağla bağlıdır; bir satırın hangi dilimde tutulacağını bir karma işlevi belirler. Uzaktaki bir dilime erişim halkada daha uzun yol alır; Sandy Bridge'de son düzeyde bulma süresi bu uzaklığa göre 26 ile 31 çevrim arasındadır.

Paylaşılan son düzey önbellek çoğu zaman dilimlere bölünür. IBM'in POWER4'ünde iki çekirdeğin paylaştığı ikinci düzey önbellek, her birinin kendi denetleyicisi olan üç özdeş dilimden oluşuyordu. Intel'in Sandy Bridge'inde son düzey önbelleğin dilim sayısı çekirdek sayısına eşittir, adresler dilimlere bir karma işleviyle dağıtılır ve her dilim çevrim başına 32 bayt veri sağlayabilir. Dilimler bir halka ağla bağlandığından son düzeyde bulma süresi, verinin bulunduğu dilimin çekirdeğe uzaklığına göre 26 ile 31 çevrim arasında değişir. Liu ve arkadaşları Intel'in bu karma işlevini yayımlamadığını belirtir. ARM'ın paylaşılan üçüncü düzey önbelleği de bir ya da iki dilimle kurulabilir ve iki dilim koşut olarak erişilebilir; 1,5 MB'lık yapılandırmada önbellek 16 yerine 12 yolla gerçeklenir ve yazılıma 2 MB'lık bir önbellek olarak bildirilir.

Önbellek büyüdükçe erişim süresini bellek dizilerinin kendisinden çok, onları birbirine bağlayan yonga içi bağlantılar belirlemeye başlar; Muralimanohar ve arkadaşları büyük önbelleklerin özelliklerinin öncelikle bağlantı ağının özelliklerine bağlı olacağını belirterek, erişim süresi bankadan bankaya değişen tekdüze olmayan önbellek erişimi (İngilizce: non-uniform cache access, NUCA) düzenlerini modellemiştir. IBM POWER7'nin üçüncü düzey önbelleğinde her çekirdeğin özel verisi, yakındaki hızlı bölgeye kendiliğinden taşınır ve oradan bütün önbelleğe göre yaklaşık beş kat daha kısa gecikmeyle okunur. POWER10'un 120 MB'a kadar çıkan üçüncü düzey önbelleği de bu tür bir yönetimle çalışır.

Özelleşmiş önbellekler

Çıkarılanlar önbelleği

Jouppi'nin 1990'da önerdiği çıkarılanlar önbelleği (İngilizce: victim cache), doğrudan eşlemeli bir önbellekten çıkarılan satırları tutan küçük ve tam ilişkili bir önbellektir. Doğrudan eşlemeli önbellekte bulunamayan bir satır çıkarılanlar önbelleğinde bulunursa iki önbelleğin ilgili satırları yer değiştirir ve ana belleğe gidilmez. 1 ile 5 girdilik çıkarılanlar önbellekleri çakışma nedeniyle oluşan bulamamaları gidermede çok etkili çıkmıştır; Jouppi'nin benzetimlerinde tek girdilik bir çıkarılanlar önbelleği bile bazı programlarda iki yollu ilişkililiğin sağladığı kazancın yaklaşık yarısını sağlamıştır. Aynı düşünce büyük ölçekte de kullanılır. AMD'nin Zen çekirdeklerindeki üçüncü düzey önbellek ikinci düzeyden çıkarılan satırlarla doldurulur ve AMD onu "çıkarılanlar üçüncü düzey önbelleği" diye anar.

İz önbelleği

Sıradan bir buyruk önbelleği buyrukları bellekteki sıralarıyla tutar; alınan bir dallanma, buyruk akışını önbellekte başka bir satıra atlatır ve bir çevrimde getirilebilecek buyruk sayısını sınırlar. Rotenberg, Bennett ve Smith'in 1996'da önerdiği iz önbelleği (İngilizce: trace cache), buyrukları yürütüldükleri sırayla, dinamik buyruk akışının izleri olarak saklar; böylece bellekte bitişik olmayan buyruklar önbellekte bitişik görünür. Bir iz en çok n buyruk ve en çok m temel öbekten oluşur; iz satırı ayrıca izin içindeki her dallanmanın hangi yöne gittiğini gösteren bitler taşır, bu yüzden aynı adresten başlayan ama farklı dallanma yolları izleyen izler ayrı satırlarda tutulabilir. Yazarların benzetimlerinde 16 buyruk ve 3 temel öbekten oluşan izlerle çalışan 4 KB'lık bir iz önbelleği, sıradan ardışık getirmeye göre başarımı ortalama yüzde 28 artırmıştır.

İz önbelleğinin ticari bir uygulaması Intel'in Pentium 4'üdür. Bu işlemcinin iz önbelleği IA-32 buyruklarını değil, onlardan çözülmüş mikro işlemleri saklar ve 12.000'e kadar mikro işlem tutabilir; Intel'e göre bulma oranı 8 ile 16 KB'lık sıradan bir buyruk önbelleğininkine yakındır. İz önbelleği çözülmüş buyrukları tuttuğu için, bulma durumunda boru hattının ilk aşamaları atlanabilir; Drepper, değiştirilen kodun iz önbelleğinde tutulamayacağını da belirtir.

Mikro işlem önbelleği

Çözülmüş buyrukları saklama düşüncesi Intel'in sonraki mikromimarilerinde mikro işlem önbelleği biçiminde sürdü. Intel'in Sandy Bridge mikromimarisiyle getirdiği kod çözülmüş buyruk önbelleği (İngilizce: decoded ICache), sıradan buyruk önbelleğinin yanında durur. 32 kümeden oluşur, her kümede sekiz yol, her yolda en çok altı mikro işlem vardır; ideal durumda 1.536 mikro işlem tutar. 32 baytlık her hizalı bellek parçası için en çok 18 mikro işlem saklanabilir. Golden Cove'da bu önbellek büyütülmüş ve bant genişliği çevrim başına sekiz mikro işleme çıkarılmıştır.

AMD'nin Zen çekirdeklerindeki karşılığı işlem önbelleğidir (İngilizce: op cache). İlk Zen'de 32 kümeli ve sekiz yollu bu önbellek en çok 2.048 buyruk tutuyordu; kapasite Zen 3'te 4.096 işleme, Zen 4'te 64 kümeli ve 12 yollu bir düzenle 6.750 işleme çıkarılmıştır. Zen 5'te 64 küme ve 16 yoldan oluşan önbellek 6.000 buyruk ya da kaynaştırılmış buyruk tutar.

Dallanma hedef ara belleği

Önbellek düzeni yalnızca bellek verisini saklamak için kullanılmaz; işlemci, hesaplanması pahalı bilgileri de önbelleğe benzer tablolarda tutar. Dallanma hedef ara belleği (İngilizce: branch target buffer), daha önce yürütülmüş dallanmaların adreslerini ve hedeflerini saklar ve getirme aşamasında bir dallanmanın nereye gideceğini, buyruk henüz çözülmeden öngörmeyi sağlar. Pentium'da dallanma adresleri bu ara bellekte tutuluyor, buyruk getirme ara bellekleri de onun öngörülerine göre çalışıyordu. Pentium 4'te 4.096 girdilik bir dallanma hedef ara belleği ön ucu, 512 girdilik ayrı bir ara bellek de iz önbelleğini besliyordu.

Karalama belleği ve sıkı bağlı bellek

Bazı gömülü işlemcilerde önbelleğin yerine ya da yanında, içeriğini donanımın değil yazılımın yönettiği, adreslenebilir küçük bir yonga üstü bellek kullanılır. Bu belleğe karalama belleği (İngilizce: scratchpad memory) denir. Banakar ve arkadaşlarının ölçümlerinde aynı kapasitedeki bir karalama belleği, önbelleğe göre ortalama yüzde 34 daha az alan kaplamış ve yüzde 40 daha az enerji harcamıştır; yazarlar, yonga üstü SRAM önbelleklerinin toplam yonga gücünün yüzde 25 ile 45'ini tüketebildiğini de aktarır. Bedeli, hangi verinin bu belleğe konacağına kullanıcının ya da derleyicinin karar vermesidir; yazarlara göre karalama belleği ancak etkili bir derleyici desteğiyle önbelleğin yerini alabilir.

ARM'ın Cortex-M7 gibi mikrodenetleyici çekirdeklerinde bu bellek, sıkı bağlı bellek (İngilizce: tightly coupled memory, TCM) adıyla buyruk ve veri için iki ayrı birim olarak yer alır ve 4 KB ile 16 MB arasında yapılandırılabilir. ARM'a göre en iyi başarım, kodun buyruk, verinin veri sıkı bağlı belleğine yerleştirilmesiyle elde edilir; sıkı bağlı belleğe gitmeyen erişimler ise ayrı önbellek denetleyicilerince karşılanır.

Önceden getirme

Bulamamaları azaltmanın bir yolu, gerekecek satırları istenmeden önce getirmektir. Smith'in ölçümlerinde önceden getirmenin sağladığı başarım artışı, satır uzunluğunu iki katına çıkarmanın sağladığından belirgin biçimde büyüktür; önceden getirilen ama kullanılmayan bir satır önbellekten çıkarılabildiği hâlde, uzun bir satırın kullanılmayan yarısı ayrıca çıkarılamaz. Çağdaş işlemcilerde önceden getirme hem donanımla hem yazılımla yapılır.

Donanımla önceden getirme

Donanım önceden getiricileri bellek erişimlerindeki düzenli örüntüleri tanır. Drepper'e göre donanımın önceden getirmeyi başlatması için çoğunlukla belirli bir örüntüde iki ya da daha çok bulamama gerekir; tek bir bulamamaya tepki vermek, rastgele erişimlerde bant genişliğini boşa harcar. Intel'in Sandy Bridge mikromimarisinde birinci düzeyde iki önceden getirici vardır: yakın zamanda yüklenen veriye artan adreslerle erişildiğinde sonraki satırı getiren akış önceden getiricisi ve tek tek yükleme buyruklarının adreslerini izleyerek 2 KB'a kadar sabit adımları tanıyan buyruk göstergesine dayalı önceden getirici. İkinci düzeydeki uzamsal önceden getirici, getirilen her satırı 128 baytlık hizalı bir parçayı tamamlayan eşiyle birlikte getirir; akış önceden getiricisi ise 32'ye kadar akışı izleyebilir ve 20 satıra kadar önden gidebilir. AMD'nin Zen 4 ve Zen 5 çekirdeklerinde beş ayrı önceden getirici bulunmaktadır; bunlardan birinci düzeydeki adım önceden getiricisi, tek tek buyrukların erişim geçmişini kullanarak erişimler arasında sabit bir uzaklık olduğunda ek satırlar getirir.

Donanım önceden getiricilerinin önemli bir sınırı, sayfa sınırlarını aşamamalarıdır. Bir sonraki sayfa bellekte olmayabilir ve önceden getirme işletim sisteminin bir sayfa hatasını ele almasını gerektirebilir; Drepper, bu yüzden işlemcilerin karmaşık örüntüleri tanımaya çalışmadığını belirtir. Intel'in akış önceden getiricisi de önceden getirdiği satırları aynı 4 KB'lık sayfanın içinde tutar.

Akış ara bellekleri

Önceden getirilen verinin önbelleğe konması, henüz gerekmeyen satırların gerekli satırları çıkarmasına yol açabilir. Jouppi 1990'da bu sorunu, önceden getirilen satırları önbelleğin dışında, küçük bir akış ara belleğinde (İngilizce: stream buffer) tutarak çözmeyi önerdi. Akış ara belleği bir bulamamayla başlar ve bulamama adresini izleyen satırları sırayla getirir; satırlar önbelleğe ancak gerçekten istendiklerinde aktarılır. Jouppi'nin benzetimlerinde tek bir akış ara belleği buyruk önbelleği bulamamalarının yüzde 72'sini giderebilmiş, ama veri önbelleğinde bu oran yüzde 25'te kalmıştır, çünkü veri erişimleri farklı kaynaklardan gelen iç içe akışlardan oluşur. Dört akış ara belleğinin koşut çalıştığı çok yollu düzen, veri tarafında bulamamaların yüzde 43'ünü gidermiş ve tek akış ara belleğinin başarımını neredeyse iki katına çıkarmıştır. Çıkarılanlar önbellekleri ile akış ara bellekleri birlikte, altı büyük sınama programında birinci düzey önbelleğin bulamama oranını iki ile üç kat azaltmıştır.

Yazılımla önceden getirme

Yazılımla önceden getirmede program, kaynak koduna eklenen özel buyruklarla hangi verinin önceden getirileceğini bildirir. x86 işlemcilerinde bu buyruklar, verinin hangi önbellek düzeyine getirileceğini belirten ipuçları alır. En yakın düzeye getirme ipucu, kapsayan önbelleklerde veriyi bütün düzeylere, dışlayan önbelleklerde ise en alt düzeye getirir; bir başka ipucu veriyi ikinci düzeye getirir; zamana yayılmayan veri ipucu ise satırın kısa süre kullanılacağını ve önbelleği kirletmemesi gerektiğini bildirir. Drepper'e göre donanımla önceden getirmenin, erişim örüntülerinin basit olması gerektiği ve sayfa sınırlarını aşamadığı için yetmediği durumlar, yazılımla önceden getirmeyi gerekli kılar; bunun bedeli kaynak kodun değiştirilmesidir.

Çok çekirdekli işlemcilerde önbellek

Tutarlılık

Ana maddeler: Önbellek tutarlılığı ve MESI protokolü

Her çekirdeğin kendi özel önbellekleri olduğunda, aynı satırın birden çok çekirdekte kopyası bulunabilir ve bir çekirdeğin yazması ötekilerin kopyalarını eskitir. Bu kopyaları tutarlı tutmak için önbellekler bir tutarlılık protokolü izler. Intel işlemcilerinin kullandığı protokol, her satırın değiştirilmiş (M), özel (E), paylaşılan (S) ya da geçersiz (I) durumlarından birinde bulunduğu MESI protokolüdür; Pentium'un veri önbelleği bu protokolü izliyordu, Sandy Bridge'de ise bütün önbellek düzeylerindeki tutarlılık bu protokolle korunur. Bir çekirdeğin bulamaması, istenen satır başka bir çekirdeğin önbelleğinde değiştirilmiş olarak duruyorsa o çekirdekten karşılanmalıdır; Sandy Bridge'de böyle bir erişim 60 çevrim sürer. Bu yüzden işlemci, her bulamamada bütün çekirdeklere sormamak için hangi satırın nerede bulunduğunu izleyen yapılar kullanır. Kapsayan bir son düzey önbellek bu işi kendiliğinden görür; AMD'nin Zen çekirdeklerinde ise üçüncü düzey önbellek, kümesindeki her çekirdeğin ikinci düzey önbelleğinin etiketlerinin bir kopyasını tutar ve bu kopyaları sorguları süzmek ve satırları çekirdekler arasında hızla aktarmak için kullanır.

Yanlış paylaşım

Tutarlılık satır düzeyinde korunduğu için, farklı çekirdeklerin aynı satırda duran farklı değişkenlere yazması da satırın çekirdekler arasında sürekli gidip gelmesine yol açar. Intel bu durumu, iş parçacıklarının aynı önbellek satırını paylaşan farklı değişkenlere eriştiğinde ortaya çıkan bir başarım sorunu olarak tanımlar ve yanlış paylaşım (İngilizce: false sharing) diye adlandırır. Birden çok iş parçacığı aynı satırdaki farklı değişkenlere yazdığında satır için yarışır; bu da gereksiz geçersiz kılmalara ve güncellemelere, dolayısıyla belirgin bir başarım kaybına yol açar ve sorun, aynı satır için yarışan iş parçacığı sayısı arttıkça ağırlaşır. Intel, veri yapılarının ve bellek yerleşiminin paylaşılan satırlar üzerindeki yarışmayı en aza indirecek biçimde tasarlanmasını önerir; Linux'taki perf c2c aracı, çekirdekler arasındaki önbellekten önbelleğe aktarımları çözümleyerek yanlış paylaşımın yaşandığı satırları bulur.

Eşzamanlı çoklu iş parçacığı

Eşzamanlı çoklu iş parçacığı destekleyen bir çekirdekte iki iş parçacığı, yazmaçlar dışında çekirdeğin bütün kaynaklarını ve bu arada birinci düzey önbellekleri de paylaşır. Percival'in 2005'teki incelemesine göre Pentium 4'ün 64 baytlık 128 satırdan oluşan, 32 kümeli ve dört yollu birinci düzey veri önbelleği iki iş parçacığı arasında tümüyle paylaşılıyordu. Paylaşım, iş parçacıklarından birinin çalışma kümesi büyükse ötekinin önbellekteki satırlarını çıkarabileceği anlamına gelir; aynı paylaşım, güvenlik açısından da sonuçlar doğurur.

Önbellek bölüştürme

Paylaşılan son düzey önbellekte bir uygulamanın ötekilerin satırlarını çıkarabilmesi, gerçek zamanlı uygulamalarda yanıt süresini öngörülemez kılabilir; Intel'in beyaz bülteni bu nedenle sistem yöneticisinin önbelleğin bir bölümünü belirli çekirdeklere ayırabilmesini amaçlar. Intel'in Cache Allocation Technology (CAT) adlı düzeneği, işletim sisteminin ya da sanal makine izleyicisinin bir uygulamanın son düzey önbellekte ne kadar yere satır yerleştirebileceğini belirlemesini sağlar. Her hizmet sınıfına bir kapasite bit maskesi atanır; maskeler sınıfların kullanabileceği önbellek bölgelerini ve bu bölgelerin birbiriyle ne ölçüde örtüşeceğini gösterir. Intel'in beyaz bülteni önbelleğin yollara bölündüğünü ve bu yolların CAT ile çekirdekler arasında paylaştırıldığını açıklar; bölüştürme yalnızca satırların nereye yerleştirileceğini sınırlar, bir çekirdeğin erişimi son düzey önbelleğin herhangi bir yerinde duran bir satırda yine de bulma ile sonuçlanabilir. ARM'ın çekirdek kümelerinde paylaşılan üçüncü düzey önbellek de bölüştürmeyi destekler.

Güvenlik

Ana madde: Yan kanal saldırısı

Önbellekte bulunan bir veriye erişim, bulunmayan bir veriye erişimden çok daha kısa sürer. Bu süre farkı, bir programın başka bir programın hangi belleğe eriştiğini dolaylı yoldan öğrenmesine olanak verir ve önbelleği bir yan kanal hâline getirir. Bernstein 2005'te bir ağ sunucusundaki AES şifrelemesinin zamanlamasını uzaktan ölçerek anahtarın tamamını elde etmiş ve bir dizinin bir elemanını, süresi elemanın konumuna bağlı olmadan okumanın son derece güç olduğunu göstermiştir. Bernstein'ın uyarısına göre gizli bir veriyi bir dizinin konumu olarak kullanmak felakete davetiyedir. Gizli veriye bağlı tablo okumaları yapan şifreleme yazılımları bu nedenle önbellek saldırılarının başlıca hedefidir.

Prime+Probe ve Evict+Time

Osvik, Shamir ve Tromer 2005'te iki saldırı yöntemini tanımladı. Evict+Time yönteminde saldırgan, kurbanın şifreleme işleminden önce önbellekteki belirli satırları çıkarır ve işlemin süresindeki değişimi ölçer. Prime+Probe yönteminde ise saldırgan önce önbelleği kendi verisiyle doldurur, kurbanın işlemi bittikten sonra kendi verisine erişim sürelerini küme küme ölçer; kurbanın eriştiği kümelerde saldırganın satırları çıkarılmış olacağından bu erişimler bulamamayla sonuçlanır. Prime+Probe'un bir üstünlüğü, saldırganın karmaşık bir şifreleme hizmetini değil, kendi yaptığı basit bir işlemi zamanlamasıdır. Yazarlar bu yöntemlerle 128 bitlik bir AES anahtarını Athlon 64'te 300, Pentium 4E'de 16.000 şifrelemeden sonra elde etmiştir.

Percival aynı yıl, eşzamanlı çoklu iş parçacığında iki iş parçacığının önbellekleri paylaşmasının hem iş parçacıkları arasında yüksek bant genişlikli bir gizli kanal açtığını hem de kötü niyetli bir iş parçacığının ötekinin çalışmasını izlemesine izin verdiğini gösterdi; birinci düzey veri önbelleği üzerinden kurulan kanal 2,8 GHz'lik bir işlemcide saniyede 400 kilobayt taşıyabiliyordu. Saldırı, OpenSSL'in 1024 bitlik bir RSA işleminde 512 bitlik her üsten tipik olarak yaklaşık 200 bit elde edebilmişti.

İlk saldırılar saldırgan ile kurbanın aynı çekirdeği paylaşmasını gerektiriyordu. Liu ve arkadaşları 2015'te Prime+Probe'u, çekirdekler arasında paylaşılan son düzey önbelleğe karşı da uygulanabilir hâle getirdi. Saldırgan, kendi adres alanında son düzey önbelleğin belirli bir kümesine düşen bellek satırlarından bir çıkarma kümesi (İngilizce: eviction set) kurar; Intel'in dilimler arasındaki karma işlevi yayımlanmadığı için yazarlar bu kümeleri çakışan adresleri arayarak bulmuştur. Saldırı, sanal makineler arasında ve saldırgan ile kurbanın belleği paylaşmasına gerek kalmadan GnuPG'nin şifreleme anahtarlarını elde etmiştir.

Flush+Reload

Flush+Reload saldırısında bir tur. Saldırgan paylaşılan satırı CLFLUSH ile bütün önbellek düzeylerinden çıkarır, bekler ve satırı yeniden okuyup süreyi ölçer. Kurban beklerken satıra erişmişse okuma kısa sürer ve eşiğin altında kalır (önbellekte bulma), erişmemişse satır bellekten okunur ve süre eşiği aşar.

Yarom ve Falkner'ın 2014'te tanımladığı Flush+Reload saldırısı, saldırgan ile kurbanın aynı fiziksel bellek sayfalarını paylaşmasından yararlanır. Sanal makineleri barındıran sistemler, aynı içerikteki sayfaları birleştirerek bellekten tasarruf eder; bu birleştirme, birbirinden habersiz iki sanal makinenin aynı kütüphane kodunu aynı fiziksel sayfadan çalıştırmasına yol açar. Saldırının her turu üç aşamadan oluşur: saldırgan izlediği bellek satırını önbellek hiyerarşisinden çıkarır, bir süre bekler ve satırı yeniden okuyarak okumanın ne kadar sürdüğünü ölçer. Okuma kısa sürerse satır önbellekte bulunmuştur; bu, kurbanın bekleme süresince o satıra eriştiğini gösterir. Satırı çıkarmak için x86'nın CLFLUSH buyruğu kullanılır; bu buyruk satırı paylaşılan son düzey önbellek dahil bütün düzeylerden çıkarır. Saldırı, kapsayan son düzey önbelleğin bir özelliğine dayanır; son düzeyden çıkarılan bir satır öteki bütün düzeylerden de çıkarılır, bu yüzden saldırgan ile kurbanın aynı çekirdekte çalışması gerekmez. Yazarlar bu yöntemle GnuPG'nin RSA anahtarının bitlerinin yüzde 96,7'sini, sanal makineler arasında tek bir imza ya da şifre çözme işlemini izleyerek elde etmiştir.

Spectre ve Meltdown

Ana madde: Spectre (güvenlik açığı)

Spectre ve Meltdown saldırılarında önbellek, gizli veriyi işlemcinin içinden dışarı taşıyan kanal olarak kullanılır. Spectre saldırıları kurbanı, doğru yürütmede hiç yapılmayacak işlemleri öngörüye dayalı olarak yapmaya ve kurbanın gizli bilgisini bir yan kanal üzerinden sızdırmaya yöneltir. Öngörü yanlış çıktığında işlemci yazmaçlardaki sonuçları geri alır, ama önbelleğin içeriği gibi mikromimari durumdaki değişiklikler geri alınmaz. Gizli veriye bağlı bir adresten yapılan öngörüye dayalı bir okuma o adresin satırını önbelleğe getirir; saldırgan da Flush+Reload ya da benzeri bir yöntemle hangi satırın önbellekte olduğunu ölçerek gizli değeri bulur. Meltdown saldırısı da ayrıcalıklı belleği sırasız yürütülen buyruklarla okur ve okunan değeri Flush+Reload üzerinden kurulan bir gizli kanalla dışarı aktarır; yazarlar çekirdek belleğini saniyede 3,2 ile 503 kilobayt arasında bir hızla okuyabildiklerini bildirmiştir.

Karşı önlemler

Önbellek saldırılarına karşı önlemler, saldırının dayandığı koşulları ortadan kaldırmayı hedefler. Yarom ve Falkner, sayfa paylaşımının engellenmesinin Flush+Reload'u da engellediğini belirtir. Liu ve arkadaşlarının önerdiği CATalyst, Intel'in yollara dayalı önbellek bölüştürme düzeneği CAT'i kullanarak son düzey önbelleği donanım ve yazılımla birlikte yönetilen bir önbelleğe dönüştürür ve güvenliği önemli sayfaları ayrılmış bir bölgede tutar; yazarlara göre CAT'in kendisi, inceledikleri işlemcilerde yalnızca dört hizmet sınıfına izin verdiği için güvenlik amacıyla tek başına yetersizdir. Qureshi'nin önerdiği CEASER ise önbelleği adresin kendisiyle değil, düşük gecikmeli bir blok şifreyle şifrelenmiş hâliyle dizinler ve şifreleme anahtarını belirli aralıklarla değiştirir; böylece saldırganın hangi adreslerin aynı kümeye düştüğünü bulması güçleşir. Yöntem Prime+Probe gibi çakışmaya dayalı saldırıları hedefler.

Gerçeklemeler

Çizelge, bazı işlemcilerin önbellek düzenini üreticilerin belgelerinde ve teknik yayınlarda verilen değerlerle özetler. Değerler çekirdek başınadır; aksi belirtilmedikçe satır uzunluğu 64 bayttır. Boş hücreler o düzeyin bulunmadığını ya da kaynakta verilmediğini gösterir.

Bazı işlemcilerin önbellek düzeyleri. y: yol sayısı (ilişkililik), ç: yükle-kullan gecikmesi (çevrim).

İşlemci	Birinci düzey buyruk	Birinci düzey veri	İkinci düzey	Üçüncü düzey
Motorola MC68020	256 B, doğrudan eşlemeli
Motorola MC68030	256 B, 16 baytlık 16 girdi	256 B, doğrudan yazmalı
Intel i486	8 KB ortak, 4y, 16 baytlık satır, doğrudan yazmalı
Intel Pentium	8 KB, 2y, 32 baytlık satır	8 KB, 2y, 32 baytlık satır, geri ya da doğrudan yazmalı
Intel Pentium Pro	8 KB	8 KB	256 KB, aynı pakette ayrı kırmık
Intel Pentium II	16 KB	16 KB	512 KB, kartuşta, işlemcinin yarı hızında
Intel Pentium 4	iz önbelleği, 12.000 mikro işlem	8 KB, 4y	256 KB, 8y, 128 baytlık satır
DEC Alpha 21164	8 KB, doğrudan eşlemeli	8 KB, doğrudan eşlemeli, doğrudan yazmalı	96 KB, 3y, yonga üstü	1-64 MB, yonga dışı, isteğe bağlı
IBM POWER4	64 KB, doğrudan eşlemeli, 128 baytlık satır	32 KB, 2y, 128 baytlık satır	iki çekirdeğe 1,5 MB, 8y	32 MB, 8y, 512 baytlık satır, yonga dışı gömülü DRAM
IBM POWER7	32 KB	32 KB	256 KB	sekiz çekirdeğe 32 MB, yonga üstü gömülü DRAM
Intel Sandy Bridge	32 KB, 8y	32 KB, 8y, 4ç	256 KB, 8y, 12ç	paylaşılan, kapsayan, 26-31ç
Intel Skylake (istemci)	32 KB, 8y	32 KB, 8y, 4ç	256 KB, 4y, 12ç	paylaşılan, çekirdek başına 2 MB'a kadar, 16y'ye kadar, 44ç
Intel Skylake (sunucu)		32 KB, 8y, 4-6ç	1 MB, 16y, 14ç	paylaşılan, ne kapsayan ne dışlayan, çekirdek başına 1,375 MB, 50-70ç
AMD Zen	64 KB, 4y	32 KB, 8y, 4-5ç	512 KB, 8y, 12ç'den az değil	dört çekirdeğe 4 ya da 8 MB, 16y, ortalama 35ç
AMD Zen 3	32 KB, 8y	32 KB, 8y	512 KB, 8y, 12ç'den az değil	sekiz çekirdeğe 32 MB'a kadar, 16y, ortalama 46ç
AMD Zen 4	32 KB, 8y	32 KB, 8y, 4-5ç	1 MB, 14ç'den az değil	sekiz çekirdeğe 32 MB'a kadar, ortalama 50ç
AMD Zen 5	32 KB, 8y	48 KB, 12y	1 MB, 16y, 14ç'den az değil	96 MB'a kadar, 16y, ortalama 46ç
ARM Cortex-A76	64 KB, 4y	64 KB, 4y	128, 256 ya da 512 KB, 8y	kümede paylaşılan, 512 KB-4 MB, 16y
IBM Telum			32 MB, 19ç	sanal, 256 MB

Önbellek tasarımında ödünleşimler

Önbellek tasarımı, birbiriyle çatışan birkaç ölçünün dengelenmesidir. Mahapatra ve Venkatrao'nun özetlediği gibi küçük bellek daha hızlıdır, çünkü büyük bellekte sinyal gecikmesi uzar ve adresin çözülmesi daha çok aşama gerektirir; önbellekler bu yüzden statik rastgele erişimli bellekten (SRAM), ana bellek ise daha yoğun ama daha yavaş DRAM'den yapılır. Banakar ve arkadaşlarının alan ve enerji modelinde de bellek hücresi altı transistörlü bir statik RAM hücresidir.

Bir önbellek dizisinden okuma, kod çözücünün bir sözcük hattını sürmesi, seçilen satırdaki hücrelerin önceden yüksek düzeye çekilmiş bit hatlarından birini aşağı çekmesi ve bu değişimin algılanmasıyla yapılır. Wilton ve Jouppi'nin modelinde tasarımcı diziyi düşey ve yatay kesimlerle alt dizilere bölerek sözcük hatlarını ve bit hatlarını kısaltabilir; alt dizilerin sayısı bu iki bölmenin çarpımıdır. Muralimanohar ve arkadaşlarının modeli bu iki birimi birbirinden ayırır: koşut olarak erişilebilen bölmeler aynı anda farklı istekleri karşılayabilir, bir bölmenin içindeki alt diziler ise yalnızca tek bir erişimi destekler. Aynı çalışmaya göre büyük önbelleklerin özelliklerini öncelikle bölmeleri birbirine bağlayan ağ belirler. Bu kararları değerlendirmek için önbellek erişim süresini çözümsel olarak hesaplayan modeller kullanılır; Wilton ve Jouppi'nin modeli, devre benzetimiyle elde edilen sonuçların yüzde 10'u içinde kalan ve devre benzetiminden 100.000 kat daha hızlı sonuç veren bir yöntem olarak sunulmuştur.

Enerji tüketimi de önbellek düzenini belirler. Banakar ve arkadaşlarının aktardığına göre yonga üstü SRAM önbellekleri toplam yonga gücünün yüzde 25 ile 45'ini tüketebilir. Kümeli ilişkili bir önbellekte bütün yolların koşut olarak okunması erişimi hızlandırır ama okunan verinin çoğu boşa gider; yol öngörüsü, mikro etiketler ve ardışık erişim bu bedeli azaltan yöntemlerdir.

Bellek teknolojisinin seçimi kapasite ile hız arasındaki dengeyi değiştirir. IBM, POWER7'nin yonga üstündeki 32 MB'lık üçüncü düzey önbelleğini gömülü DRAM ile yapmış ve 1,2 milyar transistörlük yonganın, gömülü DRAM'in verimliliği sayesinde 2,7 milyar transistörlük bir tasarımın işlevini gördüğünü belirtmiştir. Üç boyutlu yığma ise önbelleği büyütmek için işlemci kırmığının alanını büyütmek yerine, ayrı bir kırmığı onun üstüne bağlamaya olanak verir; AMD'nin 3D V-Cache'i 74 mm²'lik hesaplama yongacığının üçüncü düzey önbelleğini 32 MB'tan 96 MB'a çıkarmıştır.

Ayrıca bakınız

• Von Neumann darboğazı
• Harvard mimarisi
• Sayfalama
• NUMA
• Çoklu işleme

Dış bağlantılar

• Önbellek ilkesini anlatan HowStuffWorks sayfası 24 Aralık 2007 tarihinde Wayback Machine sitesinde arşivlendi.