Veri (Merkezi) İşlem Birimi : DPU
Bölüm-2

Celal Ünalp 
 

Bilişim Sistemlerinde Yüksek Başarım

Bilgisayarın icadı bilim insanı ve mühendislere yeni ufuklar açmıştır. Bu sayede o zaman kadar çözümlenememiş problemlere el atılmış, karmaşık mühendislik uygulamaları hayata geçirilebilmiştir.

Kişisel bilgisayar devrimi, her iş yerinde ve her evde bir bilgisayar bulunması sağlanarak başarıya ulaşmıştır. Bu ticari yaklaşım da herkesin fiziksel boyut ve maliyet olarak ulaşabileceği bir cihazın ancak genel maksatlı ve kısıtlı kapasiteye sahip olmasını gerektirmektedir.

Soğuk savaş döneminin özel şartları, askeri, bilimsel, akademik görev ve çalışmaların sayı ve kapsamlarının hızla artmasına sebep olurken, kişisel veya kurumsal ölçekteki bilişim kaynaklarının, ulusal veya küresel ölçekteki gereksinimleri karşılamakta yetersiz kalacağı hemen anlaşılmıştır.

Bilgisayarlar giderek yaygınlaşırken zorlu problemlerin gerektirdiği hesaplamalar için bilişim sistemlerinde yüksek başarıma gerek duyulmuş, ulusal veya daha üst ölçeklerdeki hedeflere ulaşmak için teknik, idari ve ticari arayışlar başlamıştır.

Bu arayışlar, tek bir işlemciden kaynaklı saat hızı sınırlamaları, bellek erişim kısıtlamaları, aşırı güç tüketimi ve çok miktarda fiziksel kapasite ihtiyacı gibi teknik sorunları beraberinde getirmiştir.

Yüksek başarımlı bilgisayarlar görevlerine özel tasarlanmış, çok yüksek kapasiteli, çok hızlı ve çok güçlü bileşenlerin çok sayıda ve aynı anda (paralel) devrede olacağı yapılar şeklinde evrimleşmiştir. Yüksek başarıma ulaşmak için yürütülen çalışmalar sırasında, çoklu işlemciler, çoklu çekirdekler, bellekler, grafik kartları, veri depolama üniteleri, sanallaştırma, yük azaltma, yük aktarma, yük dengeleme teknikleri, dağıtık yapılar, paralel yapılar, kümeleme sistemleri, süper bilgisayarlar, grid yapılar, yüksek erişilebilirlik ve nihayetinde bulut bilişim altyapıları olağanüstü gelişmeler sergilemiştir.

A.B.D.’de 1970’lerin başlarından itibaren, özellikle savunma, enerji ve çevre laboratuvarları yüksek başarımlı bilişim sektörünün temel itici gücü olmuşlardır. 1980’lere gelindiğinde yüksek başarımlı bilgisayarları bazı özel araştırma topluluklarının tekelinden kurtarma girişimleri başlamıştır. Genel amaçlı yüksek başarımlı veri merkezleri kurmak ve artık tamamen kabul görmüş olan hesaplamalı bilim yaklaşımını tüm bilim alanlarına yayma zamanı gelmiştir. 20. yüzyılın son on yılında hemen her kıtada yüksek başarımlı veri merkezleri belirirken, yılda iki kez en güçlü ilk 500 listeleri yayımlanmaya başlanmıştır. Avrupa Birliği de bu merkezlerin gelişmesini aktif olarak desteklemekte, uyum içinde çalışmalarına büyük önem vermektedir.
 

Haziran 2022 verilerine göre, dünyanın en hızlı sistemi, A.B.D.’de yer alan 8,730,112 işlemci çekirdeğine sahip ve ilk Exascale hesaplama kapasitesine ulaşan Frontier’dır.

20. yüzyıl ile yüksek başarımlı bilgisayarlar çok çeşitli alanlarda hizmet vermeye başlarken tüm temel bilimciler için vazgeçilmez araştırma aracı haline geldiler. Evrenin sırlarını çözmeye çalışan gökbilimci de gezegenimizdeki hayatın ortak dilini anlamaya çalışan moleküler biyolog da yüksek başarımlı bilgisayarlardan faydalanarak çalışmalarını sürdürmekteler. İnsanın etkisiyle ya da doğal nedenlerle değişen iklimin, bize 21. yüzyılda ne tür sürprizler hazırlayabileceğini anlamak ancak çok sayıda ve ayrıntılı simülasyonlarla mümkün olabilmektedir.

Yüksek başarımlı bilgisayarlar günümüzde ayrıca endüstriyel tasarım sürecinin tezgâhı görevini üstlenmektedir. Uçaktan, otomobile, çamaşır makinesinden, buzdolabına, aklımıza gelebilecek hemen her türlü endüstriyel ürün önce yüksek başarımlı bilgisayarlarda sayısal ikiz şeklinde simüle edilmektedir.

Sağlık hizmetleri, insan bedeninin işleyişini daha iyi anlamak, yeni tanı teknikleri geliştirmek için yoğun hesaplamadan yararlanmaktadır. İlaç endüstrisi yeni ilaçları artık deneme yanılmayla değil, moleküllerin davranışlarını hesaplamalarla eşleştirerek geliştirmektedir.

Yüksek başarımlı hesaplama veri merkezleri, ülkelerin inovasyon sistemlerine, gelişmiş ülkelerdeki gibi yeni ufuklar açacak hizmetler sunmaktadır. Bu veri merkezlerinin yüksek başarımlı hesaplama ve veri depolama hizmetlerinin ötesinde ileri bilişim teknoloji uygulamalarının gerçekleştirildiği bir sinerji odağı (HUB) olması da gizli katma değerleridir.

Günümüzde yeniliğin ve dijital dönüşümün olduğu her yerde izlerini gördüğümüz Yüksek Başarımlı Hesaplama ile ulusal ölçekte yapılan çalışmaları yaygınlaştırmak, geliştirmek, deneyimleri aktarmak ve bu teknolojiyi kullanan paydaşları bir araya getirmek amacıyla sürdürülmekte olan ULUSAL YÜKSEK BAŞARIMLI HESAPLAMA KONFERANSI’nın yedincisi BAŞARIM 2022 başlığı altında 11-13 Mayıs 2022 tarihlerinde düzenlenmiştir.

Konferans kapsamında, Türkiye’de, çok çekirdekli, çok işlemcili, grafik işlemci birimi (GPU) tabanlı, bulut, küme, vb. sistemler ile yüksek başarım elde ederek aşağıdaki alanlarda gerçekleştirilecek çalışmalar değerlendirilmiştir :

•        Hesaplamalı Bilim ve Mühendislik Uygulamaları

•        Endüstri Uygulamaları

•        Makine Öğrenimi için Yüksek Başarım

•        Büyük Veri Uygulamaları

•        Koşut Algoritmalar ve Yaklaşımlar

•        İletişim Sistemleri ve Ara Katmanları

•        Modern Paralel Bilgisayar Donanımları ve Ağları

•        Dağıtık Sistemler

•        Derleyiciler, Kütüphaneler ve Araçlar

•        İş Düzenleyicileri

•        Yüksek Başarımlı Görüntüleme ve Grafik

•        Eniyileme, Verimlilik ve Başarım Ölçümü

•        Başarım Modelleme

•        Güvenilirlik ve Hataya Dayanıklılık

•        Kaynak Yönetimi

•        Veri Merkezleri ve Yeşil Hesaplama

•        Bulut Hesaplamaları

•        Blok zincir Uygulamaları

Bu kapsamda, açık veri, büyük veri, yapay zeka ve makine öğrenmesi arasındaki ilişki yüksek başarımlı hesaplama çalışmalarında geldiğimiz noktayı özetlemektedir.

Günümüzde yüksek başarımlı bilgisayarlar, tüketici sınıfı bilişim ürünlerinden alabileceğinizden çok daha yüksek hesaplama gücü alabileceğiniz şekilde birden çok bilgisayarın gücünü toplamakta, çok sayıda işlemci çekirdeği, yüksek hızlı grafik kartları, ağ kartları, paralel dosya sistemleri ile güvenilir donanım ürünlerini akıllı bir tasarımda birleştirip paralel hesaplama yapmak amacıyla kullanılmaktadırlar.

Genel Maksatlı Grafik İşlem Birimi : GPGPU

Bir bilgisayarın insan beyni gibi çalışabilmesi, düşünebilmesi, konuşabilmesi veya karmaşık konularda insansı kararlar verebilmesi için öncelikle insan gibi eğitilmesi ve hatalar yaparak hatalarından dersler alması gerekmektedir.

Bu eğitim süreci literatürde denetimli, denetimsiz veya takviyeli makine öğrenmesi olarak üç başlıkta incelenmektedir. Yapay sinir ağları üzerine kurgulanmış çoklu girdi ve çıktıların söz konusu olduğu yüksek başarım gerektiren katmanlarda ise derin öğrenme kavramına başvurulmaktadır.

Makine öğrenmesi, bilgisayarda birçok matris toplama ve çarpmadan oluşan doğrusal denklem çözümlemesiyle birçok hesaplamanın eş zamanlı ve yüksek başarımla yapılmasını gerektirmektedir. 

Genel maksatlı ve kısıtlı kapasiteye sahip kişisel bilgisayar işlemcileri, yalnızca ardışık görev başarımına sahip olduklarından, eş zamanlı ve çok büyük görevler karşısında, saat hızı, bellek erişim kısıtları ve aşırı güç tüketimi gibi temel teknik engellere takılmaktadır.

Başlangıçta yalnızca bilgisayar çıktılarını ekranda görüntülemek için kullanılan grafik kartları, 90’ların sonuna doğru oyun endüstrisinin itici gücüyle yüksek çözünürlüklerde deneyim sağlamak için karmaşık çokgen hesaplamaları yapabilir düzeye gelmişler ve artan talepleri karşılamak için özel maksatlı grafik işlemcileri ortaya çıkmıştır. Bu sayede daha yüksek çözünürlüklerde görüntüyü, daha iyi işleyerek daha yüksek kare görüntüleme sayılarıyla ekrana basabilen ve dolayısıyla matris toplama ve çarpmada çok yüksek başarımlar elde edebilen grafik işlem birimleri (GPU) doğmuştur.

Özel maksatlı GPU’ların başarımları yine özel maksatlı çok sayıda çekirdeğin paralel kullanımıyla hızla artmış, 2010 sonrasında teraflop duvarı aşılmış, çok sayıda GPU’nun aynı görev üzerinde çalışabileceği altyapılar mümkün hale gelmiş ve bu kazanımların kripto varlık evreni başta olmak üzere, yüksek başarımlı hesaplamalarda kullanımı büyük bir çığır açmıştır.

Bir sunucu işlemcisinde 24 ila 48 çekirdek çalışırken aynı sunucuya 4 ila 8 GPU eklemek, 40.000'e kadar ek çekirdek sağlayabilir ve böylece tekrarlayan bilgi işlem görevleri için muazzam miktarda paralellik ve yüksek başarım elde edilebilir.

Üniversiteler, Tesla, Google, Amazon ve Meta bu alana doğrudan büyük yatırımlar yapmış, özel maksatlı GPU’ların makine öğrenmesi görevleri için daha da özelleşmiş ve enerji tüketimi düşük hızlandırıcı donanımların evrimiyle yeni türleri ortaya çıkmış ve nihayetinde makine öğrenmesi önündeki temel teknik engellerin büyük kısmı ortadan kalkmıştır.

Son 10 yılda bilişim sistemlerinde birden fazla GPU’nun veya çok sayıda grafik çekirdeğinin kullanılması, grafik işlemenin zaten paralel olan doğasını daha da paralel hale getirmiş, GPU’ların grafik işleme dışındaki işlemler için de kullanılması “Grafik İşleme Birimlerinde Genel Amaçlı Hesaplama” (General-purpose computing on graphics processing units – GPGPU) tanımını literatüre kazandırmıştır.

Heterojen Bilişim Devrimi : DPU

Buraya kadar aktarılanlar genel maksatlı işlemcilerin, görevler ayrılığına dayalı özelleştirilmiş ve belirli bir tür hesaplamaya atanmış işlem birimiyle rekabet edemeyeceğini vurgulamaktadır.

Heterojen bilişim, birden fazla türde (ARM, x86, RISC-V vb.) işlemci veya çekirdeği bir arada ve eş zamanlı kullanabilen sistemleri ifade eder. Bu sistemler performans veya enerji verimliliğini sadece aynı tip işlemcileri ekleyerek değil, genellikle belirli görevleri yerine getirmek için özel işleme yeteneklerini birleştiren farklı yardımcı işlemciler ekleyerek kazanır.

Heterojen sistemlerde CPU, GPU, QPU, TPU, VPU, FPGA veya ASIC gibi farklı öğeler, tek bir birim olarak çalışabilmeleri için yüksek verimli, düşük gecikmeli kanallar aracılığıyla birbirine bağlanır.

Günümüzün bilgi işlem sistemleri, ağa erişim için (özellikle 100 Gbps veya daha hızlı ağların piyasaya sürülmesinden sonra) veya depolamaya erişim için (özellikle PCIe arayüzü üzerinden SSD'lere erişmek için NVMe'nin piyasaya sürülmesinden sonra) çok yüksek bir gelen ve giden veri aktarımı hızına maruz kalmaktadır.

Veri aktarım yükünün bir kısmını boşaltmaya yönelik daha önceki girişimler, TCP işleme parçasını boşaltabilen bir işlemci ile donatılmış TOE NIC'ler (TCP Offload Engine Network Interface Cards) tarafından başlatılmıştır.

Daha sonraki çözümler, ağ bağdaştırıcısı üzerindeki işleme yeteneklerine daha fazla yatırım yaparak, kripto işlevlerinin de boşaltılmasını sağlamış, SmartNIC terimi, bu cihazları ve ayrıca satıcıya özgü diğer bazı terimleri tanımlamak için BT topluluğu içinde ortaya çıkmıştır. Ancak, bu kavram bilgi işlem mimarisine çok daha geniş bir yelpazede fayda sağlayan üretici-bağımsız bir kimliğe kavuşamamıştır.

Basit sanallaştırmadan, konteyner iş yükleri dünyasına geçişte, uygulamalar adanmış sunucu kümelerinde değil, talep üzerine gerektiğinde oluşturulabilen (tahsis edilip birleştirilebilen), daha sonra uygulamalar ve iş yükleri değiştikçe yeniden düzenlenip tahsis edilebilen YAZILIM TANIMLI kaynak havuzlarında koşmaktadırlar.

Böylece gerektiğinde CPU hesaplama, GPU hesaplama, yazılım tanımlı güvenlik, yazılım tanımlı ağ erişimi ve yazılım tanımlı depolama gibi kaynaklar ELASTİK bir stratejiyle hizmete dönüştürülmektedir.

Bu yapıda ortaya çıkan yeni gereksinimler, belirli iş yüklerini boşaltma, azaltma, aktarma, hızlandırma ve yalıtma yeteneğine sahip bir veri (merkezi) işlem birimi (Data Processing Unit – DPU) mimarisini zorunlu kılmıştır.

Konsept, bir mikro denetleyiciye sahip ilkel bir ağ bağdaştırıcısından, birden fazla türde ve mimaride işlemciler, bellek, işletim sistemi, depolama kaynakları ve ağ yetenekleri içeren tam donanım sanallaştırmalı bir bilgi işlem sistemine dönüşmüştür.

Heterojen bilişime doğru giden yolda GPU'nun ayak izlerini takip eden DPU, görevlerin ayrılığı stratejisini tamamlayarak CPU'yu pratikte yalnızca uygulamaların performanslarını artırmak için yürütme ve orkestrasyon işlem birimi olarak bırakacaktır.