Çıkarım maliyetleri arttıkça şirketler yapay zeka altyapısını yeniden düşünüyor

Asya Pasifik’te suni zeka harcamaları artmaya devam ediyor sadece birçok şirket hâlâ suni zeka projelerinden kıymet elde etmekte zorlanıyor. Bir çok sistem, gerçek uygulamaların gerekseme duyduğu hızda yada ölçekte çıkarım yapmak suretiyle tasarlanmadığından, bunların bir çok suni zekayı destekleyen altyapıyla ilgilidir. Sektör emekleri, birçok projenin problem sebebiyle GenAI araçlarına meydana getirilen yoğun yatırımlardan sonrasında bile yatırım getirisi hedeflerini tutturamadığını gösteriyor.

Bu boşluk, suni zeka altyapısının performansı, maliyeti ve bölgedeki gerçek dünya dağıtımlarını ölçeklendirme kabiliyetini ne kadar etkilediğini gösteriyor.

Akamai, NVIDIA ile oluşturulan ve en yeni Blackwell GPU’larla desteklenen Inference Cloud ile bu zorluğun üstesinden gelmeye çalışıyor. Düşünce rahat: Bir çok suni zeka uygulamasının gerçek zamanlı karar vermesi gerekiyorsa, bu kararların uzak veri merkezleri yerine kullanıcılara yakın bir yerde verilmesi gerekiyor. Akamai, bu değişimin şirketlerin maliyetleri yönetmesine, gecikmeleri azaltmasına ve anlık yanıtlara dayalı suni zeka hizmetlerini desteklemesine destek olabileceğini iddia ediyor.

Akamai Bulut Bilişim CTO’su Jay Jenkins şunları söylemiş oldu: Suni Zeka Haberleri niçin bu an, işletmeleri suni zekayı iyi mi kullanacaklarını tekrardan düşünmeye zorluyor ve niçin eğitim değil de çıkarım gerçek darboğaz haline geldi?

Suni zeka projeleri niçin doğru altyapı olmadan güçlük yaşıyor?

Jenkins, tecrübe etme ile tam ölçekli dağıtım arasındaki farkın birçok kuruluşun beklediğinden oldukça daha geniş bulunduğunu söylüyor. “Birçok suni zeka girişimi beklenen iş kıymetini sağlayamıyor zira işletmeler çoğu zaman gözlem ile üretim arasındaki boşluğu hafife alıyor” diyor. GenAI’ya olan yoğun ilgiye karşın büyük altyapı faturaları, yüksek gecikme süresi ve modelleri geniş ölçekte çalıştırmanın zorluğu bir çok süre ilerlemeyi engelliyor.

Bir çok şirket hâlâ merkezi bulutlara ve büyük GPU kümelerine güveniyor. Sadece kullanım arttıkça bu kurulumlar bilhassa büyük bulut bölgelerinden uzak bölgelerde oldukça pahalı hale geliyor. Modellerin uzun mesafelerde birden fazla çıkarım adımı yürütmesi gerektiğinde gecikme de mühim bir problem haline gelir. Jenkins, “Suni zeka yalnızca üstünde çalmış olduğu altyapı ve mimari kadar güçlüdür” diyor ve gecikmenin çoğu zaman kullanıcı deneyimini ve işletmenin sunmayı ummuş olduğu kıymeti zayıflattığını ekliyor. Ek olarak pilot projelerden üretime geçişi yavaşlatan ortak engeller olarak çoklu bulut kurulumlarına, karmaşık veri kurallarına ve artan uyumluluk gereksinimlerine da dikkat çekiyor.

Çıkarım niçin artık eğitimden daha çok dikkat gerektiriyor?

Asya Pasifik genelinde suni zekanın benimsenmesi, ufak pilot uygulamalardan uygulama ve hizmetlerde gerçek dağıtımlara doğru değişiyor. Jenkins, bu gerçekleşirken, hesaplama gücünün çoğunu tüketen şeyin ara sıra meydana getirilen eğitim döngüsü değil, günlük çıkarım bulunduğunu belirtiyor. Pek oldukça kuruluşun birden fazla pazarda dil, vizyon ve oldukça modlu modelleri kullanıma sunmasıyla beraber süratli ve güvenilir çıkarıma olan talep beklenenden daha süratli artıyor. Bu yüzden çıkarım bölgede temel engelleme haline geldi. Modellerin artık değişik dillerde, düzenlemelerde ve veri ortamlarında, çoğunlukla gerçek zamanlı olarak emek harcaması gerekiyor. Bu, hiçbir süre bu seviyede cevap verme hızı için tasarlanmamış merkezi sistemler üstünde çok büyük bir baskı oluşturuyor.

Edge altyapısı suni zeka performansını ve maliyetini iyi mi iyileştirir?

Jenkins, çıkarımı kullanıcılara, cihazlara yada aracılara yaklaştırmanın maliyet denklemini tekrardan şekillendirebileceğini söylüyor. Bunu yapmak, verilerin kat etmesi ihtiyaç duyulan mesafeyi kısaltır ve modellerin daha süratli cevap vermesini sağlar. Hem de büyük oranda veriyi büyük bulut merkezleri içinde yönlendirme maliyetini de ortadan kaldırır.

Fizyolojik suni zeka sistemleri (robotlar, otonom makineler yada akıllı kent araçları) milisaniyeler içinde alınan kararlara bağlıdır. Çıkarım uzaktan yapıldığında bu sistemler beklendiği benzer biçimde çalışmaz.

Daha yerelleştirilmiş dağıtımlardan elde edilmiş tasarruflar da mühim olabilir. Jenkins, Akamai analizinin, Hindistan ve Vietnam’daki işletmelerin, iş yükleri merkezi bulutlar yerine kenara yerleştirildiğinde görüntü oluşturma modellerini çalıştırma maliyetlerinde büyük düşüşler gördüklerini gösterdiğini söylüyor. Daha iyi GPU kullanımı ve daha düşük çıkış ücretleri bu tasarruflarda mühim bir rol oynadı.

Uç tabanlı suni zekanın ilgi kazanılmış olduğu yer

Uç çıkarımlara yönelik erken talep, ufak gecikmelerin bile geliri, güvenliği yada kullanıcı etkileşimini etkileyebileceği sektörlerde en kuvvetli olanıdır. Perakende ve e-ticaret ilk benimseyenler içinde içeriyor zira alışveriş yapanlar çoğu zaman yavaş deneyimlerden vazgeçiyor. Kişiselleştirilmiş tavsiyeler, arama ve oldukça modlu alışveriş araçlarının tümü, çıkarım mahalli ve süratli olduğunda daha iyi performans gösterir.

Finans, gecikmenin kıymeti direkt etkilediği başka bir alandır. Jenkins, dolandırıcılık kontrolleri, ödeme onayı ve işlem puanlama benzer biçimde iş yüklerinin milisaniyeler içinde gerçekleşmesi ihtiyaç duyulan suni zeka karar zincirlerine dayandığını söylüyor. Çıkarımları verilerin oluşturulduğu yere daha yakın bir yerde yürütmek, finansal firmaların daha süratli hareket etmesine destek sunar ve verileri düzenleyici sınırlar içinde meblağ.

Bulut ve GPU ortaklıkları niçin artık daha mühim?

Suni zeka iş yükleri arttıkça şirketlerin buna ayak uydurabilecek altyapıya ihtiyacı var. Jenkins, bunun bulut sağlayıcıları ve GPU üreticilerini daha yakın işbirliğine ittiğini söylüyor. Akamai’nin NVIDIA ile yapmış olduğu emek verme, GPU’ların, DPU’ların ve AI yazılımının binlerce uç konuma dağıtıldığı bir örnektir.

Buradaki düşünce, her şeyi birkaç bölgede yoğunlaştırmak yerine, çıkarımı birçok siteye yürüyerek bir “Suni Zeka dağıtım ağı” oluşturmaktır. Bu performansa destek sunar sadece bununla beraber uyumluluğu da destek sunar. Jenkins, büyük APAC kurumlarının neredeyse yarısının pazarlar içinde değişik veri kurallarıyla savaşım ettiğini ve bunun da mahalli işlemeyi daha mühim hale getirdiğini belirtiyor. Ortaya çıkan ortaklıklar, bilhassa düşük gecikmeli yanıtlara dayanan iş yükleri için artık bölgedeki suni zeka altyapısının bir sonraki aşamasını şekillendiriyor.

Jenkins, güvenliğin en başından itibaren bu sistemlere dahil edildiğini söylüyor. Sıfır itimat kontrolleri, veri bilgili yönlendirme ve sahtekarlığa ve botlara karşı korumalar, sunulan teknoloji yığınlarının standart parçaları haline geliyor.

Ajansal suni zeka ve otomasyonu desteklemek için ihtiyaç duyulan altyapı

Pek oldukça sonucu arka arkaya veren ajansal sistemleri çalıştırmak, milisaniyelik hızlarda çalışabilen bir altyapıya gerekseme duyar. Jenkins, bölgedeki çeşitliliğin bunu zorlaştırdığını sadece olanaksız olmadığını düşünüyor. Ülkeler bağlantı, kurallar ve teknik hazırlık açısından büyük farklılıklar gösteriyor; bundan dolayı suni zeka iş yüklerinin en anlamlı olduğu yerde çalışacak kadar esnek olması gerekiyor. Bölgedeki bir çok işletmenin üretimde esasen genel bulut kullandığını, sadece birçoğunun 2027 yılına kadar uç hizmetlere güvenmeyi beklediğini gösteren araştırmalara dikkat çekiyor. Bu değişiklik, verileri ülke içinde tutabilen, görevleri en yakın uygun konuma yönlendirebilen ve ağlar kararsız olduğunda çalışmaya devam edebilen bir altyapı gerektirecek.

Şirketlerin bundan sonraki döneme hazırlanmaları gerekenler

Çıkarımlar uç noktalara doğru ilerledikçe şirketlerin operasyonları yönetmek için yeni yöntemlere ihtiyacı olacak. Jenkins, kuruluşların modellerin birçok sitede güncellendiği daha dağıtılmış bir suni zeka yaşam döngüsü beklemesi icap ettiğini söylüyor. Bu, daha iyi düzenleme ve çekirdek ve uç sistemlerdeki performans, maliyet ve hatalara ilişkin kuvvetli görünürlük gerektirir.

İşleme mahalli kaldığında veri yönetimi daha karmaşık hale gelir sadece bununla beraber daha yönetilebilir hale gelir. Bölgedeki büyük işletmelerin yarısı hâlihazırda mevzuattaki farklı olan şeylerle savaşım ediyor; dolayısıyla çıkarımların verilerin üretildiği yere yakınlaştırılması destek olabilir.

Güvenliğin de daha çok dikkat edilmesi gerekiyor. Çıkarımı uç noktalara yaymak dayanıklılığı artırabilirken bununla beraber her sitenin güvenliğinin sağlanması gerektiği anlamına da gelir. Firmaların API’leri ve veri hatlarını koruması ve dolandırıcılık yada bot saldırılarına karşı koruma sağlaması gerekir. Jenkins, pek oldukça finans kurumunun bu alanlarda halihazırda Akamai’nin kontrollerine güvendiğini belirtiyor.

(Fotoğraf: Igor Omilaev)

Sektör liderlerinden suni zeka ve büyük veri hakkında daha çok informasyon edinmek ister misiniz? Çıkış yapmak Yapay Zeka ve Büyük Veri Fuarı Amsterdam, Kaliforniya ve Londra’da gerçekleşiyor. Kapsamlı etkinlik, TechEx ve öteki önde gelen teknoloji etkinlikleriyle aynı yerde bulunuyor. Tıklamak Burada daha çok informasyon için.

AI News tarafınca desteklenmektedir TechForge Medyası. Yaklaşan öteki kurumsal teknoloji etkinliklerini ve web seminerlerini keşfedin Burada.