Yönetim kurulları, geniş dilli modellerden ve suni zeka asistanlarından üretkenlik artışı sağlanması için baskı yapıyor. Sadece suni zekayı yararlı kılan aynı özellikler (canlı internet sayfalarına göz atmak, kullanıcı bağlamını anımsamak ve iş uygulamalarına bağlanmak) siber hücum yüzeyini de genişletiyor.
Güvenilir araştırmacılar, “HackedGPT” başlığı altında bir takım güvenlik açığı ve hücum yayınlayarak, dolaylı anlık enjeksiyon ve ilgili tekniklerin veri sızıntısını ve fena amaçlı yazılımların kalıcılığını iyi mi sağlayabileceğini gösterdi. Tenable’ın açıklaması esnasında bazı sorunların düzeltildiği, bazılarının ise istismar edilebilir durumda olduğu bildiriliyor. yayınlanan bir tavsiye belgesi şirket tarafınca.
Suni zeka asistanlarının operasyonlarından doğasında olan risklerin ortadan kaldırılması, değişen teknolojinin sıkı denetim ve izlemeye doğal olarak olması gerektiği seviyede, suni zekayı bir kullanıcı yada aygıt olarak ele alan yönetişim, kontroller ve işletim yöntemlerini gerektirir.
Tenable araştırması, suni zeka asistanlarını güvenlik problemlerine dönüştürebilecek hataları gösteriyor. Dolaylı istem enjeksiyonu, asistanın gezinirken okumuş olduğu web içeriğindeki talimatları gizler; bu talimatlar, kullanıcının asla amaçlamadığı veri erişimini tetikler. Başka bir vektör, fena amaçlı talimatların tohumunu atan bir ön uç sorgusunun kullanılmasını ihtiva eder.
Vakalara müdahale ihtiyacı, yasal ve düzenleyici incelemeler ve saygınlık zararını azaltmak için atılan adımlar da dahil olmak suretiyle iş tesiri açıktır.
Bunu gösteren araştırmalar esasen mevcut asistanlar kişisel veya hassas bilgileri sızdırabilir enjeksiyon teknikleri vasıtasıyla ve suni zeka satıcıları ile siber güvenlik uzmanlarının yama sorunları onlar ortaya çıktıkça.
Bu model teknoloji endüstrisindeki her insana tanıdık geliyor: Özellikler genişledikçe arıza modları da artıyor. Suni zeka asistanlarını üretkenlik etkenleri olarak değil, canlı, internete dönük uygulamalar olarak ele almak dayanıklılığı artırabilir.
İçindekiler
Suni zeka asistanlarının pratikte iyi mi yönetileceği
1) Bir AI sistem kaydı oluşturun
Kullanımdaki her modelin, asistanın yada aracının envanterini genel bulutta, şirket içinde ve hizmet olarak yazılımda, NIST AI RMF Başucu Kitabı. Kayıt sahibi, amaç, kabiliyetler (göz atma, API bağlayıcıları) ve erişilen veri alanları. Bu suni zeka varlık sıralaması olmasa bile “gölge ajanlar” kimsenin takip etmediği ayrıcalıklara haiz olmaya devam edebilir. Bir aşamada kullanıcıları evde Copilot lisanslarını işyerinde dağıtmaya teşvik eden Microsoft şeklinde firmalar tarafınca teşvik edilen Shadow AI mühim bir tehdittir.
2) İnsanlar, hizmetler ve aracılar için ayrı kimlikler
Kimlik ve erişim yönetimi, kullanıcı hesaplarını, hizmet hesaplarını ve otomasyon cihazlarını birleştirir. Internet sayfalarına erişen, araçları çağıran ve veri yazan asistanların değişik kimliklere ihtiyacı vardır ve minimum ayrıcalıklı sıfır itimat politikalarına tabidirler. Temsilciden temsilciye zincirlerin haritasını çıkarmak (kim kime, hangi veri üstünden, ne yapacağını sordu), bir dereceye kadar hesap verebilirlik sağlayabilecek minimum kırıntı izidir. Ajansal suni zekanın ‘yaratıcı’ çıktılara ve eylemlere duyarlı bulunduğunu, sadece insan personelin aksine disiplin politikalarıyla sınırlandırılmadığını belirtmekte yarar var.
3) Riskli özellikleri bağlama gore sınırlandırın
Kullanım senaryosuna gore taramayı ve AI asistanlarının gerçekleştirdiği bağımsız eylemleri etkinleştirin. Müşteriyle karşı karşıya gelen asistanlar için, aksinin kuvvetli ve yasal bir dayanağı olmadığı sürece, kısa gizleme süreleri ayarlayın. Dahili mühendislik için suni zeka asistanlarını kullanın, sadece bu tarz şeyleri yalnızca katı günlük kaydı içeren ayrılmış projelerde kullanın. Asistanlar dosya depolarına, mesajlaşmaya yada e-postaya ulaşabiliyorsa bağlayıcı trafiğine veri kaybı önleme uygulayın. Önceki eklenti ve bağlayıcı sorunları Entegrasyonların görünürlüğü nasıl artırdığını gösterin.
4) İnternete bakan herhangi bir uygulama şeklinde izleyin
- Asistan eylemlerini ve vasıta çağrılarını yapılandırılmış günlükler olarak yakalayın.
- Anormallikler mevzusunda uyarı: tanıdık olmayan alanlara göz atarken ani ani artışlar; opak kod bloklarını özetlemeye çalışır; olağandışı hafıza yazma patlamaları; yada siyaset sınırlarının haricinde bağlayıcı erişimi.
- Enjeksiyon testlerini üretim öncesi kontrollere dahil edin.
5) İnsan kasını geliştirin
Enjeksiyon semptomlarını tanımaları için geliştiricileri, bulut mühendislerini ve analistleri eğitin. Kullanıcıları garip davranışları bildirmeye teşvik edin (mesela, bir asistanın açmadıkları bir sitedeki içinde ne olduğu beklenmedik bir halde özetlemesi). Bir asistanın karantinaya alınmasını, hafızanın temizlenmesini ve şüpheli olaylardan sonrasında kimlik bilgilerinin değiştirilmesini düzgüsel hale getirin. Beceri açığı gerçektir; beceri geliştirme olmadan yönetişimin benimsenmesi gecikecektir.
BT ve bulut liderleri için karar noktaları
| Sual | Niçin mühim? |
|---|---|
| Hangi asistanlar internette gezinebilir yada veri yazabilir? | Göz atma ve hafıza, yaygın enjeksiyon ve kalıcılık yollarıdır; kullanım durumu başına engelleme. |
| Temsilcilerin değişik kimlikleri ve denetlenebilir yetkileri var mı? | “Kim ne yapmış oldu?” sorusunu engeller. Talimatlar dolaylı olarak eklendiğinde boşluklar oluşur. |
| Sahipleri, kapsamları ve gizleme bilgilerini içeren suni zeka sistemlerinin bir kaydı var mı? | Yönetişimi, kontrollerin doğru boyutlandırılmasını ve bütçe görünürlüğünü destek sunar. |
| Bağlayıcılar ve eklentiler iyi mi yönetilir? | Üçüncü taraf entegrasyonlarının geçmişte güvenlik sorunları vardır; minimum imtiyaz ve DLP’yi uygulayın. |
| Canlı yayına geçmeden ilkin 0 tıklama ve 1 tıklama vektörlerini kontrol ediyor muyuz? | Kamuya açık araştırmalar, her ikisinin de hazırlanmış bağlantılar yada içerik yöntemiyle mümkün bulunduğunu gösteriyor. |
| Satıcılar derhal yama uyguluyor ve düzeltmeler yayınlıyor mu? | Özellik hızı, yeni sorunların ortaya çıkacağı anlamına gelir; cevap verebilirliği doğrulayın. |
Riskler, maliyet görünürlüğü ve insan faktörü
- Gizli saklı maliyet: Belleğe göz atan yada hafızayı korumuş olan asistanlar, finans ekiplerinin ve döngü başına seyretme yapanların Xaas kullanımını modellememiş olabileceği şekillerde data işlem, depolama ve çıkış tüketir. Bir kayıt ve ölçüm sürprizleri azaltır.
- Yönetişim boşlukları: İnsan kullanıcılar için oluşturulan denetim ve uyumluluk çerçeveleri, aracılar arası yetkilendirmeyi otomatikman yakalayamayacak. Kontrolleri aşağıdakilere gore hizalayın OWASP LLM riskleri Ve NIST AI RMF kategorileri.
- Güvenlik riski: Dolaylı istem enjeksiyonu, medyadan, metinden yada kod biçimlendirmesinden aktarılan kullanıcılar tarafınca görülemeyebilir, araştırmaların gösterdiği gibi.
- Beceri açığı: Pek oldukça ekip hemen hemen AI/ML ve siber güvenlik uygulamalarını birleştirmedi. Destek tehdit modelleme ve enjeksiyon testini kapsayan eğitime yatırım yapın.
- Gelişen duruş: Yeni kusurların ve düzeltmelerin artmasını bekleyin. OpenAI’nin 2025 sonlarında sıfır tıklama yolunu iyileştirmesi bir hatırlatmadır Satıcının duruşu hızla değişiyor ve doğrulanması gerekiyor.
Netice olarak
Yöneticiler için alınacak ders basittir: Suni zeka asistanlarına, kendi yaşam döngüleri olan ve hem saldırıya maruz kalma hem de öngörülemeyen eylemlerde bulunma eğilimi olan kuvvetli, ağ bağlantılı uygulamalar olarak davranın. Bir kayıt defteri oluşturun, kimlikleri ayırın, riskli özellikleri varsayılan olarak sınırlayın, anlamlı olan her şeyi günlüğe kaydedin ve denetim altına alma provası yapın.
Bu korkuluklar yerinde olduğunda, gizmen suni zekanın sükunet içinde en yeni ihlal vektörünüz haline gelmeden ölçülebilir verimlilik ve dayanıklılık sağlama olasılığı daha yüksektir.
(Fotoğraf deposu: aha42 tarafınca yazılan “The Enemy Within Unleashed” | tehaha, CC BY-NC 2.0 kapsamında lisanslıdır.)
Sektör liderlerinden suni zeka ve büyük veri hakkında daha çok data edinmek ister misiniz? Çıkış yapmak Yapay Zeka ve Büyük Veri Fuarı Amsterdam, Kaliforniya ve Londra’da gerçekleşiyor. Kapsamlı etkinlik, TechEx ve öteki önde gelen teknoloji etkinlikleriyle aynı yerde bulunuyor. Tıklamak Burada daha çok data için.
AI News tarafınca desteklenmektedir TechForge Medyası. Yaklaşan öteki kurumsal teknoloji etkinliklerini ve web seminerlerini keşfedin Burada.