Tencent geniş kullanım için yeterince oldukça yönlü olan açık kaynaklı Hunyuan AI modelleri ailesini genişletti. Bu yeni model ailesi, ufak kenar cihazlarından talepkar, yüksek koncur birimi üretim sistemlerine kadar hesaplama ortamlarında kuvvetli performans sunmak için tasarlanmıştır.
Sürüm, geliştirici platformu Hugging Face’te bulunan kapsamlı bir evvelinde eğitilmiş ve yönerge ayarlı modeller seti içeriyor. Modeller, bilhassa 0.5b, 1.8b, 4b ve 7b parametre ölçekleri ile birkaç boyutta gelir ve geliştiriciler ve işletmeler için mühim esneklik sağlar.
Tencent, bu modellerin daha kuvvetli Hunyuan-A13b modeline benzer eğitim stratejileri kullanılarak geliştirildiğini ve performans özelliklerini devralmalarına izin verdiğini belirtti. Bu yaklaşım, kuvvetli kabiliyetler sağlarken, kaynak kısıtlamalı kenar hesaplama için daha ufak bir varyant ister yüksek verimli üretim iş yükleri için daha büyük bir model olsun, kullananların gereksinimleri için optimal modeli seçmelerini sağlar.
Hunyuan serisinin en dikkat çekici özelliklerinden biri, ultra uzun bir 256k bağlam penceresi için mahalli desteğidir. Bu, modellerin uzun metin görevlerinde, karmaşık belge analizi için yaşamsal bir kabiliyet, genişletilmiş konuşmalar ve derinlemesine içerik üretimi için emin performansı ele almasına ve sürdürmesine izin verir. Modeller, Tencent’in kullananların hususi gereksinimlerine bağlı olarak seçebilecekleri hem süratli hem de yavaş düşünme modlarına müsaade eden “hibrit akıl yürütme” söylediği şeyi destek sunar.
Şirket ek olarak aracı kabiliyetlerine de büyük ehemmiyet vermiştir. Modeller, gizmen tabanlı görevler için optimize edilmiştir ve BFCL-V3, τ-Bench ve C3-Bench benzer biçimde yerleşik ölçümlerde önde gelen sonuçlar göstermiştir, bu da karmaşık, oldukça aşamalı sorun çözmede yüksek derecede yeterlilik göstermektedir. Mesela, C3 bankında, Hunyuan-7b-In-In-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-insruct modeli 64.3 puan alır.
Serinin performansı verimli çıkarım üstüne odaklanmaktadır. Tencent’in Hunyuan modelleri, işleme hızını iyileştirmek ve hesaplama yükünü azaltmak için malum bir teknik olan Gruplu Sorgu Dikkatini (GQA) kullanıyor. Bu verimlilik, dağıtım engellerini düşürmek için tasarlanmış Hunyuan mimarisinin mühim bir unsuru olan gelişmiş nicemleme yardımı ile daha da arttırılmıştır.
Tencent, daha kullanıcı dostu ve etkili bir model sıkıştırma çözümü oluşturmak için kendi sıkıştırma vasıta seti AnglesLim’i geliştirdi. Bu aracı kullanarak şirket, Hunyuan serisi için iki ana nicelleştirme türü sunmaktadır.
Birincisi, 8 bit kayan nokta formatı kullanan FP8 statik nicelleştirmedir. Bu yöntem, tam tekrardan eğitilmeye gerek kalmadan, model ağırlıklarını ve aktivasyon değerlerini, çıkarım verimliliğini çoğaltmak için FP8 formatına dönüştürmeden nicelasyon ölçeğini evvelinde belirlemek için azca oranda kalibrasyon verisi kullanır.
İkinci yöntem, GPTQ ve AWQ algoritmaları vasıtasıyla W4A16 nicemleme elde eden INT4 niceliğidir:
- . Gptq Yaklaşım İşlemleri Model Ağırlıklar Katman Katman Katmanına Bakılırsa, Nicelleştirilmiş Ağırlıklardaki Hataları En aza indirmek için kalibrasyon verilerini kullanarak. Bu işlem, model tekrardan eğitilmesini ve çıkarım hızını iyileştirmeyi önler.
- . AWQ Algoritma, ufak bir kalibrasyon verisinden aktivasyon değerlerinin genliğini istatistiksel olarak çözümleme ederek çalışır. Sonrasında, her ağırlık kanalı için bir ölçeklendirme katsayısını hesaplar, bu da sıkıştırma işlemi esnasında daha çok bilgiyi korumak için mühim ağırlıkların sayısal aralığını genişletir.
Geliştiriciler, AnglesLIM aracını kendileri kullanabilir yada evvelinde belirlenmiş modelleri direkt indirebilir.
Performans kriterleri, Tencent Hunyuan modellerinin çeşitli görevlerde kuvvetli kabiliyetlerini doğrular. Mesela, evvelinde eğitilmiş Hunyuan-7b modeli, MMLU kıyaslamasında 79.82, GSM8K’da 88.25 ve matematik kıyaslamasında 74.85 puan alıyor ve sağlam akıl yürütme ve matematiksel beceriler gösteriyor.
Yönerge ayarlı varyantlar hususi alanlarda etkisi altına alan sonuçlar gösterir. Matematikte, Hunyuan-7b-In-In-In-In-Instruct modeli AIME 2024 ölçütünde 81.1 puan alırken, 4B sürümü 78.3 puan alır. Bilimde 7b modeli Olympiadbench’te 76.5’e ulaşır ve kodlamada LiveCodebench’te 42 puan alır.
Nicelasyon ölçütleri minimum performans bozulması gösterir. Damla ölçütünde, Hunyuan-7b-In-in-in-in-in-in-in-in-in-in-in-in-in-in-in-in-inspruct, B16 formatında 85.9, FP8 ile 86.0 ve INT4 GPTQ ile 85.7 puan alır, bu da verimlilik kazanımlarının doğruluk maliyeti olmadığını gösterir.
Dağıtım için Tencent, Hunyuan modellerine hizmet etmek ve Openai uyumlu API uç noktaları oluşturmak için Tensorrt-LLM, VLLM yada Sglang benzer biçimde yerleşik çerçevelerin kullanılmasını önerir ve mevcut geliştirme iş akışlarına sorunsuz bir halde entegre edilmelerini sağlar. Performans, verimlilik ve dağıtım esnekliğinin bu kombinasyonu Hunyuan serisini açık kaynaklı AI’da devamlı kuvvetli bir yarışmacı olarak konumlandırıyor.
Ek olarak bakınız: Deep Cogito V2: Akıl yürütme becerilerini geliştiren açık kaynaklı suni zeka
Sanayi liderlerinden suni zeka ve büyük veriler hakkında daha çok data edinmek ister misiniz? Çıkış yapmak AI ve Big Data Fuarı Amsterdam, California ve Londra’da gerçekleşiyor. Kapsamlı etkinlik, öteki önde gelen etkinliklerle beraber toplanır. Akıllı Otomasyon Konferansı– Blockx– Dijital Dönüşüm HaftasıVe Siber Güvenlik ve Bulut Fuarı.
Techforge tarafınca desteklenen öteki yaklaşan kurumsal teknoloji etkinliklerini ve web seminerlerini keşfedin Burada.
