Tencent dévoile hunyuan, une IA open source puissante et adaptable

Tencent dévoile ses nouveaux modèles open source Hunyuan IA

Tencent lance de nouveaux modèles d’IA open source Hunyuan polyvalents

Tencent élargit sa gamme de modèles d’intelligence artificielle open source Hunyuan, conçus pour offrir de hautes performances sur une variété d'environnements informatiques, des petits appareils en périphérie aux systèmes de production à fort volume de requêtes.

Des modèles adaptés à tous les besoins

Ces modèles sont désormais disponibles sur la plateforme développée par Hugging Face, avec différents formats pré-entraînés et ajustés par instruction. Ils sont proposés en quatre tailles : 0.5B, 1.8B, 4B et 7B, offrant ainsi une grande flexibilité pour répondre aux besoins des développeurs et des entreprises.

Ces modèles sont basés sur les mêmes stratégies d’entraînement que le puissant modèle Hunyuan-A13B, leur permettant d’hériter d’une performance comparable tout en étant adaptés à des contextes différents : du calcul embarqué faible consommation jusqu'aux charges de production intensives.

Support natif d’un contexte étendu de 256K

L’un des aspects les plus marquants de la série Hunyuan est son support natif d’une fenêtre de contexte ultra-longue de 256K, offrant des performances stables sur des tâches longues comme l’analyse de documents complexes, les conversations prolongées ou la génération de contenu approfondie.

Les modèles intègrent également un raisonnement hybride permettant d’alterner entre des modes de réflexion rapide ou lente selon les besoins spécifiques, apportant plus de contrôle et de puissance aux utilisateurs finaux.

Capacités agents avancées et benchmarks performants

Optimisés pour les tâches basées sur des agents, les modèles Hunyuan affichent d’excellents résultats sur des benchmarks reconnus comme BFCL-v3, τ-Bench et C3-Bench. Par exemple :

Hunyuan-7B-Instruct : 68,5 sur C3-Bench
Hunyuan-4B-Instruct : 64,3 sur C3-Bench

Des performances optimisées grâce à l’inférence efficace

Les modèles tirent parti du Grouped Query Attention (GQA), une technique conçue pour accélérer le traitement et réduire la charge computationnelle. Cela est renforcé par une compatibilité avancée avec la quantification, via l’outil maison AngleSlim de Tencent.

Deux méthodes de quantification proposées

Grâce à l’outil AngleSlim, les développeurs bénéficient de deux méthodes de compression efficaces pour déployer les modèles Hunyuan plus facilement :

Quantification statique FP8 : convertit les poids et activations du modèle en format flottant 8 bits à l’aide de données de calibration minimales – pas de réentraînement nécessaire.
Quantification INT4 : réalisée via les algorithmes GPTQ et AWQ :
- GPTQ : quantifie couche par couche pour réduire l’erreur sans réentraînement.
- AWQ : calcule des coefficients d’échelle par canal de poids pour préserver les données importantes.

Les modèles compressés sont disponibles en téléchargement ou peuvent être recréés avec l’outil AngleSlim.

Benchmarks : raisonnement, mathématiques, et code au rendez-vous

Les modèles Hunyuan affichent d’excellents scores sur des benchmarks de référence :

Hunyuan-7B (base) : 79,82 sur MMLU, 88,25 sur GSM8K, 74,85 sur MATH
Hunyuan-7B-Instruct : 81,1 sur AIME 2024 (maths), 76,5 sur OlympiadBench (sciences), 42 sur Livecodebench (code)
Hunyuan-4B-Instruct : 78,3 sur AIME 2024

Quantification : efficacité sans compromis sur la précision

Les tests montrent très peu de perte de performance en quantifiant les modèles :

Hunyuan-7B-Instruct :
- 85,9 (format B16)
- 86,0 (FP8)
- 85,7 (Int4 GPTQ)

Déploiement simplifié et compatible OpenAI

Pour l’intégration des modèles Hunyuan, Tencent recommande l’utilisation de cadres tels que TensorRT-LLM, vLLM ou SGLang. Cela permet de créer des points de terminaison API compatibles OpenAI afin de faciliter l’intégration dans vos workflows existants.

Conclusion : Hunyuan, une IA open source puissante et accessible

Grâce à une combinaison efficace de performance, d’optimisation, de flexibilité de compression et de facilité de déploiement, les modèles Hunyuan de Tencent s’imposent comme une référence incontournable dans l’univers des LLM open source.

Découvrez l’AI & Big Data Expo à Amsterdam, Californie et Londres, ainsi que d’autres événements technologiques organisés par TechForge.

@ReservoirLive