Openai prépare un modèle gpt open source de 120 milliards de paramètres
Fuite : OpenAI s'apprête à lancer un puissant modèle d'IA open source
Une fuite révèle le lancement imminent d'un modèle d'IA open source par OpenAI
Selon une fuite récente, OpenAI serait sur le point de dévoiler un tout nouveau modèle d'intelligence artificielle open source, qui pourrait être lancé dans les prochaines heures.
Des indices numériques pointent vers une révélation imminente
Cette fuite est basée sur une série de dépôts GitHub apparus brièvement avant d’être supprimés. Ces dépôts portaient des noms évocateurs tels que yofo-deepcurrent/gpt-oss-120b et yofo-wildflower/gpt-oss-20b. Les comptes associés sur la plateforme Hugging Face sont liés à des membres de l’équipe d’OpenAI.
Le tag “gpt-oss” fait fortement référence à “GPT Open Source Software”, laissant peu de doute sur les intentions d’OpenAI. La diversité des noms et des tailles de modèles suggère le déploiement imminent d’une série complète.
Un modèle GPT-OSS de 120 milliards de paramètres
Un fichier de configuration ayant fuité donne un aperçu des performances du modèle de 120 milliards de paramètres. Ce modèle repose sur une architecture Mixture of Experts (MoE) incluant 128 experts spécialisés, dont seuls quatre sont activés à chaque requête. Cela améliore à la fois la puissance de calcul et l’efficacité énergétique.
Cette approche combine la richesse des gros modèles avec la rapidité des plus légers, se positionnant comme un concurrent direct des leaders actuels tels que :
- Mixtral par Mistral AI
- Llama de Meta
Caractéristiques techniques avancées
Le modèle open source d’OpenAI serait équipé de nombreuses fonctionnalités de pointe :
- Un vocabulaire étendu pour un meilleur traitement multilingue
- Le mécanisme Sliding Window Attention pour une gestion fluide des longs textes
Ces caractéristiques rendent ce modèle à la fois puissant et adapté à un déploiement pratique dans différents environnements.
Pourquoi ce retour à l’open source maintenant ?
OpenAI a souvent été critiqué pour s’être éloigné de ses racines open source. Le lancement d’un modèle GPT-OSS serait un geste fort envers la communauté de développeurs et chercheurs déçus par cette évolution.
Ce choix stratégique permettrait aussi de rivaliser avec l’écosystème open source florissant de Meta et Mistral, en définissant potentiellement un nouveau standard du marché.
En attente d’une confirmation officielle
Pour l’instant, tout cela reste au stade de rumeurs fondées, appuyées par des dépôts de code et fichiers de configuration authentiques. Mais si ces informations se confirment, le lancement d’un modèle open source performant de 120 milliards de paramètres par OpenAI représenterait un tournant majeur dans le monde de l’IA.
(Crédit photo : Mariia Shalabaieva)
À lire aussi
Zuckerberg détaille la vision IA de Meta pour l’“intelligence personnelle surhumaine”
Événements à venir autour de l’IA et des big data
Participez à l’AI & Big Data Expo qui se tiendra à Amsterdam, en Californie et à Londres. L’événement est organisé en parallèle de conférences majeures telles que :
Découvrez d'autres salons et webinaires technologiques sur TechForge.
@ReservoirLive
Comments ()