Samsung dévoile truebench pour évaluer l’ia en contexte réel

Samsung évalue la productivité réelle des modèles d’IA en entreprise avec TRUEBench

Samsung lance TRUEBench pour mesurer la productivité réelle des IA en entreprise

Samsung révolutionne l’évaluation des modèles d’intelligence artificielle (IA) avec le lancement de TRUEBench, une nouvelle approche conçue pour mesurer la productivité réelle des IA dans des contextes professionnels. Développé par Samsung Research, TRUEBench vise à combler l’écart entre les performances théoriques des IA et leur utilité réelle en entreprise.

Pourquoi un nouveau benchmark est nécessaire

Alors que les entreprises adoptent massivement les modèles de langage (LLM) pour optimiser leurs opérations, la difficulté réside dans l'évaluation précise de leur efficacité. Les benchmarks existants sont souvent focalisés sur des données académiques ou des questionnaires en anglais, négligeant les cas d’usage concrets en entreprise.

TRUEBench : un cadre d’évaluation axé sur le monde réel

TRUEBench, acronyme de Trustworthy Real-world Usage Evaluation Benchmark, offre un ensemble complet de critères conçus pour évaluer les LLM dans des scénarios professionnels concrets. Il s’appuie sur l'expérience interne de Samsung avec l'IA en entreprise, garantissant ainsi des critères d’évaluation ancrés dans la réalité.

Des catégories spécifiques pour des tâches variées

Le benchmark est structuré autour de :

• 10 grandes catégories fonctionnelles
• 46 sous-catégories pour une analyse détaillée

Les tâches incluent la création de contenu, l’analyse de données, le résumé de documents longs et la traduction multilingue.

Une approche multilingue pour une évaluation globale

TRUEBench s’appuie sur 2 485 ensembles de tests couvrant 12 langues, adaptées aux besoins des entreprises internationales. Les prompts varient de quelques caractères à plus de 20 000, pour refléter la diversité des demandes en milieu professionnel.

Evaluation de l’intention implicite

Dans des contextes réels, l’intention de l’utilisateur n’est pas toujours explicite. TRUEBench évalue donc la capacité des IA à comprendre et répondre à des besoins implicites, offrant ainsi une mesure réaliste de leur utilité et pertinence.

Un processus collaboratif humain-IA pour des critères fiables

Pour établir les standards d’évaluation, Samsung combine le jugement humain et l’analyse IA :

• Des experts humains définissent les critères initiaux
• L’IA examine ces critères pour identifier erreurs ou incohérences
• Les humains ajustent ensuite les critères selon les retours de l’IA

Ce processus itératif garantit des évaluations de haute précision.

Un système de notation strict et automatisé

TRUEBench applique un modèle de notation rigoureux : un modèle d'IA doit satisfaire à toutes les conditions pour réussir un test. Cette approche “tout ou rien” assure une évaluation détaillée de la productivité des IA selon des critères objectifs et homogènes.

Une transparence accrue grâce à Hugging Face

Pour favoriser la transparence et encourager l’adoption, Samsung a publié les jeux de données et les classements de TRUEBench sur la plateforme open-source Hugging Face.

Les utilisateurs peuvent y comparer la performance de jusqu’à cinq modèles IA simultanément, avec un aperçu des scores et de la longueur moyenne des réponses générées – un indicateur clé pour évaluer à la fois l’efficacité et la rentabilité opérationnelle.

Classement actuel des 20 meilleurs modèles IA

Un nouveau standard pour l’évaluation des IA d’entreprise

Avec TRUEBench, Samsung vise à redéfinir les critères d’évaluation des IA en entreprise. En mettant l’accent sur la productivité réelle plutôt que sur les performances académiques, ce benchmark représente une avancée majeure qui devrait aider les entreprises à choisir plus efficacement les modèles IA à intégrer dans leurs processus métier.

À lire aussi : Huawei veut faire penser des milliers de puces IA comme un seul ordinateur

Envie d'en savoir plus sur l'IA et les données massives ? Participez à l'AI & Big Data Expo à Amsterdam, en Californie ou à Londres, un événement majeur organisé par TechEx.

AI News est propulsé par TechForge Media. Consultez tous les prochains événements technologiques pour entreprises ici.

@ReservoirLive