DeepSeek dévoile une nouvelle méthode de raisonnement IA dans l’attente de son modèle de nouvelle génération

La startup chinoise d’intelligence artificielle (IA) DeepSeek a dévoilé une nouvelle méthode de raisonnement alors que le marché continue d’anticiper la sortie de son modèle de nouvelle génération. Selon les rapports, l’entreprise vient d’introduire une approche novatrice qui aidera les capacités de raisonnement des grands modèles de langage (LLM), le public attendant la sortie de son nouveau modèle.

Selon les rapports, un article publié récemment a révélé que cette prouesse a été réalisée grâce à une collaboration entre des chercheurs de l’Université Tsinghua et la startup d’IA. Selon l’article, DeepSeek a pu développer une technique combinant des méthodes appelées modélisation des récompenses génératives (GRM) et ajustement auto-principé. Cette approche double permettra aux LLM de fournir des résultats meilleurs et plus rapides pour les requêtes générales.

DeepSeek révèle une nouvelle méthode de raisonnement IA

Selon les chercheurs, les modèles DeepSeek-GRM résultants ont pu surpasser les méthodes existantes, atteignant des performances compétitives avec de solides modèles de récompense publics. La modélisation des récompenses est un processus qui aide un LLM à déterminer les préférences humaines. Les chercheurs ont mentionné que la startup d’IA a l’intention de rendre les modèles GRM open source, mais l’entreprise n’a pas encore fourni de calendrier pour le développement.

La publication de cet article de recherche académique fait suite aux spéculations sur le prochain mouvement potentiel de la startup après avoir attiré l’attention mondiale grâce à son modèle de base DeepSeek V3 et son modèle de raisonnement R1. À l’époque, le modèle R1, sorti plus tôt cette année, a gagné en notoriété après qu’il a été découvert qu’il performait mieux que certains modèles plus anciens, y compris le premier modèle ChatGPT d’OpenAI.

La sortie du modèle R1 a également pris Silicon Valley par surprise, compte tenu du fait que le modèle était open source et a été achevé avec une fraction des coûts utilisés dans d’autres modèles d’IA. Bien que l’attention semble ralentir, des progrès remarquables ont été réalisés par les entreprises rivales de l’industrie de l’IA, montrant que la rivalité dans ce secteur est historique.

Cependant, un rapport de Reuters le mois dernier a mentionné que DeepSeek-2, le successeur du R1 mondialement célébré, pourrait être en cours de développement. Selon le rapport, l’entreprise pourrait chercher à le lancer vers la fin de ce mois, cherchant à capitaliser sur sa notoriété croissante dans l’industrie de l’IA. DeepSeek, pour sa part, est resté discret concernant le modèle R2, maintenant le silence sur les canaux publics officiels, un compte de service client ayant nié la rumeur auprès des clients professionnels, selon les rapports.

Le développement du modèle V3 se poursuit

DeepSeek, basée à Hangzhou, a été fondée en 2023 par l’entrepreneur Liang Wenfeng et a été sous les projecteurs mondiaux pour les bonnes raisons ces derniers mois. Cependant, l’entreprise a refusé de communiquer publiquement, décidant de concentrer tout son temps et son énergie sur la recherche et le développement. Bien qu’il reste à voir ce que l’entreprise réserve à l’industrie de l’IA, elle a sûrement beaucoup travaillé, grâce aux rumeurs.

Le mois dernier, l’entreprise a annoncé un développement sur lequel elle travaillait, présentant au monde son modèle V3 amélioré nommé DeepSeek-V3-0324. Selon l’entreprise, le modèle amélioré offrait des « capacités de raisonnement améliorées, un développement web front-end optimisé et une maîtrise améliorée de l’écriture en chinois ». En février, l’entreprise a externalisé cinq de ses dépôts de code, permettant aux développeurs de les examiner et d’y contribuer. La startup a mentionné qu’elle ferait « des progrès sincères avec une transparence totale ».

Le même mois, Liang a publié une étude technique sur l’attention native sparse, une méthode utilisée pour améliorer l’efficacité des LLM dans le traitement de grandes quantités de données. Liang, 40 ans, est également le fondateur de High-Flyer Quant, la société mère de DeepSeek, le fonds spéculatif qui a fourni la puissance financière nécessaire au financement des avancées techniques de la startup d’IA. Fin février, l’entrepreneur a participé à un symposium réunissant des entrepreneurs technologiques, accueillis par le président chinois Xi Jinping. Le président a salué la startup comme un signe de la résilience du pays face aux tentatives des États-Unis de contenir les progrès de l’IA en Chine.