Le monde technologique américain a pris conscience cette semaine de l’existence d’un modèle d’IA développé par une entreprise chinoise capable d’atteindre des performances de pointe sans recourir à des puces informatiques coûteuses. Cette entreprise s’appelle DeepSeek, et son modèle R1 a le potentiel de remodeler la façon dont nous utilisons les chatbots.
Le modèle R1 est un modèle de raisonnement qui rivalise avec ChatGPT et d'autres chatbots viraux. Il a un faible coût d'exploitation et est open source.
Qu'est-ce que Deepseek ?
Deepseek est une start-up chinoise qui a attiré l'attention du monde de l'IA cette semaine avec un modèle de raisonnement de pointe dont le coût d'exploitation est étonnamment bas. Le modèle R1 de l'entreprise fonctionnerait à une fraction du coût des modèles similaires des concurrents. Il nécessite également beaucoup moins de puissance de calcul. L'application d'assistant IA de l'entreprise a déjà dépassé ChatGPT dans les classements de l'App Store américain, a donné naissance à des centaines de dérivés open source et est intégrée aux plateformes IA de Microsoft, AWS et Nvidia.
L’entreprise est reconnue pour avoir utilisé l’apprentissage par renforcement (RL) pour développer ses nouveaux modèles. L’apprentissage par renforcement est une méthode d’apprentissage qui utilise la méthode des essais et des erreurs pour entraîner un modèle en effectuant des actions dans un environnement simulé et en recevant des commentaires sous forme de récompenses ou de pénalités. Le modèle apprend ensuite à optimiser son comportement en analysant les résultats de chaque action pour améliorer ses performances. L’équipe a ensuite construit un système qui permet au modèle de « réveiller » uniquement les parties de l’algorithme les plus pertinentes pour une demande donnée, réduisant ainsi considérablement ses besoins de calcul.
Cette avancée est largement saluée comme le moment Spoutnik de l’IA. Elle oblige les géants de la Silicon Valley à repenser leurs stratégies et à examiner de plus près les coûts et les besoins énergétiques de leurs propres algorithmes. Elle a même des répercussions sur d’autres secteurs, avec la chute des cours des actions des entreprises qui fabriquent les composants utilisés dans le fonctionnement des systèmes d’IA. Cela inclut Nvidia, dont les puces GPU sont utilisées pour exécuter la plupart des applications mondiales basées sur l’IA, ainsi que des entreprises comme Vistra et Constellation qui construisent les centres de données qui alimentent la plupart des modèles d’IA.
Deepseek est-il bon ?
Malgré le battage médiatique autour de Deepseek, rien ne le distingue vraiment des autres modèles d'IA. Il peut comprendre le langage naturel et générer des résultats basés sur les données saisies par l'utilisateur, comme tout autre modèle utilisé aujourd'hui. Ce qui a suscité le buzz, c'est qu'il a été développé à moindre coût et avec de meilleures performances que ses concurrents. C'est un enjeu majeur pour les entreprises qui ont besoin de faire évoluer leurs capacités d'IA, comme Nvidia.
Le modèle R1 de DeepSeek est un modèle de raisonnement, ce qui signifie qu'il décompose les invites en éléments plus petits et considère plusieurs approches avant de générer une réponse. Il dispose également d'un flux de travail unique qu'il utilise pour améliorer l'efficacité. Son modèle Mixture of Experts (MoE) compte 256 « experts » qui se spécialisent chacun dans différents aspects de la réponse. Par exemple, un expert peut gérer la logique, tandis qu'un autre se concentre sur la musique ou les mots de description visuelle, et un autre encore peut être meilleur dans les noms propres ou les nombres.
Le MoE dispose également d'un système de sélection qui sélectionne les experts appropriés pour chaque requête en fonction de son contexte. Cela garantit qu'un seul expert ne soit pas surchargé de tâches. Il offre également des performances plus robustes en évitant une dépendance excessive à l'égard d'experts particuliers, ce qui peut entraîner une « dérive du modèle ».
L’autre différence majeure entre Deepseek et ses concurrents américains est qu’il s’agit d’un modèle largement ouvert, qui permet aux développeurs de le modifier et de le déployer dans une variété de workflows. C’est un enjeu majeur dans le monde de l’IA, car cela permet aux utilisateurs d’utiliser des modèles de pointe sans avoir à payer pour une solution propriétaire.
Enfin, l’entreprise est également transparente sur ses coûts et ses données de formation. Elle affirme avoir formé le modèle pour seulement 5,6 millions de dollars. C’est bien moins que les milliards que d’autres entreprises d’IA ont dépensé pour développer leurs propres modèles.
Mais tout le monde n’est pas convaincu que le modèle soit aussi efficace qu’il le prétend. Certains chercheurs américains en IA ont mis en doute l’affirmation selon laquelle DeepSeek serait une alternative moins chère et plus efficace que ses concurrents. D’autres ont souligné que le modèle nécessite toujours des données synthétiques externes provenant de modèles comme GPT-4o pour s’entraîner, ce qui peut être coûteux en termes de calcul. Cette génération de données externes pourrait contrebalancer les économies de coûts que Deepseek prétend avoir réalisées grâce à son architecture de modèle allégée.
Quels sont les avantages de Deepseek ?
L'un des principaux avantages de Deepseek est qu'il est open source, ce qui permet aux utilisateurs d'analyser et d'adapter le modèle à leurs propres besoins. De plus, le modèle peut être utilisé localement sur l'appareil de l'utilisateur, ce qui minimise les risques de confidentialité et évite de confier des informations sensibles à une grande entreprise technologique.
Deepseek utilise l'apprentissage par renforcement (RL) pour entraîner son moteur logique, un type d'apprentissage automatique qui implique un système de récompense qui encourage le modèle à explorer et à affiner ses propres solutions aux scénarios de résolution de problèmes. Cette approche permet au modèle d'apprendre de ses propres erreurs et de s'améliorer au fil du temps, ce qui en fait une solution plus robuste que GPT-4o ou Claude 3.6 Sonnet.
Ce qui distingue DeepSeek des autres modèles de raisonnement est sa capacité à générer des réponses holistiques qui prennent en compte tous les aspects d'une question. Cela est accompli grâce à l'utilisation d'un jeton spécial dans la sortie du modèle, think>, qui incite le modèle à réfléchir à la meilleure façon de répondre à la question. Le contenu qui suit le jeton think> ressemble souvent à un long flux de pensée, ce qui peut aider à expliquer comment le modèle est arrivé à sa réponse finale.
Un autre avantage de Deepseek est sa capacité à traiter des questions complexes, telles que celles liées aux mathématiques ou à la programmation. Il s’agit d’une amélioration significative par rapport à d’autres modèles, notamment Qwen et Claude 3.6 Sonnet, qui ne sont pas capables de traiter ce type de questions. De plus, Deepseek est capable de fournir des réponses en plusieurs langues, ce qui n’est pas possible avec d’autres modèles d’IA générative.
Cependant, le modèle présente quelques inconvénients notables. Par exemple, il a tendance à produire des réponses incohérentes et peut se retrouver coincé dans des boucles infinies lors du raisonnement local, ce qui limite son utilité pour certains cas d'utilisation. De plus, le recours du modèle à l'apprentissage par renforcement peut l'amener à présenter des biais, comme la censure de sujets sensibles ou la priorisation de discours pro-chinois.
Enfin, le modèle peut nécessiter beaucoup de ressources pour fonctionner, notamment en termes d'espace de formation et de paramètres. Cela le rend moins adapté aux périphériques de périphérie. Pour cette raison, il est important de prendre en compte les exigences matérielles de votre application lors du choix d'un modèle.
Quels sont les inconvénients de Deepseek ?
DeepSeek R1 a provoqué une onde de choc dans le monde de l'IA. Il a été salué comme le premier modèle à offrir des capacités de raisonnement comparables à celles d'O1 pour une fraction de son coût et est accessible à tous gratuitement via une interface de chatbot. Il est également disponible en téléchargement et en exécution locale pour les utilisateurs disposant du matériel adéquat, minimisant ainsi les risques pour la vie privée car les données sensibles n'ont pas besoin d'être envoyées sur Internet.
Il est incroyablement puissant et rapide. Il peut créer du texte, répondre à des questions complexes, coder et effectuer des tâches d'analyse mathématique et scientifique. Il excelle également dans la résolution de problèmes qui nécessitent une combinaison de compétences différentes, comme le débogage de logiciels ou la rédaction d'un essai. Cela le rend idéal pour automatiser les flux de travail répétitifs de développement et d'analyse de données.
Outre ses performances, il présente un certain nombre d’autres avantages qui le distinguent de la concurrence. Il est open source, ce qui signifie que les développeurs et les entreprises peuvent le personnaliser selon leurs besoins sans payer de frais API coûteux. Cela leur permet d’avoir plus de contrôle sur leurs systèmes d’IA et de minimiser le risque de dépendance vis-à-vis d’un fournisseur.
Un autre avantage est son évolutivité. Contrairement à d’autres modèles, Deepseek R1 peut gérer plusieurs flux d’entrée simultanément en activant plusieurs experts en même temps. Cela est rendu possible par l’architecture MoE, qui utilise une perte d’équilibrage de charge pour répartir uniformément le travail entre les experts. Cela réduit le besoin d’un grand nombre de paramètres, ce qui est important lors de la formation du modèle.
L’un des inconvénients de Deepseek est qu’il collecte des informations sur le matériel, le système d’exploitation et les schémas de frappe de l’utilisateur. Ces informations sont nécessaires pour permettre au modèle de fournir une réponse précise, mais certains utilisateurs peuvent être mal à l’aise avec cette pratique. L’entreprise affirme qu’elle ne partagera ces informations qu’avec ses partenaires et avec « des tiers nécessaires pour améliorer la sécurité et la stabilité du modèle ». Cependant, certains utilisateurs ont exprimé leur inquiétude à ce sujet, arguant que ces informations pourraient être utilisées pour les espionner ou vendre leurs informations personnelles.