Tous les articles par Alban Leveau-Vallier

Que comprend-on de ce que « comprend » ChatGPT ?
L’augmentation de la taille des modèles de langue (LLM, dont ChatGPT est le plus célèbre représentant), et le constat que cela induit des effets d’échelle libérant des performances insoupçonnées, a suscité une controverses entre ceux pour qui il y aurait là émergence de facultés de raisonnement − les LLM constitueraient les prémisses d’une « intelligence artificielle générale » − , et ceux pour qui il ne s’agit que d’un mirage statistique : les LLM ne seraient que des « perroquets stochastiques ». Bien qu’aucune de ces deux positions ne résiste à l’examen, les étudier nous permet de mieux cerner pour quelles raisons, bonnes ou mauvaises, les LLM sont capables de produire d’aussi bonnes réponses.

What do We Understand about What ChatGPT “Understands”?
The increase in the size of Large language models (LLMs), and the observation that this induces scale effects that unleash unsuspected performance, has given rise to a controversy between those for whom this would be the emergence of reasoning faculties—LLMs would constitute the premises of a “general artificial intelligence”—and those for whom this is merely a statistical mirage: LLMs would be no more than “stochastic parrots”. While neither of these positions stands up to scrutiny, studying them helps us to better understand why, good or bad, LLMs are capable of producing such good answers.