- Yann Le Cun :
- "on pourrait réduire un système intelligent à 3 modules essentiels:"
- "un module de perception qui essaie d'estimer l'état du monde à partir de ses perceptions (une estimation toujours plus ou moins inexacte)"
- la partie estimation, compréhension du monde, au-delà de la perception, se fait dans le néocortex pour nous
- "un module agent, qui produit des actions et agit sur le monde"
- se fait dans le néocortex
- "un module objectif (une fonction d'objectif) qui calcule si l'agent est dans un état "heureux", satisfait ou non, qui calcule le plaisir ou la tristesse (en cas d'échec)"
- notre fonction d'objectif guide nos pulsions, motivations, sens moral, hébergée à la base du cerveau, petit module
- "un module de perception qui essaie d'estimer l'état du monde à partir de ses perceptions (une estimation toujours plus ou moins inexacte)"
- "les émotions naissent de la collection de tous les modules de notre fonction d'objectif, elles sont des demandes faites par ces modules qui ne sont pas encore satisfaites ou dont on ne sait pas si elle vont être satisfaites ou pas, c'est cela qui engendre une émotion"
- "l'anticipation du bonheur produit la joie, celle du malheur la peur"
- "il y a deux types d'émotions :
- "celles qui sont instantanées, réactives"
- "et celles qui anticipent, de manière proactive, qui sont liées à une prédiction de ce qui va ou peut se passer"
- "il est clair que les machines intelligentes, autonomes, auront des émotions. ça ne fait aucun doute : les émotions sont nécessaires à l'intelligence. Elles sont la réflexion d'une sorte d'anticipation de ce qui va arriver"
- si on trouve aussi de la communication chimique dans notre cerveau, c'est que c'est plus rapide que via la voie électrique (il faudrait bcp plus de "câbles") et cette rapiditité est requise en cas de danger, c'est par le système sanguin que l'adrénaline est délivrée dans le cerveau
- "la curiosité pour une machine entraînée par l'apprentissage par renforcement, cela consiste à trouver un compromis entre l'exploitation et l'exploration"
- "on pourrait réduire un système intelligent à 3 modules essentiels:"
- Yann Le Cun, sur IA et volonté de domination :
- "le désir de domination est propre à l'homme, le fait de l'évolution, pour l'organisation de nos sociétés et la survie de notre espèce, à cause du fait que les humains ont besoin de ressources pour survivre. Plus on a de ressources et plus on a d'influence sur les autres et moins on a besoin d'aller chercher des ressources nous-mêmes. Il n'y a, par consquéquent, aucune raison pour que ce désir de domination soit présent dans les systèmes d'intelligence artificielle ou chez les robots, sauf si on les construit explicitement dans ce but. Les scnéarios à la Terminator, montrant les robots qui veulent absolument dominer l'humanité, ne tiennent pas. C'est une attitude qu'ils ne peuvent pas développer tout seuls, même par accident. Il faudrait qu'on les ait programmés pour cela. Ce n'est que la projection d'un fantasme" "Ce désir de dominer est un caractère propre à certains animaux sociaux. Par ailleurs il n'y a pas de corrélation entre la volonté de pouvoir et l'intelligence. Ainsi, moi-même, en tant que directeur d'un laboratoire de recherches, une de mes fonctions consiste à embaucher des gens plus intelligents que moi, mais ils ne veulent pas nécessairement ma place. S'il existe une corrélation, c'est entre volonté de cominer et niveau de testostérone ! Cette peur des ordinateurs qui voudraient dominer le monde n'a pas lieu d'être."
- journaliste : Dans 2001, l'Odyssée de l'espace, de Stanley Kubrick, l'IA "HAL" se rebelle
- Y. L. C. : "HAL ne veut pas dominer. Il se protège. Il a peur de se faire déconnecter"
- notes personnelles :
- (pour info, YLC a des images tirées du film 2001, l'Odyssée de l'espace, suspendues sur les mur de son bureau)
- YLC se concentre sur la volonté de domination, mais c'est un leurre, ce qui inquiète les gens informés, c'est la capacité de nuisance, bien plus que la volonté de domination. Comme je l'ai écrit dans le JDN, une IA n'a pas besoin de vouloir nous dominer pour nous nuire. Il suffit juste qu'elle soit très compétente sans qu'on ait pu lui inculquer parfaitement nos valeurs (peut-être déjà car on serait bien incapable de les détailler précisément sans faille), et notamment car une IA compétente chercherait à s'assurer de sa survie ainsi que de son accès aux ressources en matière et énergie pour atteindre toujours plus et mieux et objectif
- à lire dans le Journal du Net : Réponse à Yann Lecun : l'IA n'a pas besoin de vouloir dominer le monde pour nous nuire
- D'ailleurs sa dernière réponse montre bien les limites de son approche centrée sur le leurre de la volonté de domination: HAL a tué son équipage, certes, mais ce n'est pas parce qu'il voulait nous nuire ! A ouf, on est soulagé ! ...Mais la belle affaire, puisqu'il a tout de même tué tout le monde!!
- Si intelligence et volonté de domination d'ailleurs ne sont pas corrélés, l'un n'exclut pas l'autre non plus, donc le problème subsiste
- Stanislas Dehaene (grand psychologue cognitiviste et neuroscientifique français qui donne la réplique à YLC dans le livre) : "nous avons tendance à tirer des conclusions exagérées, à voir des causes cachées là où il n'y a que du hasard, parce que notre espace d'hypothèses est très orienté vers la causalité"
- échange surréel entre Yann Le Cun et Stanislas Dehaene
- Stanislas Deheaene explique ce qui manque selon lui aux machines pour devenir conscientes : la conscience serait la capacité à connaître ses limites, ce qu'on sait faire, en combien de temps et avec quelle probabilité de succès, et ce qu'on ne sait pas faire
- Il demande ensuite à Yann Le Cun : "et ça la machine sait le faire ?", qui répond "Oui. Il y a divers travaux là-dessus. Quand on entraîne un système avec l'apprentissage supervisé, il donne plus ou moins automatiquement un score sur la fiabilité.
- Aïe ! Ce que notre grand psychologue cognitiviste et neuroscientifique français pense être la conscience, et ce qui distinguerait les hommes des machines, serait en fait une fonctionnalité assez basique qu'on trouve déjà dans l'apprentissage supervisé (sans aller même invoquer l'apprentissage non-supervisé). Quel décalage ! Un monde s'effondre.
- Et Stanislas Dehaene d'enchaîner comme si de rien n'était, extraordinaire !
- autre échange marquant:
- S. D. : Est-ce que vous n’obtenez pas des systèmes qui manifestent un excès de confiance en eux ? Connaissent-ils suffisamment bien les limites de leurs propres capacités ?
- Y. L. C. : Oui. Plusieurs méthodes permettent de contrôler ça. Il y en a une, nommée SafetyNet, dans lequel un deuxième réseau de neurones observe le premier en train de conduire une voiture et essaie d’évaluer la fiabilité du premier. Dans une autre, qui s’appelle MultiExpert, on entraîne plusieurs systèmes de vision spécialisés pour chaque situation particulière. C’est alors un méta-réseau qui choisit lequel de ces experts est le plus approprié à la situation. L’entraînement peut se faire automatiquement, sans qu’il soit nécessaire de spécifier à l’avance la situation dans laquelle chaque expert doit être impliqué. Le système décide seul.
- S. D. : Ce que tu décris semble très proche de ce que fait l’humain qui agit comme un bon statisticien. Par exemple, des expériences montrent que notre cerveau est capable de pondérer les sources d’information quand il reçoit des entrées à la fois visuelles, auditives et tactiles d’un même objet. Le cerveau réfléchit d’abord pour savoir si les entrées viennent bien du même objet. Si c’est le cas, il intègre ces informations en les pondérant en fonction de leur fiabilité. Par temps de brouillard, par exemple, les informations visuelles sont fortement sous-pondérées et les informations auditives surpondérées. Vous savez faire ça avec les réseaux de neurones ?
- Y. L. C. : Oui. Ça se fait plus ou moins automatiquement quand on entraîne un système MultiExpert.
- que manque-t-il aujourd’hui à l’intelligence artificielle pour progresser
- Y. L. C. : D’abord, cette capacité à intégrer l’apprentissage avec le raisonnement. Il y a beaucoup de travaux sur la question mais on ne sait toujours pas bien le faire. Ensuite, et c’est encore plus difficile, reproduire la capacité des animaux et des humains à apprendre comment fonctionne le monde, seulement par observation et interaction. Pouvoir construire des modèles du monde. C’est ce que l’on appelle l’apprentissage non supervisé et que l’on ne sait pas vraiment bien faire.
- autre échange, sur la nécessité de structure, d'inné pour le substrat de l'intelligence (l'objection : le deeplearning n'en a pas/en manque)
- S. D. : Il y a, par exemple, un réseau particulier pour le langage qui est déjà spécifique : si on fait écouter à un tout petit enfant sa langue maternelle, les informations auditives sont canalisées vers ce réseau bien précis, le même que chez l’adulte, et pas vers l’ensemble du cerveau. Il me semble que la composante innée est un peu sous-estimée dans les réseaux actuels d’intelligence artificielle.
- Y. L. C. : C’est amusant, parce qu’il y a peu, j’ai participé à un débat public avec Gary Marcus, un collègue psychologue de l’université de New York. La question était : « Quelle dose de structure innée doit-on mettre dans les systèmes d’intelligence artificielle, pour que l’intelligence émerge ? » Nous sommes tous d’accord sur le fait qu’il faut de la structure, bien sûr, mais les systèmes d’apprentissage profond existants ont beaucoup de structure. Ainsi, les réseaux convolutifs, qui sont universellement utilisés, sont caractérisés, justement, par leurs structures de connexions. Une partie des travaux faits en deep learning consiste précisément à imaginer des architectures de réseaux, un peu similaires aux grands faisceaux de connexions dans le cerveau. Et cela, à un niveau encore un peu plus fin : en différenciant les aires du cortex visuel.
- sur le fait que pas besoin en IA d'avoir trop de types de neurone artificiels différents :
- S. D. : Penser, par exemple, qu’il existe seulement des neurones excitateurs et des neurones inhibiteurs serait erroné. Pour les seuls neurones inhibiteurs, on dénombre désormais plus de trente types distincts, qui jouent probablement des rôles extrêmement spécifiques, avec des neurotransmetteurs particuliers et des morphologies complètement différentes. On est toujours en train de découvrir la structure du cerveau. Ce travail est très loin d’être terminé. La structure précise des connexions, dans le cerveau humain, on ne la connaît pas. Même chez les singes, elle n’est pas encore parfaitement décrite.
- Y. L. C. : L’un des problèmes de ces études tient au fait qu’on ne sait pas quels détails sont importants, voire critiques, pour l’intelligence. Trente types de neurones inhibiteurs dans le cerveau ? Dans les modèles de l’intelligence artificielle on ne fait même pas la différence entre neurones inhibiteurs et excitateurs ! On a un coefficient positif ou négatif. Point. En fait, on n’a pas besoin de ce genre de distinction parce qu’il n’y a pas de biochimie, seulement des programmes. Pour la biochimie il est effectivement difficile d’avoir un coefficient qui puisse être tour à tour positif et négatif, il est donc nécessaire de ségréguer les deux types de neurones. D’autre part, les microcircuits sont organisés de manière à pouvoir faire des calculs locaux avec des neurones très spécialisés.
- sur la capacité du cerveau humain et de la machine à normaliser son activité en autonomie en cas de "surchauffe"
- S. D. : En intelligence artificielle, ce type de biomimétisme ne fait que commencer. Il faut s’abstraire des détails biologiques mais, en même temps, étudier certains aspects qui n’ont pas été bien compris et dont l’importance peut être cruciale. Prenons l’exemple de la normalisation de l’activité cérébrale. Quand se produit une forte intensification des décharges neuronales, certains neurones inhibiteurs semblent intervenir pour diviser l’activité de l’ensemble du réseau de manière à la normaliser et à éviter l’épilepsie . C’est un calcul que l’on voit se produire dans toutes les aires du cerveau et qui est probablement important.
- Y. L. C. : C’est un concept qu’on utilise maintenant dans les neurones artificiels. Il a été inspiré par la biologie, mais il a fallu trouver les principes sous-jacents. Le système ne marchait pas si bien que ça, alors on a regardé comment ça se passait dans le cerveau. Actuellement, tous les systèmes de deep learning utilisent un type de normalisation.
- Domaines où la machine est en avance sur le cerveau ?
- Y. L. C. : Dans des domaines spécialisés. Pour l’apprentissage visuel ou auditif, on entraîne les machines avec une quantité assez importante de données et elles peuvent intégrer des informations présentes dans ces données. Ainsi, on arrive à entraîner des machines à reconnaître les plantes à partir de la forme des feuilles, ou bien des oiseaux… Les niveaux de performance sont supérieurs à celui du commun des mortels, mais encore inférieurs à celui des spécialistes. Il y a aussi le jeu de go.
- sur la portée de la victoire d'AlphaGo
- Yann Le Cun relativise les prouesses d'AlphaGo au jeu de Go, ce ne sont selon lui que des applications spectaculaires de ce qu'on savait déjà plu ou moins faire
- il cite ensuite le cas des échecs où au moment de son entretien des équipes "centaures" hommes+ machines restaient meilleures que les seules machines. On comprend en filigrane qu'à ses yeux, une machine capable de faire mieux que les centaures constituerait un vrai exploit pour le coup
- Et c'est ce qu'il s'est passé peu après l'entretien avec Alpha Zero, qui a appris les échecs en quelques heures et battu tous ses opposants à plate couture, inventant des coups "venus d'ailleurs",
- Yann Le Cun relativise les prouesses d'AlphaGo au jeu de Go, ce ne sont selon lui que des applications spectaculaires de ce qu'on savait déjà plu ou moins faire
- S. D. : Lors de la première publication sur le jeu de go, j’ai pensé que cela représentait un tournant pour l’humanité. J’ai dit à tout mon labo : « C’est une date historique ! » et je continue à penser qu’il s’agit d’un événement extraordinaire. Dans un domaine où l’on considérait vraiment que seule l’espèce humaine pouvait se déployer, eh bien non : elle est battue.
- Y. L. C. : J’ai une interprétation un peu différente. Toute cette ligne de travail sur le go est impressionnante et intéressante, mais je pense que, finalement, ces problèmes ne sont pas aussi compliqués qu’on le pensait. Naguère, dans un roman de science-fiction d’Isaac Asimov, on demandait à un robot de résoudre une intégrale, histoire de tester sa fiabilité. On s’est aperçus depuis que c’est complètement mécanisable. On dispose d’une table, il suffit de chercher dedans… Le problème était bien moins compliqué qu’on ne le croyait. Même chose pour les échecs : le jeu est difficile pour les humains à cause de la prédiction à long terme. Comme on ne possède pas une mémoire de travail très importante, on est obligés de se reposer sur l’intuition. L’ordinateur, lui, avec de l’exploration suffisamment profonde, arrive à résoudre le problème. C’est comme ça qu’AlphaGo réussit à compiler ses explorations arborescentes dans un réseau de neurones qui, en fait, concentre une espèce d’intuition.
- S. D. : Oui, mais… le logiciel AlphaGo ne se contente pas d’une exploration arborescente mécanique, comme le faisait déjà Deep Blue pour les échecs il y a vingt ans. Il développe aussi une intuition visuelle des coups les plus pertinents. Pour moi, c’est éminemment proche de l’intuition humaine.
- Y. L. C. : Mais, du coup, c’est un domaine dans lequel l’intelligence humaine n’est pas très bonne. Donc, d’une certaine manière, le problème est plus facile pour les ordinateurs que pour les humains.
- S. D. : Chaque fois que l’intelligence artificielle avance, on dit que ce n’était pas un vrai problème !
- Y. L. C. : Exactement. C’est comme la recherche du plus court chemin entre deux points…
- sur la fusion homme-machine
- Yann Le Cun dit : "Nore capacité de mémoire à court terme est realtivement faible : on a du mal à retenir 3 numéros de téléphone d'affilée. On peut imaginer à l'avenir une mémoire épisodique directement connectée sur le cerveau qui pourrait pallier des pertes de mémoires"
- sur l'avenir du travail :
- Yann Le Cun: "Je ne crois pas au remplacement. Je crois au déplacement. (...) De nouveaux métiers apparaissent tous les jours. Le coût du travail humain est élevé, il ne sera donc utilisé que là où il ne pourra pas être remplacé : dans des tâches sophistiquées ou de communication humaines
- Note personnelle : cela veut tout et rien dire sans préciser un semblant de calendrier, il est probable qu'à terme même les tâches les plus compliquées puissent être automatisées et que la communication humaine ne résistera pas si longtemps aux machines. De quel horizon temporel parle-t-on ?
- sur les armes autonomes
- Yann Le Cun dit qu'il ne faut pas confondre armes intelligentes et armes autonomes
- une mine antipersonnel est une arme autonome, mais elle est très stupide
- au contraire les armes intelligentes, parce qu'elles auront un ciblage très fin, devraient faire moins de victimes et ne sont donc pas des armes de destruction massive.
- note personnelle : tant qu'elles restent dans les mains de démocraties réticentes à voir des morts, les leurs commes ceux qu'elles peuvent causer (et encore) ; et sauf si elles tombent dans de mauvaises mains
- il dit : "Les guerres modernes sont sensibles à l'opinion publique et le caractère meurtrier d'une guerre la rend, au minimum, suspecte. ce sont les opinions publiques intérieures et internationales qui ont poussé les Etats-Unis à se désengager du Vietnam. Militairement ils étaient supérieurs, mais l'accumulation de victime s'est retournée conte eux."
- On peut citer ici Yuval Noah Harari :
- "On 16 March 1968 a company of American soldiers went berserk in the South Vietnamese village of My Lai, and massacred about 400 civilians. This war crime resulted from the local initiative of men who had been involved in jungle guerrilla warfare for several months. It did not serve any strategic purpose, and contravened both the legal code and the military policy of the USA. It was the fault of human emotions. If the USA had deployed killer robots in Vietnam, the massacre of My Lai would never have occurred." (en phase donc avec YLC jusque-là)
- "If the USA had had killer robots in the Vietnam War, the My Lai massacre might have been prevented, but the war itself could have dragged on for many more years, because the American government would have had fewer worries about demoralised soldiers, massive anti-war demonstrations, or a movement of ‘veteran robots against the war’ (some American citizens might still have objected to the war, but without the fear of being drafted themselves, the memory of personally committing atrocities, or the painful loss of a dear relative, the protesters would probably have been both less numerous and less committed)." (il ne semble donc pas évident que les armes autonomes raccourcissent les guerres et occasionnent au final moins de victimes)
- On peut citer ici Yuval Noah Harari :
- il prétend que "Une règle a été acceptée dans la plupart des armées : toute décision de cibler un objectif doit être prise par une personne. Au départ il y a toujours une décision humaine. C'est la loi"
- On peut se demander si Russie et Chine ou même USA, France, UK respecteraient cette loi en cas de conflit, qui est pourtant le seul cas pertinent, par définition, non ? ça paraît bien illusoire.
- Il précise malgré tout "Il existe quelques armes complètement autonomes, comme des mitrailleuses à déclenchement automatique à la frontière entre les deux Corées"
- Pour bien comprendre les enjeux de ce débat sur les armes intelligentes, ces lectures s'imposent (par ordre chronologique du débat):
- We Should Not Ban ‘Killer Robots,’ and Here’s Why (juillet 2015 Evan Ackerman)
- Why We Really Should Ban Autonomous Weapons: A Response (Stuart Russell, Max Tegmark and Toby Walsh, août 2015)
- Warfighting Robots Could Reduce Civilian Casualties, So Calling for a Ban Now Is Premature (Ronald C. Arkin, août 2015)
- Ban or No Ban, Hard Questions Remain on Autonomous Weapons (août 2015, Paul Scharre and Michael C. Horowitz)
- Do We Want Robot Warriors to Decide Who Lives or Dies? (mai 2016 Erico Guizzo and Evan Ackerman)
- Why the United Nations Must Move Forward With a Killer Robots Ban (mai 2016 Toby Walsh)
- Why Should We Ban Autonomous Weapons? To Survive (Mark Gubrud, juin 2016)
- Industry Urges United Nations to Ban Lethal Autonomous Weapons in New Open Letter (août 2017, Evan Ackerman)
- Lethal Microdrones, Dystopian Futures, and the Autonomous Weapons Debate (nov 2017 Evan Ackerman)
- Yann Le Cun dit qu'il ne faut pas confondre armes intelligentes et armes autonomes