[Index] Intelligence artificielle

[Tugdual]

L’art et l’archéologie :

• nouveaux horizons de l’IA...

[Bubu]

Le but de l'intelligence artificielle n'est pas arrivé.
On balance une entrée, et on corrige la sortie.
L'apprentissage d'un réseau neuronal se passe en 2 temps. D'abord on balance les données ensuite on corrige les sorties. On propage les erreurs sur les connections avant. C'est la rétropopagation du gradient de l'erreur. Les physiciens connaissent bien ce qu'est le gradient, c'est le vecteur des dérivées partielles.
Le problème actuel en intelligence artificielle, c'est qu'on est pas capable de faire une boucle. La soif d'apprendre. Bon.
En deuxième année, j'ai fait un projet où une AI apprenait à jouer par elle même au jeu du serpent. Sans supervision, elle apprenait de ses erreurs. (C'est pas ouf, mais c'était pour le principe) (Je me cogne, mauvaise action; je croque la pomme, bonne action. Il fallait quand même mettre une mauvaise action quand elle tournait en rond (Je comptais ses mouvements, et si le serpent avant fait plus de mouvements que la largeur et la longueur du terrain plus la longueur de sa queue, c'est qu'elle tournait en rond, car avec ce nombre de coups, elle aurait forcément réussi à croquer la pomme).
L'état initial du réseau, c'est l'aléatoire (valeurs aléatoires pour tous les poids)
Au début elle se cogne contre les murs et ne va pas vers la pomme, et petit à petit, elle développe une stratégie mieux structurée.
Personne n'a rien compris. Pourtant j'utilisais un réseau d'une seule couche, le Perceptron, en apprentissage compétitif.
Ben non. Rien.
Il y avait même des maîtres de conférences qui ignoraient que c'était possible.
Dégouté.

On utilise pas l'apprentissage compétitif sur les perceptrons.
On l'utilise sur les réseaux topologiques, inspirés du K-means.
Mais j'ai fait le pari, et ça marche aussi.
En gros, comme en démocratie, c'est celui qui crie le plus fort qui a raison.
Un neurone de sortie qui à raison, j'amplifie sa réponse.
Un neurone de sortie qui à tord, j'atténue sa réponse comme ça à terme, c'est un autre qui va gagner la compétition.
C'est comme ça que le réseau change de décision.

Après j'avoue, c'est un usage un peu tarabiscoté des Perceptrons, mais c'est fonctionnel. Sauf que la façon de faire évoluer les poids n'est pas très conventionnelle.
Et on ne s'intéresse pas au vecteur de sortie, mais au rang de celui qui à la valeur maximale ! Un entier.
Chaque neurone de sortie choisit la décision. Pour le serpent, c'est haut, bas, gauche, droite. Donc 4 neurones de sortie. J'ai cherché à faire un programme très simple qui montre le potentiel des réseaux neuronaux (car pour moi c'est l'avenir de l'intelligence artificielle), et je me suis tapé un gros bide.
Je deviens cynique, j'ai eu 16 alors que le prof n'avait rien compris. Malgré mon niveau faible, 2ème année, j'espérais que mon exposé aurait une portée plus ... pédagogique, c'est prétentieux. Dans les faits, absolument pas. J'ai eu l'impression de reciter des versets de la bible.

J'ai gardé le projet sur cloud (je me demande pourquoi)
Pour PC Windows.

ProjetSMA.exe.txt

Enlevez l'extension txt car c'est un executable.
Je voudrais m'excuser auprès de l'équipe de modération. Car je détourne le système du forum des pièces jointes en masquant via l'extension txt qu'il s'agit d'un programme, un exécutable.
Après c'est juste une question de confiance. Jamais j'aurais l'idée de poster un malware.

Si vous avez des doutes sur mes intentions, lancez votre antivirus dessus avant de l'exécuter.
C'est lent, il faut à peu près 30 minutes à une heure pour que l'algorithme résolve le problème.
Après c'est un réseau neuronal d'une seule couche, de 6 entrées et 4 sorties. Le premier modèle, qui date des années 60.
Donc il ne faut pas s'attendre à des merveilles : le problème est énormément simplifié. (L'algorithme ne peut pas apprendre à éviter de se mordre la queue)

Mais c'est quand même fun, de suivre l'évolution de l'algorithme.


[EDIT] : Car vous vous doutez qu'avec seulement 6 entrées, il ne voit pas la grille en entier. Il sait juste la direction de la localisation de la pomme (2 entrées), et le contenu des 4 cases autour de la tête. (est-ce un obstacle (mur ou queue ?) ou une case vide). Ça fait bien 6 entrées au total. Vous voyez bien qu'avec une modélisation si primitive du problème, l'algorithme est très limité.

Mais c'est dans les temps pour un exposé oral.

[Bubu]

Serpent-20220203T153414Z-001.zip

Je pense que ce qui manque aux réseaux neuronaux, c'est la création, la modélisation d'un système de récompense, comme dans tout cerveau (animal ou humain, peu importe).
Si on y arrive, c'est récompenser les bonnes actions, et atténuer les mauvaises.
Et donc l'IA n'a pas besoin d'être supervisée (un professeur qui lui apprend quoi répondre, qui lui donne la bonne solution).
Mon petit programme sans prétentions tentait de le faire. L'AI n'est pas supervisée et pourtant, par elle-même, elle découvre quoi faire.

Si je voulais améliorer l'algorithme pour que le serpent ne s'enferme pas dans sa queue, ce serait infiniment plus complexe. (Normal, car c'est le but du jeu pour nous humains.)
Premièrement, il faudrait que l'algorithme ait accès à toute la grille.
Donc déjà bye bye, le perceptron.
Même un MLP, Perceptron multicouche, serait insuffisant.
Il faudrait utiliser un réseau à convolutions.
En substance, on utilise un petit réseau qui analyse que quelques cases. un bloc de 3x3 cases. (On appelle ça des tuiles).
En théorie un pour une tuile, mais en fait c'est le même petit réseau que l'on utilise pour balayer toute la grille, case par case, donc les tuiles se superposent en partie (d'une case dans chaque direction sans les diagonales, soit une croix) Un réseau de 5 entrées et d'une sortie (Sans doute qu'un perceptron d'une seule couche ferait l'affaire). Car l'analyse est la même quelque soit la case de la grille.
Ensuite on connecte le petit réseau à un plus gros réseau (Un Perceptron de plusieurs couches qui aurait comme entrées le résultat de chaque tuile) qui lui va prendre les décisions.
Mais le temps d'apprentissage sera forcément extrêmement long.

EDIT : A mon niveau (je suis très loin d'être chercheur, je n'ai qu'une simple licence Maths-Info), ce qui m'intéresse c'est l'apprentissage, et non les prouesses que font des réseaux neuronaux rigides, soit après apprentissage.
Evidemment, je ne suis pas insensible aux résultats fabuleux qui sont publiés.
Pour ces réseaux, on utilise des méthodes informatiques très puissantes. (Cuda, GPUs). Mais cela ne m'intéresse pas.
Je m'intéresse à l'apprentissage en temps réel. Ce n'est pas le temps qui m'intéresse, mais le nombre de situations d'apprentissage.
C'est un peu un rêve d'enfant, mais ce qui me passionne dans ce domaine, c'est de suivre l'évolution de l'apprentissage.

Maintenant, je m'en fous de ce projet. Je le livre. (oral, doc, plus le code source (en visual basic, les fichiers .vb, le code source, sont lisibles avec n'importe quel bloc note. Au pire, renommez-les en .txt.)).

Tout en haut du message, vous avez tout le projet compressé en zip.
Je me rends compte que c'est à mon nom. Je compte sur votre discrétion.

[Bubu]

Le premier réseau neuronal inventé dans les années 60 par un chercheur appelé Rosenblatt a été discrédité violemment dans les années 80 par deux autres chercheurs qui ont publié un ouvrage.
Minsky et chépluki. Qui voulaient faire le buzz (En 1988 si ma mémoire est bonne).
Ce réseau avait été nommé Perceptron. Ça fait très frères Bogdanoff. Mais c'est le nom donné à ce réseau, bon.
Au même moment, il y a eu le réseau ADALINE (ADAptative LINear Element). C'est la même chose, sauf que pour l'ADALINE, on calcule toutes les erreurs, et on les applique en une seule fois.
Le propos des réfractaires était vrai : si le problème ne peut pas être représenté sous la forme d'une équation linéaire, le Perceptron était incapable de résoudre le problème.
Le Perceptron est incapable de faire le XOR, le OU EXCLUSIF. C'est totalement vrai, et on peut le démontrer par un raisonnement par l'absurde. (Supposons qu'un Perceptron résout le XOR. On déroule les calculs et on se rend compte que c'est impossible. On tombe sur une contradiction. Une valeur qui devrait être strictement positive et strictement négative à la fois).

Mais il y a eu des réfractaires aux réfractaires . Des personnes qui ont cru au potentiel de ce modèle, et ont cherché à établir un Perceptron de plusieurs couches.
Car sur le papier, on voyait bien qu'un Perceptron de 2 couches pouvait calculer le XOR
En se basant sur le gradient pour faire évoluer les couches au dessus de la couche de sortie. C'est enfantin pour les physiciens.
Le Perceptron historique utilise une fonction seuil : plus petit qu'une valeur qui évolue pendant l'apprentissage, c'est zéro, et plus grand, c'est un.
L' idée géniale, c'est de remplacer la fonction seuil par une fonction dérivable non linéaire (car la composition d'applications linéaires, reste une application linéaire. Et donc remplaçable par une seule application linéaire. Donc une couche ou 50, le réseau aurait la même capacité de calcul). Car la fonction seuil n'est pas dérivable, et donc impossible de calculer un gradient pour remonter l'erreur sur les couches plus hautes. Et donc sont apparus les perceptrons de plusieurs couches, les MLP (multi layer perceptron)
Cela a remis les réseaux neuronaux au goût du jour...

Et voyez maintenant ce qu'ils sont capables d'accomplir !

[Tugdual]

Intelligence artificielle :

• faut-il avoir peur du Terminator ?

[Bubu]

Intelligence artificielle :

• faut-il avoir peur du Terminator ?

En 3 lettres : Non.
Je n'ai pas tout lu, mais je connais l'argumentation. Et c'est forcément limpide quand c'est Yann Le Cun qui s'exprime.
Les réseaux neuronaux n'ont pas d'autonomie d'apprentissage. Les réseaux neuronaux ont énormément évolué depuis leur création, en puissance d'analyse. (Certains résultats sont carrément hallucinants).
Mais ça reste des bêbêtes qui ne sont capables que de classifier des motifs (patterns).

[Tugdual]

Les réseaux neuronaux n'ont pas d'autonomie d'apprentissage.

Pour l'instant.

Le potentiel de développement me semble maintenant dans l'organisation d'un ensemble de réseaux neuronaux intelligemment et hiérarchiquement structurés et connectés (de façon à ce que certains réseaux aient pour fonction de "régler" d'autres réseaux de niveaux inférieurs, par exemple).

Le potentiel de fonctionnalités accessibles me paraît sans grandes limites...

[Bubu]

Les réseaux neuronaux n'ont pas d'autonomie d'apprentissage.

Pour l'instant.

Le potentiel de développement me semble maintenant dans l'organisation d'un ensemble de réseaux neuronaux intelligemment et hiérarchiquement structurés et connectés (de façon à ce que certains réseaux aient pour fonction de "régler" d'autres réseaux de niveaux inférieurs, par exemple).

Le potentiel de fonctionnalités accessibles me paraît sans grandes limites...

D'accord. La seule solution, c'est de réussir à créer un apprentissage non supervisé sur les réseaux à convolutions. Un réseau qui apprend sans but fixé par une supervision.
Et ce n'est pas la technologie qui est un obstacle, c'est la théorie.

A mon niveau de 2ème année à l'époque, j'ai essayé. Et c'est possible de faire évoluer un perceptron sans apprentissage supervisé. (Le programme et le projet sont dans mes messages précédents).
On pourrait quand même dire que c'est un apprentissage supervisé. Mais non. En fonction de ses réussites et ses échecs, il apprend tout seul. La supervision ne concerne que les cas extrêmes les plus simples. Je me cogne, je meurs, je mange la pomme, réussite, je tourne en rond, je meurs. C'est un algorithme supervisé oui, mais je ne lui apprend pas quoi faire.

Comme je l'ai dit dans les messages précédents, c'est un perceptron apprenant grâce à l'apprentissage compétitif. Je ne comprends pas que cela ne soit pas utilisé.

EDIT : Comment donner un but dans la vie ? Que doit apprendre un réseau qui ne soit pas supervisé ? C'est plus une question pour philosophe que de mathématicien.
Comment réussir à englober, à réunir, l'apprentissage en seulement deux notions : échec et réussite ?

EDIT2: Je ne l'ai pas fait dans le programme mis en lien, mais on peut nuancer la réussite et l'échec. Il suffit de changer le facteur d'apprentissage dans l'équation d'apprentissage.
Pour le serpent, on pourrait dire que l'échec quand il se cogne, est plus grave que quand il tourne en rond.

EDIT3 : Qu'est ce que l'intelligence ? Je n'en sais rien. Comme tout le monde. Mais une chose sûre, c'est qu'elle n'est pas typiquement humaine. (Je me permets de critiquer Descartes, avec sa théorie des animaux-machines). Il n'a sans doute jamais eu d'animaux domestiques. J'ai deux chats et il ne leur manque que la parole, et encore. Ils comprennent des mots-clés (le premier étant croquettes évidemment Je me moque d'eux, là ).
Ils connaissent ma routine, bref on communique. Et à leur façon de miauler, je sais ce qu'ils veulent.
Pour moi, considérer l'intelligence comme humaine et seulement humaine est un biais cognitif.

[Tugdual]

Le cofondateur d'OpenAI devient cible de moquerie :

• après son tweet sur l'IA légèrement consciente...

Extrait :

La mise au point de Michael I. Jordan – pionnier de l’apprentissage automatique

« Les gens s'embrouillent sur la signification de l'IA dans les discussions sur les tendances technologiques, à savoir qu'il y a une sorte de pensée intelligente dans les ordinateurs qui est responsable du progrès et qui est en concurrence avec les humains. Nous n'en sommes pas à ce niveau, mais les gens parlent comme si c'était le cas », dit Michael I. Jordan, un chercheur de premier plan dans le domaine de l'IA et de l'apprentissage automatique. Il note que l'imitation de la pensée humaine n'est pas le seul objectif de l'apprentissage automatique ni même le meilleur objectif. Au contraire, l'apprentissage automatique peut servir à accroître l'intelligence humaine, par l'analyse minutieuse de grands ensembles de données, de la même manière qu'un moteur de recherche accroît les connaissances humaines en organisant le Web. Les systèmes d'intelligence artificielle sont loin d'être assez avancés pour remplacer les humains dans de nombreuses tâches impliquant le raisonnement, la connaissance du monde réel et l'interaction sociale. Ils font preuve d'une compétence de niveau humain en matière de reconnaissance des formes de bas niveau, mais du point de vue cognitif, ils se contentent d'imiter l'intelligence humaine, sans s'engager de manière profonde et créative, explique l'expert.

[Tugdual]

Via le recours à l'IA, des chercheurs battent le record du monde :

• du séquençage d'ADN le plus rapide...

Extrait :

Une équipe de recherche dirigée par l'université de Stanford a établi un nouveau record mondial, enregistré par le livre Guinness des records, pour la technique de séquençage de l'ADN la plus rapide. Comment ? En utilisant l'intelligence artificielle pour accélérer la vitesse du flux de travail. Ce projet de recherche novateur a été élaboré en collaboration avec Nvidia, Oxford Nanopore Technologies, Google, le Baylor College of Medicine et l'Université de Californie, et a permis de repousser les frontières de la génétique en réalisant un séquençage d'ADN en seulement cinq heures et deux minutes.

[Tugdual]

Une IA n’a pas le droit de copyrighter une œuvre :

• c’est réservé aux humains...

Extrait :

Pour l’institution chargée d’enregistrer les œuvres de l’esprit, et de ce fait octroyer aux personnes physiques (ou morales) des droits exclusifs dessus, le problème n’est pas tant de savoir à qui attribuer la paternité de l’œuvre : au système d’IA ou bien à Steven Thaler, le concepteur de la machine à créativité. Il est de savoir si c’est le fruit de la créativité humaine ou non.

Car, détaille le verdict, « la loi sur le copyright ne protège que les fruits du travail intellectuel qui sont fondés sur les pouvoirs créatifs de l’esprit ». L’institution ne peut donc pas enregistrer des œuvres « produites par une machine ou un simple processus mécanique qui fonctionne sans aucune contribution ou intervention créative d’un auteur humain. »

[Tugdual]

Une intelligence artificielle a recomposé des photos "réalistes" :

• de personnages historiques...

Napoleon Bonaparte :

Napoléon.jpg

[Bubu]

message supprimé.

[lepton]

Une intelligence artificielle a recomposé des photos "réalistes" :

• de personnages historiques...

Quand je vois le célèbre portrait d'Henry VIII, je ne peux pas m'empêcher de penser à un ministre de la justice français.
Y'a un petit air de famille, non ?

Bon, je ne suis pas super doué avec les visages.

[Tugdual]

Quand je vois le célèbre portrait d'Henry VIII, je ne peux pas m'empêcher de penser à un ministre de la justice français.
Y'a un petit air de famille, non ?

Maintenant que tu le dis... oui, je vois !