Duel : Homme / machine

[Manfromnowhere]

Bonjour à tous,

je ne sais pas trop à qui m'adressé ni comment m'y prendre mais je pense que ce serait un rdv très important pour l'humanité et que beaucoup de gens suivrait ça : un duel Homme / Machine, mais pas n'importe lequel.
La machine devra jouer aux Shogi + aux échecs + au go
On ferait venir les 2 meilleurs joueurs de chaque discipline, ce qui ferait qu'une machine jouerai contre 6 hommes en simultanée à 3 jeux différents.
J'aimerais tellement voir une telle confrontation ! On pourrai je ne sais pas, la faire au meilleure de 20 manches avec des parties dans plusieurs endroits du monde et les dernières manches chez Google.

Pensez-vous que je rêve trop ou que c'est possible.
cette confrontation attirerais beaucoup de sponsors, tant dans le milieu de l'informatique que de la finance et du monde entier puis les 3 meileurs joueurs sont norvégien et un américain.

Je veux cette confrontation de tout mon coeur, sincèrement.
pas vous ?

[olivierfh]

Avec les réseaux de neurones actuels, pas de doute que la machine va gagner si elle est suffisamment entraînée au jeu: c'est facile pour elle d'apprendre car même si c'est très peu à chaque partie, elle peut faire des parties contre elle-même à très grande vitesse.

Attention car d'après la légende John Henry a gagné contre la machine mais en est mort.

[Benoit]

Il me semble que pour le Go (qui est de loin le plus complexe "mathématiquement" des trois) c'est réglé, une machine peut sans soucis battre l'humain depuis un ou deux ans.

Après, ça me ne pose strictement aucun problème, d'autant plus que ce sont des humains qui ont écrit une grosse partie des programmes et qu'ils relèvent au moins en partie de la "recherche publique".

Le jour où des boites privées type Google seront entièrement propriétaire de ce genre de choses, là par contre, il sera temps de paniquer. Les bienfaiteurs privés de l'Humanité, il faut toujours s'en méfier, surtout quand ce sont des humains en quête d'immortalité.

[Bubu]

C'est un domaine effrayant et fascinant à la fois.
On est arrivé à un stade où les machines sont plus performantes que les Hommes dans bien des domaines.
Les échecs, le jeu de Go depuis peu, le Poker ....

Mais il y a une chose que les chercheurs n'ont pas encore réussi à réaliser : la curiosité.
Pour l'instant, les modèles d'apprentissage nécessitent qu'on prenne l'élève (la machine) par la main.
Il faut dire au système quoi apprendre (et comment).

Les humains et les animaux évolués ont cette curiosité : on ressent donc on apprend. Pas besoin d'un superviseur.
On apprend dès que l'on perçoit. Et les modèles actuels en sont complètement incapables.

Les machines sont excellentes pour apprendre des tâches très ciblées, mais n'ont pas l'instinct d'apprendre.

Je vous conseille les conférences de Yann LeCun qui l'expliquera bien mieux que moi.

(Yann LeCun est un génie dans le domaine des réseaux neuronaux, père de la rétropropagation du gradient de l'erreur (perceptron multi couche) et des réseaux neuronaux convolutifs ...)

[Benoit]

Il existe quand même déjà des formes d'apprentissage "non supervisés".

https://stanford.edu/~shervine/teaching ... d-learning

[Bubu]

Je suis au courant, salut.
L'apprentissage par renforcement en est un exemple.
On renforce la décision si elle est bonne, on l'affaiblit si elle est mauvaise.
(Markov utilise cet apprentissage mais de façon déterministe, ou plutôt discrète)
Ça existe dans les réseaux de neurones aussi.

Les réseaux de neurones compétitifs sont basés là-dessus.
Carte de Kohonen, inspirée des k-mean, mais avec en plus la notion de voisinage.

En 2ème année j'avais fait un projet pour la fac où un réseau apprend tout seul à jouer à Snake, par ses essais-erreurs.
Avec une grande simplification pour que ce soit praticable. (Résultat atteint en quelques minutes)

Je ne comprends pas pourquoi tout le monde s'acharne sur le modèle de McCulloch et Pitt, à combinaison linéaire.
J'ai comparé ce modèle avec les réseaux utilisant des neurones dont la distance (multi-dimensionnelle) est l'entrée, et la convergence est beaucoup plus rapide.

Mais voilà, j'ai raté ma carrière, tout ce qui m'attend c'est le développement de jeux ...

Mais bref, le réseau n'a pas la curiosité et la liberté d'apprendre, il est contraint d'apprendre et de s'adapter à ce problème très précis.

Après si quelqu'un est capable, de formuler la Vie comme une simple règle, formulée en essais-erreurs, ça évoluera peut-être.


[EDIT]
Pour moi seul pour ce projet, j'avais utilisé un perceptron (une couche, le plus simple des réseaux à combinaison linéaire), et un réseau compétitif. Et bien les deux fonctionnaient très bien.
Ensuite j'ai fait un parcours sur le terrain avec un contours (à contourner donc). En utilisant des réseaux plus complexes : un MPL du coté combinaison linéaire, et un Growing Neural Gas pour le coté topologique. Et bien le premier à réussir était le GNG !
C'était amusant. Il prenait toujours le meilleur chemin, en contournant l'obstacle.

Pour être précis ce n'était pas juste un GNG, c'était un ensemble de GNG qui se battaient pour obtenir la bonne catégorie, ou classe.
La compétition était entre plusieurs GNG, chacun attribué à une catégorie.

[Benoit]

C'était de l'humour, je suppose que c'est mal passé à l'écrit.

Dans le même ordre d'idée, j'ai l'impression que la majorité des jeunes aspirent à faire du développement de jeu vidéo ces temps ci, même en connaissance de cause de la façon dont ça se passe dans cette industrie. En tout cas largement au dessus de trucs comme le machine learning ou le deep learning.

[misty]

C'est ce que Raymond Kurzweil appelle la singularité, et il prévoit ça pour 2029 (soit demain). Il ne parle pas que des jeux d'ailleurs, mais d'un esprit capable de surpasser l'esprit humain.

Sur le sujet il a écrit How to create a mind (pas traduit) et The Singularity is Near: When Humans Transcend Biology (traduit par Humanité 2.0), entre autres.

[Tugdual]

Modération (Tugdual) : Des messages ont été déplacés ici.

[Bubu]

J'espère ne pas être hors-sujet et donner du boulot aux modérateurs,
Mais je pense savoir pourquoi la convergence est plus rapide avec les réseaux topologiques qu'avec les réseaux à combinaison linéaire :
Pour les réseaux topologiques, l'apprentissage est local : on change juste les poids du vainqueur et de ses voisins (ceux avec lesquels il est relié, dans une moindre mesure)
Pour les réseaux à combinaison linéaire ce n'est pas le cas, tous les poids changent à chaque itération, du coup ce qui a pu être appris est perturbé par les itérations suivantes. C'est un peu comme un équilibre à trouver. Il faut trouver LA matrice de poids de chaque couche, et L'ensemble de matrices pour tout le réseau.
On change une seule valeur dans ce système de matrices, et tout est à reprendre.

Si on change un poids dans un réseau topologique, ça ne perturbe que quelques réponses.

Après le problème des réseaux topologiques (compétitifs), c'est que la réponse est discrète (des entiers), alors que la réponse des réseaux à combinaison linéaire est un vecteur de réels. Donc il y a des problèmes où les réseaux topologiques sont inaptes.

Mais on peut mettre un réseau RBFN (radial basis fonction network) sous un réseau topologique pour obtenir aussi un vecteur de réels.

Le problème dans ce cas, c'est qu'il faut à l'heure actuelle faire deux apprentissages consécutifs, un pour chaque réseau.
D'abord entraîner le réseau topologique, et une fois que c'est fait, entraîner le réseau RBF sur la sortie du réseau topologique qui est son entrée (binaire, 0 pour les perdants, 1 pour le gagnant. On peut aussi prendre les sorties bruts : les distances) et sur les sorties désirées au final.
Ce n'est pas plausible.
Il faudrait trouver une règle, un peu comme la rétropropagation, pour que les deux apprennent ensemble. Transférer l'erreur du RBF au réseau topologique. Mais ça n'existe pas encore, sauf méconnaissance ou erreur de ma part.

[EDIT]
Après on peut aussi utiliser l'apprentissage compétitif sur les réseaux à combinaisons linéaires.
Perceptron, MLP et sans doute réseaux à convolutions (mais je ne connais pas ces réseaux).
Il faut que la fonction de transfert de sortie soit avec des asymptotes finies vers plus et moins l'infini.
Par exemple la sigmoïde qui tend vers zéro pour moins l'infini, et 1 vers plus l'infini.
Ou tanh, tangente hyperbolique, qui tend vers -1 pour moins l'infini, et 1 vers plus l'infini.

Algorithme :
On calcule le vecteur de sortie.
On détermine le neurone qui a la plus grande valeur de sortie : c'est le vainqueur.
La sortie est son rang. (Entier qui donne sa position dans le tableau.)
S'il a raison, on le renforce (on le fait tendre vers 1)
S'il a tord, on l'affaiblit (on le fait tendre vers 0 pour la sigmoïde ou -1 pour tanh).

S'il a trouvé la bonne solution, on le renforce, logique.
S'il s'est trompé on atténue la force de sa réponse. (Et c'est ce qui est magique, il finira par essayer autre chose.)
Une autre réponse va émerger.

Le défaut de cette technique (que j'ai utilisée pour le projet Snake), c'est que les poids convergent vers les infinis. Et du coup on se retrouve avec un réseau bloqué, qui ne peut plus apprendre)
En plus, ce n'est valable que pour des réponses discrètes ... Pour de la classification. Pas pour de l'approximation de fonction.

[Bubu]

Il existe quand même déjà des formes d'apprentissage "non supervisés".

https://stanford.edu/~shervine/teaching ... d-learning

Le but de ces apprentissages est de créer une représentation (distribution) statistique des données fournies par projection.

Mais je crois qu'on peut aller beaucoup plus loin dans l'apprentissage non supervisé.

L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.

Perso, c'est ça qui me passionne.

[Benoit]

L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.

Moi aussi mais d'un point de vue plus pratique, comment mettre en place un modèle et une politique qui exploite ce genre de données. (Incertaines) et se débrouille pour faire des décisions utiles.

Avec des outils de ce genre là :
https://cs-cheatsheet.readthedocs.io/en ... i/mdp.html

[Manfromnowhere]

bonsoir,

excusez-moi mais on s'éloigne du sujet lol,
est-ce que vous pensez qu'on pourrait faire ce match ? J'ai envie de voir du sang lol.

je pense que l'enjeu sea que la machine ne bugue pas en jouant les 6 parties en même temps.

[Benoit]

"La machine" serait capable de battre tous les humains, simultanément et même en effort physique (cf les videos de Boston Dynamics).

Et elle s'arrangerait pour qu'il n'y ait pas de sang. Et probablement débrancherait Google en 5 minutes s'ils avaient le cran de lui en donner la possibilité.

Bref, ça attendra longtemps.

[Bubu]

L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.

Moi aussi mais d'un point de vue plus pratique, comment mettre en place un modèle et une politique qui exploite ce genre de données. (Incertaines) et se débrouille pour faire des décisions utiles.

Avec des outils de ce genre là :
https://cs-cheatsheet.readthedocs.io/en ... i/mdp.html

Bonjour.


En affaiblissant le vainqueur qui se trompe, on n'est absolument pas sûr que le nouveau (suivant) gagnant ait raison.
C'est même peu probable.
Du coup il va s'affaiblir car il a tord, et un autre gagnant va émerger.
C'est itératif.

C'est du pifomètre : les poids sont aléatoires au lancement, donc on ne peut pas savoir qui va gagner.

J'ai appelé ça (pompeusement) l'apprentissage déductif (en opposition avec inductif).

Mais c'est le mécanisme le plus intéressant :
Un neurone est le vainqueur, on l'affaiblit car il a tort, du coup un autre neurone gagne au bout de quelques itérations pour la même situation.
Et jusqu'à trouver le bon vainqueur, la bonne réponse, et là le nouveau vainqueur sera renforcé au lieu d'être affaibli.

Le réseau trouve tout seul la solution, pas besoin de superviseur, ou d'apprentissage supervisé.
[EDIT]
La seule supervision est de dire si la décision est bonne ou mauvaise. Un simple booléen.
Mais c'est au réseau de trouver la réponse.

ProjetSMA.exe.txt

C'est le projet en question. (Enlevez l'extension txt et sous Windows, il devrait se lancer normalement)
Il faut être patient, ça prend une dizaine de minutes.
Même plus que ça.
Si vous êtes pressés de voir le résultat (car c'est très lent, ok) , minimisez la fenêtre pdt 5 minutes.