[Index] Intelligence artificielle

[Bubu]

Merci ixy, je ne connaissais pas cette fonction de transfert.
Cependant il y a 2 choses qui m'embêtent avec cette fonction et sur son utilisation dans les couches cachées :
Elle n'est pas dérivable en 0, comment établir la règle d'apprentissage ?
Elle n'est pas bornée donc les signaux sont amplifiés couche après couche.
L'avantage de la sigmoïde et de tanh c'est qu'elles valent toujours moins de 1 en valeur absolue.

Par contre pour son utilisation pour la couche de sortie, je comprends.

Normalement ça ne pose pas de problème il n'y a pas d'effet d'explosion, à condition que les entrées soient normalisées. Pour la dérivabilité en effet on utilise une approximation (softplus à voir dans l'intro de wikipédia).

Pour la dernière couche en fait en classification on utilise une sigmoïde, ou plus exactement la fonction softmax https://en.wikipedia.org/wiki/Softmax_function

Ok.
J'explique mon doute : la sortie d'un tel neurone peut être astronomique avec beaucoup d'entrées, ce qui engendre un comportement oscillant du neurone au lieu qu'il converge vers un état stable. Même si les entrées du réseau sont normalisées, les entrées de la seconde couche ne le sont pas.
Et plus on descend, plus les sorties prennent des valeurs gigantesques.
Mais ce n'est qu'un doute.
Je me renseignerai.

Édit : je suis quand même étonné que des gens tergiversent encore sur la fonction d'activation à utiliser dans les couches cachées.
Tant qu'elle est continue, dérivable, bornée et non linéaire, c'est bon.
Quand à la couche de sortie, on choisit la fonction d'activation qui nous arrange selon l'usage que l'on fait des sorties.
Il n'y a pas de règle générale, c'est selon l'usage.

[Bubu]

Intelligence artificielle
Ce qui signifie reproduire un "esprit humain" (human mind) de facon artificielle. C'est je pense pour cela qu'on n'y arrive pas. Car se pose le support -le cerveau - en préalable de sa création.

Je trouverai plus intéressant de produire une intelligence artificiellement dans un support neuronale existant. Y a la place dans le cerveau des animaux. Par exemple faire évoluer, certains animaux jusqu'à la conscience de leur existence.

C'est en tout cas une idée de science -fiction développée, je crois dans l'ile du dr Moreau ?
Augmenter une intelligence déjà existante. Une intelligence artificielle du niveau voire supérieure à l'humain, c'est aussi ce dernier cas qui nous intéresse souvent et qui est sous-entendu.

Bonjour Daredevil.
Le but de l'intelligence artificielle n'est pas de copier ou d'égaler l'intelligence humaine.
Vouloir ça serait idiot, et présomptueux.
La nature est intelligente, elle s'adapte selon ses contraintes et besoins.
J'en viens à une critique : le test de Turing.
(Un grand génie que j' idolâtre pourtant)
En gros, si une machine est capable de te faire croire qu'elle est humaine le temps d'un échange verbal (via terminaux) alors elle est intelligente.
Donc basé sur une duperie. Belle définition.
Donc l'intelligence est une caractéristique humaine. Belle définition.
Un script énoncé sans conscience est intelligent. Belle définition.
Comme quoi les plus grands génies sont comme nous, et peuvent parfois raconter n'importe quoi.

Un script énoncé sans conscience est intelligent. ce script ne dupera pas un humain. Je parlais justement d'intelligence humaine par comparaison. La nature à créé d'autres formes d'intelligence : tout ce qui est animé. Mais ces formes ne régleront pas des problématiques humaines. D'où la recherche d'une intelligence artificielle calquée sur l'humain mais en recherche de dépassement des limites humaines. Le but est bien de dépasser le cerveau humain. Avec un postulat, qu'il puisse comprendre nos questions tests !

Bonjour Daredevil ça va ?
Mon erreur fréquente est de considérer ma vision des choses comme évidente et universelle, mais je ne crois pas qu'il s'agisse d'intolérance pour autant.
Il y a ces définitions de l'intelligence anthropocentriques.
Je ne crois pas que l'intelligence soit une caractéristique humaine. Mes chats me le prouvent tous les jours.
Ma conception de l'intelligence est qu'il s'agit d'un processus adaptatif pour optimiser et atténuer les contraintes de l'environnement.
J'ai une vision "atomiste" de la chose.
Ce n'est pas la seule vision des choses, ni la meilleure sans doute.

[Bubu]

Bon, raz le bol des Perceptrons.
Sauf ... quand ils sont bouclés.
Là ils réagissent à des séquences de patterns ! Ils peuvent faire de la classification de séquences de patterns.
J'ai vu une publication où le gars avait appris à un réseau récurrent des mélodies courte. Un réseau récurrent prenant en compte les mémoires à court et long terme.

[Ixy]

Oui les LSTM, c'est justement un réseau comme ça que je veux utiliser

[Bubu]

Les réseaux récurrents sont des boîtes curieuses mais fascinantes. Réagissant à des séquences par des séquences. Juste par ce qu'il y a des cycles, des boucles dans la topologie du réseau. Une de mes motivations pour la reprise d'études.
J'aimerais aussi réfléchir au pb des minima locaux pour les Perceptrons, simplement déjà en testant des règles d'apprentissage ne se limitant pas à l'approximation du premier ordre de Taylor.
J'aimerai aussi étudier aussi une méthode de classification "à moitié supervisée" : on ne donne pas la classe a associer à l'entrée. Juste bon ou faux. C'est possible.
Et enfin les modèles à impulsions. Loi de hebb sous une forme la plus simple, pour le modèle le plus simple.
Voilà le vélo que j'ai dans la tête.

[Ixy]

Super Dès que j'aurais ma carte graphique j'essayerai d'entrainer un réseau récurrent sur les messages d'un membre du forum pour voir ce que ça donne ^^

[Bubu]

Super Dès que j'aurais ma carte graphique j'essayerai d'entrainer un réseau récurrent sur les messages d'un membre du forum pour voir ce que ça donne ^^

Surtout ne lance pas d'analyse sur mes posts.
Je te donne d'avance ce que ça va donner :
"Bite. Couille. Nichon"

Sérieusement, pourquoi avoir besoin d'un GPU pour commencer ? Amuse-toi avec quelques unités câblées avec des boucles pour commencer.
C'est bien le défaut des statisticiens. Ne tombe pas là dedans. Ils utilisent des réseaux largement plus complexes que nécessaire, sans savoir ce qu'ils font.
Ils paramètrent vite fait un réseau. Et ils attendent. Super.

[Rem 82]

Super Dès que j'aurais ma carte graphique j'essayerai d'entrainer un réseau récurrent sur les messages d'un membre du forum pour voir ce que ça donne ^^

Non pas moi !

[Ixy]

Entendu

Sérieusement, pourquoi avoir besoin d'un GPU pour commencer ? Amuse-toi avec quelques unités câblées avec des boucles pour commencer.
C'est bien le défaut des statisticiens. Ne tombe pas là dedans. Ils utilisent des réseaux largement plus complexes que nécessaire, sans savoir ce qu'ils font.
Ils paramètrent vite fait un réseau. Et ils attendent. Super.

Dans mon activité de recherche je fais les deux, du "bourrin" et du moins bourrin ^^.

[Bubu]

Oui les LSTM, c'est justement un réseau comme ça que je veux utiliser

Coucou !
J'avais essayé naïvement un temps d'appliquer simplement la rétropropagation (récurrente qd même.) Sans grands résultats
En plus l'erreur baisse exponentiellement avec le temps, bref ça marche vraiment pas trop. (J'ai essayé, encore naïvement, de bourriner en faisant des plus gros réseaux, encore pire. Comportement complétement chaotique.)
Les LSTM ont justement été conçus pour lever ce gros inconvénient.
Mais je ne les jamais manipulés, je connais le principe de base, et je lis.

Sinon il y a l'apprentissage compétitif, c'est beaucoup plus intéressant à mes yeux que l'apprentissage supervisé. C'est un peu comme apprendre à parler à un perroquet.
Il faut connaitre la réponse.
Pas (forcément) pour l'apprentissage compétitif. Il peut trouver "tout seul".
Un des modèle les plus simples l'exploitant est le réseau de Kohonen, qui est juste une version des K moyennes amélioré. (notion de voisinage)
En plus mathématiquement ils sont très simples. Et très performants aussi.
J'ai fait il y a longtemps un petit programme utilisant cet apprentissage avec un perceptron (mono couche) qui permettait à un serpent d'apprendre de manière autonome, par essais/erreurs, le fameux jeu dans les cas les plus simples bien entendu.
Si tu veux, je peux te filer le projet, par MP.

Bye !

[Ixy]

C'est difficile d'entraîner des réseaux récurrents. Les LSTM marchent bien en revanche.

Si tu es interessé par ce genre d'apprentissage tu devrais regarder du côté de "reinforcement learning", Q learning, deep Q learning, ce qui a été utilisé par DeepMind pour leur programme de go, et avant cela sur les jeux Atari :



Ici un jeu de volley avec une intelligence artificielle crée avec un réseau récurrent très simple et un algorithme génétique pour la sélection de réseau
http://otoro.net/slimevolley/
(blog : http://blog.otoro.net/2015/03/28/neural ... olleyball/ )


Tu codes en C++ tout ça ?

[evolution650HBn°2]

Aux Nantais qui seraient passés à côté de l'info : Ce week-end débute les Utopiales.
Il y aura, comme à l'habitude, énormément de conférences intéressantes (avec qui plus est un conférencier de choix.. Thibaud Damour), de la VR à tester, des robots en tout genre... A ne pas manquer, donc.
Je dis ça, je ne sais pas si je vais y aller, il y aura certainement beaucoup de monde ; je devais y aller avec mon frère, mais ne lui ayant pas donner de nouvelles pendant qques jours, il y va maintenant avec un de ses amis. Peut-être que je les accompagnerai, j'hésite encore.
Je m'en voudrais de ne pas y aller, ceci dit, car ça doit vraiment être top ; on peut par la suite avoir accès aux conférences sur Youtube, mais filmées par des amateurs, avec une qualité audio souvent plus que bof.

Edit : je poste ce post ici car le thème de cette année sera principalement dédiée à la robotique et plus particulièrement à l'I.A.
Edit 2 : C'est de 9h à 19h, 9 euros la journée (un peu moins pour les étudiants et moins de 25 ans, et chômeurs).

[Bubu]

C'est difficile d'entraîner des réseaux récurrents. Les LSTM marchent bien en revanche.

Si tu es interessé par ce genre d'apprentissage tu devrais regarder du côté de "reinforcement learning", Q learning, deep Q learning, ce qui a été utilisé par DeepMind pour leur programme de go, et avant cela sur les jeux Atari :



Ici un jeu de volley avec une intelligence artificielle crée avec un réseau récurrent très simple et un algorithme génétique pour la sélection de réseau
http://otoro.net/slimevolley/
(blog : http://blog.otoro.net/2015/03/28/neural ... olleyball/ )


Tu codes en C++ tout ça ?

Bonjour Ixy.
Le projet dont je t'ai parlé est en VB. Mais l'exe est compilé.

La plupart du temps, j'utilisais le C++.
Il y a quelques cas où j'utilisais le Java.

Maintenant, ce serait plutôt Java comme premier choix, et si nécessaire (gros Perceptrons), le C++.

J'ai une appli Java lourdement commentée sur les réseaux de Hopfield, aussi si tu veux.

À plus !

Super Evo ! J'espère que tu auras la chance d'y assister ! Trop loin pour moi ...

[Bubu]

@Evo : bonsoir ! As-tu pu assister à cette rencontre ?

@Ixy : C'est hyper con ce que j'ai dit sur les statisticiens. Ça a dû en faire rire bcp d'ailleurs.

Je ne m'intéresse qu'aux méthodes "neuronales" et que ça. Dans le domaine de l'apprentissage automatique. Leur exploitation ne m'intéresse pas. Je m'intéresse qu'aux différents modèles, leurs possibilités et leurs faiblesses.(En vérité, c'est quand même leur exploitation qui me fait rêver mais chut)
Je ne m'intéresse qu'au connexionnisme.
Le reste, c'est de la gruge si c'est théorique, mais génial si ça peut se révéler ... productif.

D'ailleurs pour moi, le modèle LSTM (qui est aussi un modèle récurrent, hein) est à la limite avec ses "forget gates". Car c'est une mémoire rajoutée, comme ça. Il y a pire, utiliser des registres à décalage, dans les modèles récurrents, pour stocker l'état interne du réseau après la présentation de chaque motif de la séquence. J'ai testé ça marche du tonnerre. Alors que justement, un réseau neuronal est censé être une mémoire... (Associative : on ne stocke pas des états, mais des transformations. Des fonctions).

[Bubu]

Les réseaux récurrents me passionnent mais ....
Soit on s'intéresse à la sortie du réseau après présentation de la séquence entière.
Soit on s'intéresse à la sortie du réseau pour chaque pattern de la séquence.
Voire, en présentant une entrée constante, on s'intéresse à la séquence générée par le réseau....

Bref, j'y comprends plus rien.
D'où ma motivation pour reprendre mes études.