[Index] Intelligence artificielle

[Bubu]

Quand tu dis qu'un MLP est plus simple à entraîner, que veux tu dire ?
Moins de risque de sur apprentissage ?
Moins de risque de tomber dans des minima locaux ?

Parce que pour l'instant, je vois cette fonction de transfert ln(1 + exp(x)) comme ne provoquant qu'un état oscillant, non stable, des neurones l'utilisant.
Qu'est ce que je ne comprends pas ??

[Ixy]

C'est de la pratique. Comme justification ce que je connais c'est que ça évite le pb des vanishing gradient ou des gradients qui explosent.

Tu dois savoir que l'intuition que tu as sur des petits réseaux s'applique mal sur des grands réseaux. C'est d'ailleurs pour ça que ça marche car les petits réseaux fonctionnent mal tu dois savoir ça.

[Bubu]

C'est de la pratique. Comme justification ce que je connais c'est que ça évite le pb des vanishing gradient ou des gradients qui explosent.

Tu dois savoir que l'intuition que tu as sur des petits réseaux s'applique mal sur des grands réseaux. C'est d'ailleurs pour ça que ça marche car les petits réseaux fonctionnent mal tu dois savoir ça.

N'oublie pas quand-même que je suis autodidacte dans ce domaine. Comme tu dis, je m'amuse. Je n'ai qu'une licence.
Pour l'instant, j'ai toujours trouvé bcp plus difficile d'entraîner un gros réseau qu'un petit.
Bon, j'essaie : l'asymptote de cette fonction est l'identité quand on tend vers plus l'infini. Donc la sortie est quasiment la somme des entrées pondérées pour un potentiel post synaptique positif élevé.
Donc l'adaptation d'un poids, basée sur la retropropagation du gradient, écrase à chaque cycle le précédent poids.
Le neurone n'apprend pas, ne converge pas vers un état stable. Il ne s'adapte pas, mais change de paramètres carrément à chaque cycle.
(Vanishing gradient est un pb des réseaux récurrents il me semble, non ?)

Comme je l'ai dit, j'ai l'intention de reprendre mes études dans ce domaine. J'espère en septembre prochain.

[jhn]

Je voudrais signaler que la retropropagation n'est pas l'unique façon de faire converger un réseau, on utilise également beaucoup les algorithmes génétiques pour ça.



Sur la question de comment se comporte le passage d'un "petit" réseau à un grand, j'ai lu assez peu d'articles sur la question, de même que je n'ai trouvé finalement que peu d'articles sur les fonctions d'activations. Il semble que la majorité des utilisateurs et des articles se focalisent sur les fonctions dans R, alors que clairement les fonctions définies sur N s'appliquent tout aussi bien. Je ne comprends pas toujours ces biais, mais c'est sans doute que la majorité des articles qui justifient les choix sont en fait inaccessibles par une recherche simple et naive sur google.
Ce que je trouve difficile, c'est qu'il est très rare de trouver un article qui expose le coeur du sujet en termes évidents, et qui permet de se faire sa propre idée, sans forcément devoir comprendre toutes les hypothèses inutiles. Par exemple si l'on parle de la rétropropagation, j'ai lu dernièrement qu'on essaye de minimiser le carré de l'erreur, en retropopageant l'estimation de cette erreur de façon à pondérer la contribution par le poids de la synapse qui communique l'entrée. C'est simple et accessible, contrairement aux notations formelles. Ceci m'a permis d'enfin avoir une idée de quoi on parle, ce qui n'était pas le cas avec les explications "classiques" qu'on trouve partout, et qui exprime les choses de façon très précises, mais nécessite d'accepter beaucoup d'hypothèses parasites pour être comprises. Je me doute bien que ce qui intéresse les chercheurs, c'est de pouvoir "prouver" la convergence théorique, mais je ne comprends pas bien cette démarche, quand les seules preuves acceptables in fine sont pratico-pratiques.



Pour le moment je m'intéresse en priorité aux petits réseaux (cf les vidéos que j'ai mis plus haut), et je me contenterais pour les grands d'utiliser les bibliothèques existantes (si j'en ai besoin), ce qui ne demande pas de comprendre la fonction d'apprentissage elle même, juste de saisir comment ça s'utilise en pratique. Pour débuter, en particulier si on souhaite tout coder, les petits réseaux sont une bonne base, on peut les faire tourner rapidement sur une machine personnelle ordinaire. Les grands demandent soit beaucoup de temps, soit l'utilisation de cartes graphiques (nvidia presque exclusivement)

[Bubu]

Bonjour jhn (et bienvenue ! )
Très intéressant , je vais regarder les vidéos que tu as postées.
Même si les algorithmes génétiques sont aussi très efficaces pour faire converger un réseau (il y a bcp d'exemples), je ne trouve pas ces méthodes élégantes.
Je pense que l'avenir des réseaux neuronaux formels est le modèle à impulsions. (Modèles de 3eme génération selon certains. Le premier est basé sur la combinaison linéaire des entrées, le second étant basé sur une distance (modèle s topologiques) (RBF, Kohonen, GNG,....). Et le troisième grand modèle étant impulsionnel)
Il a été prouvé qu'un SNN pouvait résoudre tout problème qu'un MLP de même topologie le pouvait. (Un MLP est un SNN particulier, où les unités sont synchrones. Enfin pour une couche)
En plus, ils ont un comportement qui dépend du temps. (Même sans boucles dans la topologie)
C'est surtout les SNNs (Spiking Neural Network) qui m'intéressent au fond. Mais faut maîtriser tous les autres modèles sur le bout des doigts je pense. D'où ma volonté de reprendre mes études.Ce serait mon rêve de travailler dans ce domaine.

[Ixy]

Les grands demandent soit beaucoup de temps, soit l'utilisation de cartes graphiques (nvidia presque exclusivement)

Oui et surtout beaucoup beaucoup de données.

Je vais bientôt avoir un ordi avec une carte nvidia gtx1060

[Ixy]

Les mlp ont permis des avancées hallucinantes en computer vision, speech recognition, natural language processing, depuis environ 6 ans. Ces réseaux immenses avec plus de 7 couches apprennent des représentations ultra abstraites des images, sons....
Pour voie un ozu ce qu'ils ont dans le ventre regardez cette vidéo qui reproduit des styles de peinture d artistes bien connus, c'est tout simplement bluffant.

[jhn]

@bubu : le moyen le plus simple d'accéder au domaine, au tout du moins d'être proche des utilisateurs, c'est de postuler en tant que "data scientist".

Je pense que si tu es bien classé sur Kaggle, beaucoup de portes sont ouvrables. Et même sans être bien classé, juste le fait de bien connaître quelques un des problèmes présents, et savoir les résoudres. Et même si ce n'est pas le cas, il y a encore moyen, mais c'est plus aléatoire.

Les secteurs financiers sont extrêmement friands d'algorithmes prédictifs (et à priori, ce ne sont pas les seuls). C'est un peu comme lorsque dans les années 2000 la demande d'informaticiens était telle, que l'habituelle exigence de diplôme s'est relâchée. Je pense qu'on arrive à une époque semblable aujourd'hui, mais pour tout ce qui touche à la prédiction algorithmique.

Donc même si le diplôme est un plus indéniable, il y a moyen en ce moment.



Est ce qu'il y a des articles facilement accessibles à propos des SpikeNN ? Pourquoi te semble t'il nécessaire de bien comprendre les autres modèles avant de pouvoir t'y intéresser ? Est ce que les petits réseaux SNN te semblent un sujet d'étude intéressant ? (je préfère comprendre les petits réseaux avant de chercher à comprendre les grands)

[Bubu]

Le Perceptron (simple) est de Rosenblatt, de 1958 si je ne me trompe pas.
Le MLP, date de 1982. Découverte (commune de plusieurs) par un breton aussi, que tu as mentionné. (Yann Le Cun)

On est en 2016, Ixy, c'est tout, maintenant c'est réalisable des MLP de 10 couches au vu de la puissance des machines d'aujourd'hui. Mais au niveau théorie, il n'y a rien de plus il me semble.
Il faut trouver de meilleurs modèles, de meilleures règles d'apprentissage.

Et il ne faudrait pas s'attendre à des merveilles non plus. Un humain met de l'ordre de 1 à 2 ans avant de savoir marcher. Certains autres mammifères savent le faire en quelques jours. Plus la "population neuronale" est nombreuse, plus il faudra de temps pour la former.
Dans une approche purement statistique, amusez vous avec vos réseaux énormes qui font gamberger des serveurs pdt plusieurs mois pour approximer vos fonctions, mais c'est une voie sans issue.

[Bubu]

Est ce qu'il y a des articles facilement accessibles à propos des SpikeNN ? Pourquoi te semble t'il nécessaire de bien comprendre les autres modèles avant de pouvoir t'y intéresser ? Est ce que les petits réseaux SNN te semblent un sujet d'étude intéressant ? (je préfère comprendre les petits réseaux avant de chercher à comprendre les grands)

Bah .... Entre les explications vaseuses qu'on trouve sur wikipédia pour l'instant, et les articles qui cherchent à reproduire le fonctionnement d'un neurone, d'un point de vue empirique ..... Non.Non.Non

J'attends avec impatience une publication à mon niveau.
Je n'ai jamais rien fait avec les SNN. Jamais ni implémentés ni expérimentés.

Mais tu peux trouver des publications sur le sujet assez facilement. Le gros problème, c'est comment définir la relation d'apprentissage. Personne n'est d'accord pour l'instant. Enfin en gros.

[Bubu]

@Ixy : si tu t'intéresses aux réseaux de Hopfield, (dont le but est de minimiser l'énergie du réseau), tu as dû tomber sur le problème du voyageur de commerce.
Arrête toi tout de suite alors. À cause de ce putain de problème de minima locaux, tu n'es pas sur du résultat. En règle générale, ce ne sera pas la solution optimale.

[Ixy]

Système capable de lire sur les lèvres :

[Rem 82]

Outil intéressant pour les personnes sourdes et malentendantes !

[Bubu]

Système capable de lire sur les lèvres :

@Remy :
Voire à la vidéo surveillance, quand n'importe quelle caméra pourra embarquer cette technologie.... Sans vouloir tomber dans le complotiste pour autant.

@Ixy : c'est vraiment impressionnant. Ont-ils publié quelque chose sur leur système, ou c'est secret défense ?

Ça me fait penser à HAL dans 2001 l'Odyssée de l'espace. Tu sais, quand HAL comprends en lisant sur les lèvres des astronautes qu'ils comptent le désactiver.

[Ixy]

L'article est ici : https://arxiv.org/pdf/1611.05358v1.pdf

C'est un CNN (Convolutional Neural Networks) pour les images suivi d'un réseau récurrent.