[Index] Intelligence artificielle

[Ixy]

Pour s'amuser avec des réseaux simples : http://playground.tensorflow.org (je l'ai déja posté peut-être)

[Bubu]

Oh gros ! Tu n'as pas regardé le code du MLP.
J'utilise la fonction sigmoïde partout, y compris dans la couche de sortie.

[Ixy]

Désolé Bubu je n'ai pas eu le temps de m'y atteler. J'y jetterais un coup d'oeil promis mais je ne peux pas te dire quand.

Sinon je continue mon apprentissage de tensorflow. J'espère faire quelques expériences avec prochainement

[Bubu]

Capture d’écran (5).png

Miss Bougonette, après une nuit de gamberge sur un réseau de 3 couches cachées de 100 neurones chacune.




Une nouvelle version du MLP (multi layer perceptron) :
-correction du calcul des momenta. (inertie) . Car initialement erroné.
-sérialisation.

MLP.java.txt

[scorame]

Alors ......

l'intelligence artificiel .... j'aimais bien la version GALACTICA moi https://fr.wikipedia.org/wiki/Battlesta ... is%C3%A9e) la série originel et http://www.allocine.fr/series/ficheseri ... e=261.html j'ai adoré la série avec deux films , temps l'original des années 80 et maintenant la nouvelle version relooker . bref l'intelligence artificielle a prix le dessus sur ces créateurs et l'a en partis supplantée , alors à vos calculs de probabilités hein

déja qu'es ce que l'intelligence??? exact ;concept trop vague qui reste à définir, en neuropsychologie et psychologie on cause de performance , c'est ainsi qu'on évalue et quantifie ,comme le QI quoi .

[Ixy]

Un peu de fun ! à vous les artistes

http://affinelayer.com/pixsrv/

[Bubu]

J'aimerais bien faire une version de ce code en OpenCl, car d'une part les neurones d'une couche donnée sont indépendants,et ensuite, parce que l'on peut pipeliner assez facilement un mlp.
Du coup, le traitement serait en moyenne équivalent à un perceptron (une couche).
Non. Pipeliner le calcul de la sortie est possible, mais pas l'apprentissage (il faut propager les signaux vers le bas (sorties) puis vers le haut (erreurs)).
Bref. Par contre évidemment on peut paralléliser une couche. Traiter en parallèle les neurones d'une couche. En subdivisant en tronçons (chunks) la couche, et en traitant les tronçons sur différents coeurs.

[Bubu]

@Ixy : salut !
Pourrais-tu décrire ton activité en temps que doctorant dans le domaine des réseaux neuronaux, si ce n'est pas indiscret bien-sûr ?
Tu as des cours d'informatique ? de mathématiques ?
Tu dois bien faire de l'expérimentation, des TP, non ? En quoi consistent-ils ?
Sympa de me répondre si tu as le temps. Si c'est trop personnel, tu peux me MP avec plaisir bien-sûr.

[Ixy]

Ca fait beaucoup de questions Je répondrai pour le doctorat un peu plus tard tu pourras me reposer la question, je fais en ce moment des réseaux de neurones multi-couches assez peu profonds sur des séquences de 256 échantillons en dimension 3 (sous la forme de réseaux de neurones récurrents LSTM ou autre). Je ne rentre pas dans les détails cette fois ci.

Je vais te répondre pour la formation . En ce qui concerne le deep learning, étant donné que c'est récent, l'offre des cours est très peu développée. En revanche il y a beaucoup de conférences, séminaires et surtout plein de ressources sur internet. C'est une communauté très ouverte et partageuse, MÊME SI on doit l'essentiel des avancées à des grands groupes (je veux dire par là qu'ils contribuent activement au partage des connaissances).
J'ai tout de même eu la chance de suivre de cours de Y. Le Cun au collège de France, j'ai d'ailleurs posté les références ici. J'ai aussi suivi quelques cours en lien direct avec le deep learning dans le cadre de mon master ou depuis que je suis en thèse (on assiste à peu de cours en tant que doctorants).

En revanche j'ai une solide formation mathématique/info, apprentissage statistique et traitement du signal, développement en Python avec numpy, donc je suis très à l'aise avec les techniques de deep learning. Ca fait maintenant plus de deux ans que je code en Python c'est là dessus que tourne l'essentiel des bibliothèques de deep learning.

Tu dois bien faire de l'expérimentation, des TP, non ? En quoi consistent-ils ?

J'ai suivi les tutoriels de TensorFlow (documentation en ligne), entre autre.
https://www.tensorflow.org/get_started/get_started

[Bubu]

Merci pour ta réponse, à ce qui semble c'est donc une démarche, un travail assez personnel alors. (cool)
Tu choisis tes sujets d'études ou ils te sont proposés ?
Où trouves-tu tes jeux de données pour entrainer tes réseaux, pour expérimenter ?
(Oups, encore bcp de questions ! )

Merci !

[Ixy]

J'ai vaguement un projet de thèse à respecter qui a été d'ailleurs défini en partie par moi, ça s'inscrit quand même dans un projet de recherche (ANR). Mon directeur de thèse me laisse très autonome ce qui est un avantage comme un inconvénient.

Pour les données... tout dépend de ce que tu veux faire ? Moi j'ai besoin de données de différentes langues, j'utilise différents sites commes Tatoeba ou Librivox (ce ne sont pas des sites pour ça à la base).

[Ixy]

Ca m'a fait penser à ton Snake Bubu : http://janhuenermann.com/projects/learning-to-drive

[Bubu]

Ca m'a fait penser à ton Snake Bubu : http://janhuenermann.com/projects/learning-to-drive

Très intéressant, merci !
Hop, dans les favoris !
Bon, mon Snake est quand-même infiniment plus rudimentaire...
L'algorithme d'apprentissage et l'architecture des 2 réseaux utilisée ont l'air fascinants.

[Bubu]

Bon, je cède, je vais tenter la fonction de transfert SoftMax. Je n'ai pas bien compris les justifications mathématiques, mais .... si vous le dites...

[Bubu]

La fonction ReLu n'est pas :
Ln(1 + exp(x)).
Le graphe d'un point de cette​ fonction est anecdotique .

Je croyais que Soft max et. Merde .

Je ne m'intéresse qu'à l'apprentissage on Line. Je m'en fout des MLP profonds.
Ils ne correspondent à aucune réalité, avec ce modèle, il faut 2 ans pour qu'il sache se déplacer​.