[Index] Intelligence artificielle

[Bubu]

Pour Ixy.
Ixy, merci de me prévenir qd tu auras téléchargé l'archive.
C'est nominatif, donc plus vite sera le mieux, comme ça j'éditerai le message pour virer le fichier joint.
Merci Ixy.

[Ixy]

Cool c'est téléchargé.

je vais revoir les réseaux d'hopfield comme cela

[Bubu]

Génial !
Pour l'application sur les réseaux de Hopfield, les commentaires sont en anglais, mais je suis sûr que ça ne te rebutera pas.

Pour le serpent .... Regarde les .vb.
Ce sont de simples fichiers texte.
L'exe est prêt de toute façon.

[Ixy]

Ca a l'air fun le Snake. C'est quoi l'entrée de ton réseau au juste ?

[Bubu]

Il y a 6 entrées seulement.
En gros la position relative de la tête par rapport à la pomme. 2 entrées.
Les autres entrées, les 4 autres, codent le voisinage immédiat de la tête.
Je te suggère de regarder les documents que j'ai créé. Même si maintenant je me rends compte que c'est de la merde. Honnêtement.

Par contre, il y a un cours en pdf de M. Parizeau. Étudié le, vraiment. C'est ma Bible.

[Ixy]

Ok ça a l'air pas mal

[Bubu]

Salut Ixy.
La démonstration de l'impossibilité de calculer un XOR pour le neurone de Mc Culloch et Pitts, dans le rapport sur Snake est fausse. Il manque le biais.
Le reste, j'y comprends plus rien.

[Ixy]

https://m.facebook.com/deeplearningcdf/

Le cours de Yann Le Cun au collège de France

[Bubu]

T'embête pas trop avec les réseaux de Hopfield. C'est une bestiole théorique, rien de plus.
Par contre, j'aimerais comprendre la notion de relaxation.
Qui consiste à utiliser l'algorithme de Hopfield sur une couche. (Version continue de Hopfield)
Vivement que je reprenne mes études...

Édit : j'ai voulu implémenter le modèle de base de Hopfield. Sauf qu'il n'y a pas de biais normalement. Ce n'est pas pour autant faux, mais quand même, au moins, imprécis. Un réseau de Hopfield est représenté par une matrice carrée normalement. Ce qui n'est pas le cas s'il y a un biais bien sûr.Sauf si l' on remplit la dernière colonne de 1 ou -1 pour une matrice carrée de taille n+1 x n+1 (avec un zéro pour la valeur sur la diagonale), n étant le nombre d'unités. Mais là encore, on s'éloignerait du modèle original.

Argh .... Même pas.... Elle ne serait pas symétrique.... Tu peux essayer de virer le biais dans le code si tu veux.

[Ixy]

http://quickdraw.withgoogle.com/#

Jouer au pictionnary avec une IA de google Essayez de faire 6/6 (moi j'ai pas réussi j'arrive à 5/6)

[Bubu]

Bonjour Ixy, je ne comprends vraiment pas le choix de ln(1 + exp (x)) comme fonction d'activation dans les couches cachées d'un MLP. Mais je vois bien qu'en effet, c'est la mode en ce moment. Utilisez vous la retropropagation dans ce cas ? (Je sais qu'il existe des artlernatives comme "quick prop" ou "cascade corrélation" mais je ne les ai jamais utilisé.)
As-tu à disposition une implémentation de réseau utilisant cette fonction de transfert ?
Ça m'aiderait, merci.

Édit :
Dans un réseau de Hopfield, les neurones sont binaires. Soit actifs, soit inactifs. Certains utilisent 0 et 1, d'autres -1 et 1.
Pour un apprentissage offline, peu importe.
Pour un apprentissage online, il vaut mieux choisir -1 et 1.

Car avec comme états 0 et 1, les poids ne peuvent qu'augmenter.
S'il y a au moins un zéro (loi de Hebb), le poids ne change pas.
Sinon, le poids ne fait qu'augmenter.

[Ixy]

Il n'y a pas de raison toute faite pour le choix de l'activation. C'est plus facile à entraîner. C'est un compromis entre le tout ou rien du sigmoïde et une fonction linéaire. Il existe toujours des fonctions de type sigmoïde ceci dit.

Oui on utilise la rétropropagation dans ce cas. Je n'ai pas d'implémentation mais sache qu'il existe des bibliothèques qui permettent de faire ces opérations de backprop facilement. Moi j'utilise tensorflow en python.


Cette semaine, j'ai vu ce qu'était une machine Boltzmann. En fait c'est très similaire au modèle d'ising et au modèle d'Hopfield.

[Bubu]

Merci pour ta réponse.
Je vais donc (finir par) utiliser des frameworks qui me permettront de tester tout ça. Pas le choix.
Alors que justement, mon objectif n'est pas d'utiliser des modèles tous faits, mais d'en comprendre le fonctionnement et de les implémenter moi même. Pour peut-être contribuer à l'élaboration de modèles plus sophistiqués.

Les machines de Boltzmann ? Je vois ça comme une tentative de créer un réseau de Hopfield avec une couche cachée. Il me semble qu' aujourd'hui on ne s'intéresse qu'aux machines de Boltzmann restreintes, dont la topologie est difficilement entretenue pour avoir un résultat interprétable au lieu d'un comportement chaotique.

[jhn]

Bonjour.
https://www.youtube.com/watch?v=HgWQ-gPIvt4
https://www.youtube.com/watch?v=pgaEE27nsQw
https://www.youtube.com/watch?v=qSmlKAly1UE


https://www.kaggle.com/
https://www.r-bloggers.com/image-recogn ... t-package/

[Ixy]

Oui, c'est ça .

les framework te laissent une grande marge de liberté, tu peux continuer à t'amuser