[Index] Intelligence artificielle

[Rem 82]

Vous avez prévus un plan de piratage de site de masse ?

[Bubu]

Si j'ose me permettre, renseigne toi sur le réseau de Kohonen.
En gros c'est une projection adaptative. De l'espace d'entrée.
Cela discrétise l'espace d'entrée.
Rien qu'avec ce modèle​ on fait des merveilles.
On peut generaliser le réseau pour une "dimension" Quelconque.

Et faire du Q-learning sur des architectures pareilles est enfantin.

Sans parler de la vitesse d'apprentissage. Ce n'est pas plus rapide que celui d'un MLP travaillant sur le même problème. Mais carrément d'un ordre de grandeur moindre.

Désolé pour mon message débile d'hier, il n'a aucun sens. Mais j'aimerais bien que tu m'aide à implémenter SoftMax pour mon code du MLP. Merci

La vraie version de mon Snake est basée sur cette approche. Apprentissage compétitif, topologique.
J'ai migré vers un perceptron simple monocouche, dans l'espoir de pouvoir complexifier les données d'entrée, en utilisant un MLP ensuite, pour qu'il ait un comportement..... Plus futé.

[Bubu]

Avec les GNG, j'avais réussi à faire un système qui ne fonctionne pas seulement en vol d'oiseau.
Le robot évitait les obstacles naturellement, pour aller vers la nourriture.

Pour cela, j'ai fait une variante du GNG, que j'avais pompeusement nommé CNG ( classyfing neural gas). Faut bien donner des noms partout en info.
En gros, il y a compétition entre plusieurs GNG. Chacun étant étiqueté, assigné à une classe.
La compétition ne se fait pas seulement au niveau des neurones, mais carrément entre réseaux GNG. L'apprentissage ne suit pas la même politique. Car il s'agit de discrimination et non de mapping.

J'ai toujours le code de cette variante du GNG en java. Il te suffit de demander.

Faut vraiment que tu t'intéresses à ces réseaux.

[Ixy]

C'est quoi GNG ?

SoftMax c'est pareil qu'une sigmoïde en fait. Je ne peux pas écrire les équations ici mais

softmax(x1, .., xn) c'est un tableau dont l'indice i est exp(x_i)/(exp(x1) + ... exp(xn) )
en divisant par exp x_i au numérateur et au dénominateur, on a 1/(1+ sum_j diff de i_ exp(x_j-x_i)) = sigm(- ln ( sum_j diff de i_ exp(x_j-x_i)))


Pour ReLu il y a rien de plus simple c'est max(0, x)

[Bubu]

GNG = growing neural gas.

Je sais bien qu'à la base, c'est x donne max (0, x).
Mais je veux la version dérivable.
Je croyais que c'était ln (1 + exp (x)) mais non.

[Ixy]

Si c'est bien ça

[Bubu]

Alors pourquoi tout le monde dit que sa dérivée est la sigmoïde ? C'est faux

[Ixy]

Non c'est juste aussi

[Bubu]

D'accord. Cela signifie que j'ai d'énormes lacunes en maths. Zut.

Dans Google, cherche :
"Growing neural gas applet'
Et va sur DemoGNG.js.

J'ai une application graphique java sur ma variante. Donc si tu veux je t'envoie le .jar avec plaisir.


Il y a 2 formes d'apprentissage dedans :
Un simple apprentissage supervisé.
Et un apprentissage déductif. À moitié supervisé : la réponse correcte n'est pas donnée. Juste vrai ou faux. Il déduit la bonne classe tout seul.(mais c'est plus long)

[Bubu]

Coup de gueule :
Pourquoi vous vous obstinez dans cette voie?
Ça y est vous pouvez faire des MLP de 10 couches. Fabuleux. Et on appelle ça du deep-learning ? Génial. Alors que d'un point de vu théorique il n'y a rien de nouveau.
D'accord, avec les MLP profonds, il y a le PB du gradient vanishing. Plutôt que de laisser tomber cette architecture, vous vous obstinez.

Pourtant le MLP accumule à peu prêt tous les inconvénients.
Impossible de les utiliser en apprentissage inline.
Chaque présentation de pattern modifie tous les poids. Ce qui est absurde et non plausible naturellement.
Les réseaux topologiques ne modifient leur environnement, que s'ils sont sollicités. C'est un apprentissage local.
Le temps de convergence des MLP est intolérable et les rend impraticables.


Si c'est l'approche qui vous intéresse, insistez. Si vous êtes intéressé par l'intelligence artificielle, fuyez ce modèle.

[Ixy]

Les MLP ont d'autres intérêts. Etant donné la complexité des réseaux de neurones (nombre de couches, tailles), le premier intérêt est à sa simplicité et qu'ils sont assez universels. On a pas encore atteint les limites de ce qu'on peut en faire. C'est une porte d'entrée pour l'intelligence artificielle.

[Bubu]

Simples, les MLP ? C'est les réseaux les plus complexes de mon petit point de vue.
Impliquant des notions mathématiques complexes, comme le gradient. Et sa propagation.
Avec les réseaux topologiques, il suffit de savoir calculer des distances. Et de savoir déterminer un minimum. Niveau troisième.

[Bubu]

Je préfère préciser.
Ce n'est pas une attaque personnelle.
Au contraire je t'adore.
Tu as relancé le sujet toi-même.
Je suis hyper frustré par ton absence de communication.

[Ixy]

Ben je communique pourtant.


Au fait si tu veux sérieusement t'y mettre tu devrais commencer à apprendre Python et numpy ama. bon ça demande à être à l'aise avec certaines notions mathématiques, en particulier les matrices.

http://cs231n.github.io/python-numpy-tutorial/

[Bubu]

Non, le plus simple est que je retourne à l'école.
Est-ce de la gentille condescendance ? Car je suis très à l'aise avec les matrices.

J'étais en maths-info ..... Alors j'ai appris à réduire des endomorphismes par exemple.
Valeur propre, vecteurs propres, je connais.
D'ailleurs j'ai trouvé ça si chiant que je suis allé en licence d'info tout court après.



Ton approche est forcément meilleure que la mienne, mais je ne veux pas utiliser de bibliothèque.
En informatique, c'est un énorme biais. Réinventer la roue.
Mais je veux maîtriser les modèles que je manipule, et cela passe par leur implémentation.