[Index] Intelligence artificielle

[Ixy]

Les bibliothèques ne t'empêchent pas de presque tout implémenter from scratch (avec un type de langage différent car tensorflow ou theano ça ressemble à un logiciel de calcul formel mais tu gardes le contrôle de ce que tu fais).

[Bubu]

Un autre avantage des GNG, c'est qu'on a pas, a priori, besoin de définir sa structure initiale. Il commence par 2 neurones reliés, et complexifie sa topologie par rapport à la complexité du problème.
Après il y a plusieurs versions, certaines permettent de tuer les neurones inutiles, ou de casser des liens.
Donc ajout/suppression de neurones et de liens automatiquement, en plus de pouvoir en créer évidemment.
Donc il est capable de déterminer une topologie optimale pour un problème donné.

[Bubu]

@Ixy : je ne comprends pas pourquoi on place les MLP parmi les classifieurs linéaires. Pour moi, ce serait plutôt des approximateurs universels de fonctions.
Ils ne répondent pas une classe (ou catégorie, c'est pareil) mais un vecteur.
À moins d'appliquer un apprentissage compétitif sur la sortie.

Les réseaux "topologiques" quant à eux, sont des classifieurs topologiques.
Parce qu'ils répondent une classe. Un entier naturel.

Un petit tuyau stp ?

[Ixy]

Oui il y a un soft max pour le dernier layer.

[Bubu]

Oui il y a un soft max pour le dernier layer.

NB : si tu as a assez de mes questions, envoie moi un mp merci.
Pour faire un apprentissage compétitif derrière la sortie d'un MLP, il suffit qu'il y ait une relation d'ordre totale entre les sorties. Comme tu l'as vu dans le code du Snake, j'utilise la sigmoïde tout simplement.
Un tel apprentissage serait impossible sur des sorties booléennes par exemple.

Tu parles de Soft max sur la dernière couche : mais est-elle utilisée dans les couches cachées ?

Je rentre chez moi mercredi normalement.
Je t'enverrai l'algorithme du GNG officiel en pdf.
Je posterai aussi le .Jar de ma variante, avec quelques explications sur son utilisation.


Mais je reste halluciné que même à votre niveau, vous ne connaissiez que les modèles basés sur le neurone formel de MC Culloch et Pitt, alors que les cartes auto-organisatrices existent depuis une trentaine d'années.

[Ixy]

Il y a déjà de nombreuses variantes et applications pour les mlp, alors les gens ne s'intéressent qu'à ça pour le moment et quelques autres trucs comme machines de Boltzmann, variatonal autoencoders et quelques autres que je ne connais pas.

Le truc ultra tendance c'est les generative adversarial networks, je t'invite à regarderle principe.

Oui uniquement en sortie le soft max.

[Bubu]

Oui uniquement en sortie le soft max.

Salut !
Ben tu te souviens, j'ai à 2 reprises exprimé mon incompréhension de son utilisation dans les couches cachées.... J'avais pas si tord ?

L'algorithme du GNG que j'ai est dans une thèse de Master. Bon il utilise un RBF en dessous, mais ça ne m'intéressait pas. Donc ce sera enfantin pour toi.

Pour ma variante :
En supervisé, je rapproche simplement le vainqueur du GNG de la bonne classe s'il y a erreur.

En "déductif" :
Si le bon GNG gagne la compétition, je fais rien.
Si c'est faux, je rapproche tous les autres. L'inutilité fera disparaitre les mauvais.

C'est basé sur le GNG avec utilité.
Où les neurones qui ne gagnent jamais sont éliminés.

Édit : c'est difficile à expliquer.... Faut juste bien voir qu'il y a deux niveaux de compétition :
Entre les neurones d'un GNG.
Entre les (vainqueurs des) GNG.



De toute façon, je posterai mes bidules la semaine prochaine, quand je rentrerai.

[Ixy]

D'accord je regarderai ce que c'est à ce moment là.

[Bubu]

Voilà toujours la thèse de Master dans laquelle sont très bien expliqués le GNG, et le GNG avec utilité.
Je n'ai pas étudié la suite qui utilise un réseau RBF.

[Ixy]

Ok c'est donc analogue à K means.

Personnellement je ne crois pas à des methodes de clustering miraculeuses, c'est pourquoi pour l'instant l'apprentissage supervisé ou faiblement supervisé est plus regardé.

Mais les generative adversarial networks sont un exemple d'algorithme très performant qui apprend à reproduire des distributions complexes.

[Bubu]

K means avec voisinage. Là est toute la différence. Kohonen
Avec un nombre de neurones variable . Neural gas.
Avec génération de noeuds. GNG
Avec suppression si mauvais clustering.
GNG avec facteur d'utilité.
Donc plasticité absolue.

Les ordinateurs ne mentent pas. S'il s'agissait de méthodes miraculeuses alors l'informatique serait une religion ? Évidemment non, c'est une science.

Là il s'agit de simple clustering, d'apprentissage non supervisé.
Avec un minimum de jugeote et de compréhension sincère de ces modèles, on peut faire facilement de l'apprentissage supervisé.

Je rentre chez moi mercredi, tu verras s'il s'agit de méthode miracle quand je posterai ma petite variante.

Passer son temps à paramétrer un réseau MLP, c'est chiant. Là, il y a aussi des paramètres à régler évidemment, mais pas la topologie qui sera de surcroît optimale.

Le réel défaut de ce genre d'apprentissage, c'est qu'il n'y a aucune possibilité de nuance, c'est une classe, ou une autre. C'est une sortie discrète.
C'est en ça que le truc avec les voitures m'intéresse beaucoup. Mais encore et comme toujours avec ces sacs de noeuds, on ne peut pas faire d'apprentissage en temps réel. (Online). Or pour moi, c'est le principal. La notion d'apprentissage est au coeur de l'IA pour moi.
Je ne considère pas les systèmes incapables d'apprentissage en temps réel comme faisant partie de l'IA. Ils relèvent plus de méthodes statistiques.

[Ixy]

Je ne connais pas Kohonen mais je vais regarder

[Bubu]

Mais les generative adversarial networks sont un exemple d'algorithme très performant qui apprend à reproduire des distributions complexes.

Tu en as déjà parlé et je compte m'y intéresser. Mais si je ne peux pas faire d'apprentissage online avec, j'abandonnerai immédiatement.
Merci pour tes suggestions et ton aide en tout cas.

[Ixy]

Non ce n'est pas pour l'apprentissage en ligne. C'est pour générer des images par exemple. L'apprentissage en ligne le plus utilisé c'est l'apprentissage par renforcement je pense.

[Bubu]

Je viens de rentrer chez moi, j'ai enfin quitté cet enfer. Soit j'oublie, soit je contacte avec un soutien de taille une journaliste du Télégramme. Et ça va saigner !
Bref.
Ben l'apprentissage non supervisé est un simple apprentissage par renforcement...
Mais tu as raison, il faut que je cherche déjà dans les algorithmes d'apprentissage par renforcement. Tout en utilisant les réseaux neuronaux. Je veux le beurre et l'argent du beurre que veux-tu .... Car je veux pouvoir jouir de la puissance des NN tout en voulant que ce soit rapide...
Une chimère ? ...

J'ai la flegme d'aller sur l'ordinateur.... Tout à l'heure ou demain sûr, je t'envoie le .jar ainsi que CNG.java.


Édit : et quelques distributions ( que je dois faire .....) pour que tu puisses vite et facilement tester