[Index] Intelligence artificielle

[Bubu]

L'article est ici : https://arxiv.org/pdf/1611.05358v1.pdf

C'est un CNN (Convolutional Neural Networks) pour les images suivi d'un réseau récurrent.

Merci pour le lien.
Je ne connais pas les CNN encore, mais ça à l'air hyper puissant.

Tchao

[Ixy]

https://www.college-de-france.fr/site/y ... 5-2016.htm tu peux voir le cours de Yann Le cun

[Bubu]

C'est quoi un réseau neuronal formel ?

C'est un modèle mathématique et informatique s'inspirant du modèle vivant.
C'est un système capable d'inférence : après l'exemple à apprendre de cas concrets, il généralise, il comprend le truc.

[Laurent D]

Bonjour,

Je me permets de m'insérer dans votre discussion afin de vous parler du projet AVENCOD, Entreprise Adaptée du Numérique située à Nice et qui est actuellement à la recherche d'un développeur JAVA pour un CDI.

Comme vous mentionnez cette techno dans vos échanges, ce poste pourrait éventuellement intéressé quelqu'un dans votre entourage.

Pour info, l'objectif serait d'intégrer une équipe de deux développeurs autistes à haut potentiel, dont l'un est Asperger dans un environnement de travail prenant en considération vos spécifications de fonctionnement.

[Bubu]

Bonjour Ixy, j'ai une question sur les MLP :
Comment fais-tu pour déterminer la topologie necessaire d'un MLP étant donné un problème à résoudre?
(i.e. Combien de couches, et combien d'unités dans chacune ?)
Merci

[Ixy]

Il n'y a pas de methode générale ^^ c'est fait 'à la louche', en estimant le nombre de features et d'étapes nécessaires pour la tâche de classification, et en laissant une marge.

Il y a une blague qui dit qu'on utilise la méthode du graduate Student descent : laisser un étudiant trouver les bons paramètres

[Bubu]

Bonne année Ixy, et meilleurs vœux !

Je sais que c'est à la louche (si on savait coder sous forme d'équations un pb donné, à l'avance, on aurait pas besoin des NN).

Mais, par exemple, comment savoir s'il faut peupler davantage les couches existantes ou en créer une supplémentaire quand l'erreur ne diminue plus ?)

J'aimerais bien retourner sur Snake, en utilisant un CNN pour analyser le terrain, et un réseau récurrent derrière qui décide, entraîné selon un apprentissage compétitif.

Je serais heureux, si tu es intéressé, et que tu as le temps, de faire ça avec toi.
Ça t'intéresserait ?

[Ixy]

Oui ça m'intéresse mais je n'ai pas beaucoup de temps Tu peux m'en parler.

Mais, par exemple, comment savoir s'il faut peupler davantage les couches existantes ou en créer une supplémentaire quand l'erreur ne diminue plus ?)

Je ne connais pas de technique.

[Bubu]

Merci C cool.
Première étape : coder les MLP.
Un .h et un .Cpp .... Donc en C++.
Tu pourrais le compiler ?
Je vais utiliser le sigmoïde et l'ajout d'inertie dans l'apprentissage. (Pour essayer d'éviter de tomber dans des minima locaux).

Je partagerai avec toi mes avancées.

[Ixy]

Ok je peux compiler du c++



Les images de droite sont artificielles, générées automatiquement à partir de la phrase à gauche Ce sont des images générées par des réseaux que l'on appelle Generative Adversarial network. En fait il y a deux réseaux, un qui génère une image et l'autre qui essaie de deviner si une image est réelle (naturelle) ou si elle a été crée artificellement. Les deux réseaux sont entraînés conjointement.

[Rem 82]

Marrant d'utiliser des oiseaux comme exemples ! ^^

[Bubu]

Voilà mon MLP en Java.
Le code est assez illisible, désolé.

Il permet de relier des MLP entre eux.

Par exemple :
public static void main(String[] args) {
// TODO code application logic here

MLP mlp = new MLP(new int[]{2, 10, 20}, 0.9f, 0.5f);
MLP mlp2 = new MLP(new int[]{20, 10, 1}, 0.9f, 0.5f);
float [] output;
float i1,i2,s;
while(true) {
i1 = Math.random() < 0.5 ? 0.1f : 0.4f;
i2 = Math.random() < 0.5 ? 0.1f : 0.4f;
s = i1 + i2;
mlp.computeOutput(new float[]{i1, i2});
mlp2.computeOutput(mlp.getOutput());
output = mlp2.getOutput();

System.out.println(mlp2.getMeanSquaredError());

mlp2.learn(new float[]{s});
mlp.learnFromGradient(mlp2.computeInputGradient());
}
}



EDIT : le code du MLP en pièce jointe est faux et illisible. Je l'ai refait (l'interface est quasiment la même), il est normalement facile à lire et à comprendre, et surtout, il fonctionne parfaitement. Je le reposte plus loin ds la discussion.

[Ixy]

tu as changé d'avis tu fais en java finalement ?

[Bubu]

tu as changé d'avis tu fais en java finalement ?

Vi
Indépendant de l'OS, .....moins spécifique..
J'utilise l'IDE NetBeans. Dispo entre autres pour Windows comme pour Linux et gratuit.

Tu peux regarder le code hein, je l'ai posté pour toi surtout !
Un MLP classique rien de plus. Avec inertie (momentum). Et la possibilité d'apprendre en fonction d'un gradient provenant d'un réseau plus bas.
J'ai l'intention de faire une convolution qui traitera chacune des cases du terrain et son environnement. Et le réseau de décision aura pour entrée la sortie de cette convolution fois le nombre de cases.
Je ne compte pas utiliser de réseau récurrent finalement : pour un état donné (un écran de jeu) on peut directement décider, sans analyse temporelle. Je crois que ça ne ferait que compliquer sans rien apporter en plus.

Ma nouvelle question : je mets quoi en entrée de la convolution ? Contenu de la case, voisinage immédiat , ... ????

[Ixy]

Mm... le mieux a mon avis est d'utiliser plusieurs grilles 3x3 mais avec plusieurs resolutions + les cordonnées de la tete et peut etre celle de la queue. Un réseau LSTM serait marrant et très intéressant à voir avec comme entrée les évènements (changement de direction, nouvel objet) mais c'est beauvoup plus compliqué. Je pourrai t'expliquer mon idée quand j'aurai plu de temps.