{"id":626,"date":"2016-06-28T07:35:41","date_gmt":"2016-06-28T06:35:41","guid":{"rendered":"http:\/\/blog.tiran.info\/?p=626"},"modified":"2017-12-22T14:44:22","modified_gmt":"2017-12-22T13:44:22","slug":"classification-bayesienne-naive-avec-oracle","status":"publish","type":"post","link":"https:\/\/blog.tiran.stream\/?p=626","title":{"rendered":"Classification Bay\u00e9sienne Na\u00efve avec Oracle"},"content":{"rendered":"

Les r\u00e9centes campagnes concernant le maintien de la Grande Bretagne dans l’UE<\/a> ou celle des primaires aux Etats-Unis<\/a> ont mis sur le devant de la sc\u00e8ne de nouvelles m\u00e9thodes de d\u00e9termination des tendances de votes. Ces derni\u00e8res se basent en grand partie sur les informations \u00e9chang\u00e9es via les r\u00e9seaux sociaux<\/a> – Twitter notamment – et sont connues sous le nom d’Analyse de Sentiment ou Opinion Mining<\/a>.<\/p>\n

Leur principe consiste \u00e0 exploiter une information non-structur\u00e9e – du texte g\u00e9n\u00e9ralement – pour d\u00e9terminer des nuances (pour\/contre, triste\/neutre\/joyeux etc…).<\/p>\n

On imagine ais\u00e9ment la complexit\u00e9 de ce type d’analyse dans la mesure o\u00f9 il y a une infinit\u00e9 de mani\u00e8re d’exprimer un avis dans un texte.<\/p>\n

Une des techniques employ\u00e9es pour r\u00e9aliser ce genre d’analyse – la Classification Na\u00efve Bay\u00e9sienne<\/a> – se base, comme son nom l’indique, sur l’inf\u00e9rence Bay\u00e9sienne<\/a>. Cette technique est dite na\u00efve car elle repose sur une simplification majeure – \u00e0 savoir, l’ind\u00e9pendance des mots au sein du texte. C’est bien entendu faux mais en pratique, cela marche quand m\u00eame! On trouve sur internet de nombreuses discussions & \u00e9tudes expliquant pourquoi ce n’est pas vraiment probl\u00e9matique.<\/p>\n

Toujours est-t \u2018il que cette simplification autorise la repr\u00e9sentation du texte sous la forme d’un sac de mots<\/a>. Sous cette forme, seules les fr\u00e9quences relatives d’apparition des termes sont importantes pour le classifieur. Il existe aussi des variantes bas\u00e9es sur des n-grams (groupes de n mots).<\/p>\n

A titre d’exemple, dans ce billet, je me suis int\u00e9ress\u00e9 \u00e0 la d\u00e9termination du genre litt\u00e9raire d’un livre \u00e0 partir du r\u00e9sum\u00e9 g\u00e9n\u00e9ralement pr\u00e9sent\u00e9 en quatri\u00e8me de couverture. Pour cela, j’ai r\u00e9alis\u00e9 un peu de web-scrapping \u00e0 partir du site de l’excellent \u00e9diteur Decitre<\/a>.<\/p>\n

Cela m’a permis de collecter environ 21000 r\u00e9sum\u00e9s de livres dans trois genre diff\u00e9rents: Litt\u00e9rature Sentimentale, Polar et Philosophie-Sociologie.<\/p>\n

On peut comprendre le fonctionnement du classifieur \u00e0 partir d’un exemple simple de faible dimension. Imaginons par exemple que l’on essaie de d\u00e9terminer le genre d\u2019un livre dont l’extrait contient les 3 termes suivants: \u00ab\u00a0meurtre\u00a0\u00bb, \u00ab\u00a0romance\u00a0\u00bb, \u00ab\u00a0enqu\u00eate\u00a0\u00bb.<\/p>\n

La formule du th\u00e9or\u00e8me de Bayes<\/a> nous dit P(A|B)=P(B|A)P(A)\/P(B)<\/p>\n

On calcule d’abord les probabilit\u00e9s \u00ab\u00a0\u00e0 priori\u00a0\u00bb de chaque classe P(A) dans notre jeu d’apprentissage. Ici, consid\u00e9rons les valeurs suivantes:<\/p>\n