{"id":1167,"date":"2017-12-29T14:28:03","date_gmt":"2017-12-29T13:28:03","guid":{"rendered":"http:\/\/130.61.50.57\/?p=1167"},"modified":"2017-12-27T10:54:14","modified_gmt":"2017-12-27T09:54:14","slug":"clustering-textuel-avec-oracle-text","status":"publish","type":"post","link":"https:\/\/blog.tiran.stream\/?p=1167","title":{"rendered":"Clustering textuel avec Oracle Text"},"content":{"rendered":"

La fouille de textes<\/a>\u00a0ou TDM<\/a> (Text Data Mining) est un sujet qui revient r\u00e9guli\u00e8rement dans les projets d’extraction d\u2019information \u00e0 partir de sources non structur\u00e9s.<\/p>\n

Oracle Text<\/a> est un moteur d’indexation textuelle disponible dans toutes les \u00e9ditions du SGBD Oracle. Outre ses capacit\u00e9s d’analyse, ce moteur offre justement quelques fonctionnalit\u00e9s de datamining qui ont l’avantage \u00e9norme de ne pas d\u00e9pendre de l’option Advanced Analytics. A ce titre, elles sont accessibles sur toutes les \u00e9ditions du produit (SE, SE2, EE) sans licence additionnelle!\u00a0Ce point apparaissait tr\u00e8s clairement dans la documentation du produit jusqu’\u00e0 la version 11.2<\/a>:<\/p>\n

Oracle Data Mining is an option of the Enterprise Edition of Oracle Database. To use Oracle Data Mining, you must have a license for the Data Mining option. To use Oracle Text and its data mining capabilities, you do not need to license the Data Mining option.<\/strong><\/em><\/p>\n

Mais la mention a \u00e9t\u00e9 supprim\u00e9e dans la documentation officielle 12c…<\/p>\n

Cela m’a conduit \u00e0 poster une question sur ODC<\/a>\u00a0et il m’a \u00e9t\u00e9 confirm\u00e9 par un Product Manager que la r\u00e8gle de licensing n’avait pas \u00e9t\u00e9 chang\u00e9e!<\/p>\n

Pour f\u00eater \u00e7a, tentons un petit clustering k-means \u00e0 partir de donn\u00e9es textuelles!!! … et tant qu’\u00e0 faire, utilisons une instance ex\u00e9cutant un moteur SE2!<\/p>\n

\ud83d\ude42<\/span><\/p>\n

\u00a0\r\nSQL> SELECT version, edition FROM v$instance;\r\n\r\nVERSION         EDITION\r\n--------------- -------\r\n12.1.0.2.0      SE\r\n\r\nSQL>\r\nSQL> SELECT banner\r\n  2    FROM v$version\r\n  3   WHERE banner LIKE 'Oracle%';\r\n\r\nBANNER\r\n--------------------------------------------------------------------------------\r\nOracle Database 12c Standard Edition Release 12.1.0.2.0 - 64bit Production\r\n\r\nSQL>\r\nSQL> SELECT comp_name, version, status\r\n  2    FROM dba_registry\r\n  3   WHERE comp_id = 'CONTEXT';\r\n\r\nCOMP_NAME            VERSION         STATUS\r\n-------------------- --------------- ----------\r\nOracle Text          12.1.0.2.0      VALID\r\n\r\nSQL>\r\n<\/pre>\n
Ici, je vais utiliser une s\u00e9rie de recettes de cuisine et mon id\u00e9e est de parvenir \u00e0 diviser le jeu de donn\u00e9es sur la caract\u00e9ristique sal\u00e9\/sucr\u00e9. Pour cela, j’ai fait un peu de webscrapping \u00e0 partir du site www.lebruitdufrigo.fr<\/a>. Les recettes y sont d\u00e9j\u00e0 class\u00e9es par famille de plats et j’ai extrait les listes d\u2019ingr\u00e9dients des entr\u00e9es, plats, desserts, tartes sal\u00e9es et p\u00e2tisseries.<\/p>\n
Globalement, les cat\u00e9gories desserts et p\u00e2tisseries sont plut\u00f4t sucr\u00e9es. Les autres recettes sont plut\u00f4t sal\u00e9es. Un clustering bas\u00e9 sur les ingr\u00e9dients devrait pouvoir faire ressortir cette diff\u00e9rence.<\/p>\n
Les donn\u00e9es sont accessibles ici au format Table Externe DataPump:\u00a0recettes_ext<\/a><\/p>\n
On peut les recharger simplement:<\/p>\n
SQL> CREATE OR REPLACE DIRECTORY extdir AS '\/tmp';\r\n\r\nDirectory created.\r\n\r\nSQL>\r\nSQL> CREATE TABLE recettes_ext\r\n  2  (\r\n  3      recette_id NUMBER,\r\n  4      TYPE_PLAT VARCHAR2 (30),\r\n  5      RECETTE VARCHAR2 (100),\r\n  6      INGREDIENTS VARCHAR2 (1000)\r\n  7  )\r\n  8  ORGANIZATION EXTERNAL\r\n  9      (TYPE oracle_datapump\r\n 10       DEFAULT DIRECTORY extdir\r\n 11       LOCATION ('recettes_ext.dp'));\r\n\r\nTable created.\r\n\r\nSQL>\r\n<\/pre>\n
La premi\u00e8re \u00e9tape consiste \u00e0 \u00ab nettoyer \u00bb le texte. Oracle Text va prendre en charge la plupart des op\u00e9rations de nettoyage (suppression des \u00e9l\u00e9ments de ponctuation et des mots vides etc\u2026). En revanche, la pr\u00e9sence de chiffres indiquant des quantit\u00e9s (ex. 100g, 30cl…) va devoir \u00eatre trait\u00e9e manuellement. En effet, dans notre contexte, ces derniers n’ont pas vraiment de valeur ajout\u00e9e. On va les filtrer \u00e0 l’aide d’une expression r\u00e9guli\u00e8re<\/a> :<\/p>\n
SQL> CREATE TABLE recettes_clean\r\n  2  AS\r\n  3      SELECT recette_id,\r\n  4             CASE\r\n  5                 WHEN type_plat IN ('Patisserie', 'Dessert') THEN 'Sucr\u00e9'\r\n  6                 ELSE 'Sal\u00e9'\r\n  7             END\r\n  8                 categorie_plat,\r\n  9             REGEXP_REPLACE (ingredients, '[[:digit:]]', '')\r\n 10                 ingredients\r\n 11        FROM recettes_ext;\r\n\r\nTable created.\r\n\r\nSQL>\r\nSQL> ALTER TABLE recettes_clean\r\n  2      ADD CONSTRAINT pk_recettes_clean PRIMARY KEY (recette_id);\r\n\r\nTable altered.\r\n\r\nSQL>\r\n<\/pre>\n
Les \u00ab mots vides \u00bb sont des mots tr\u00e8s commun (comme des articles par exemple) qu\u2019il convient de supprimer de l\u2019analyse. Oracle propose une liste pr\u00e9d\u00e9finie mais celle-ci a \u00e9t\u00e9 enrichie \u00e0 partir de sources trouv\u00e9es sur internet: http:\/\/www.ranks.nl\/stopwords\/french<\/a><\/p>\n
Les donn\u00e9es sont accessibles ici (au format Table Externe DataPump): MOTSVIDES_EXTTAB<\/a><\/p>\n
On peut alors cr\u00e9e une STOPLIST<\/a> \u00e0 partir de ces mots:<\/p>\n
SQL> CREATE TABLE motsvides_exttab_dp\r\n  2  (\r\n  3      MOT VARCHAR2 (100)\r\n  4  )\r\n  5  ORGANIZATION EXTERNAL\r\n  6      (TYPE oracle_datapump\r\n  7       DEFAULT DIRECTORY extdir\r\n  8       LOCATION ('motsvides_exttab.dp'));\r\n\r\nTable created.\r\n\r\nSQL>\r\nSQL> BEGIN\r\n  2      ctx_ddl.create_stoplist (stoplist_name   => 'RECETTE_STOPLIST',\r\n  3                               stoplist_type   => 'BASIC_STOPLIST');\r\n  4\r\n  5      FOR rec IN (SELECT mot FROM motsvides_exttab_dp)\r\n  6      LOOP\r\n  7          ctx_ddl.add_stopword (stoplist_name   => 'RECETTE_STOPLIST',\r\n  8                                stopword        => rec.mot);\r\n  9      END LOOP;\r\n 10  END;\r\n 11  \/\r\n\r\nPL\/SQL procedure successfully completed.\r\n\r\nSQL>\r\n<\/pre>\n
On va y adjoindre une s\u00e9rie d\u2019abr\u00e9viations des unit\u00e9s de mesure (g, kg, l etc\u2026) et de termes de cuisine sp\u00e9cifiques (pinc\u00e9e, morceau, boite etc…):\u00a0cuisine_stoplist_exttab<\/a><\/p>\n
SQL> CREATE TABLE cuisine_stoplist_exttab\r\n  2  (\r\n  3      MOT VARCHAR2 (100)\r\n  4  )\r\n  5  ORGANIZATION EXTERNAL\r\n  6      (TYPE oracle_datapump\r\n  7       DEFAULT DIRECTORY extdir\r\n  8       LOCATION ('cuisine_stoplist_exttab.dp'));\r\n\r\nTable created.\r\n\r\nSQL>\r\nSQL> BEGIN\r\n  2      FOR rec IN (SELECT mot FROM cuisine_stoplist_exttab)\r\n  3      LOOP\r\n  4          ctx_ddl.add_stopword (stoplist_name   => 'RECETTE_STOPLIST',\r\n  5                                stopword        => rec.mot);\r\n  6      END LOOP;\r\n  7  END;\r\n  8  \/\r\n\r\nPL\/SQL procedure successfully completed.\r\n\r\nSQL>\r\nSQL> COMMIT;\r\n\r\nCommit complete.\r\n\r\nSQL>\r\n<\/pre>\n
Pour l\u2019\u00e9tape de tokenization, le d\u00e9coupage du texte utilisera les espaces comme s\u00e9parateurs. C\u2019est la m\u00e9thode par d\u00e9faut qui est employ\u00e9 par le BASIC_LEXER<\/a>.<\/p>\n
D’autre part, on va activer:<\/p>\n