{"id":862,"date":"2017-03-01T08:00:32","date_gmt":"2017-03-01T08:00:32","guid":{"rendered":"http:\/\/blog.tiran.info\/?p=862"},"modified":"2017-12-05T14:24:41","modified_gmt":"2017-12-05T13:24:41","slug":"oracle-r-enterprise-1","status":"publish","type":"post","link":"https:\/\/blog.tiran.stream\/?p=862","title":{"rendered":"Oracle R Enterprise (#1)"},"content":{"rendered":"

Lorsque je teste une fonctionnalit\u00e9, j’aime bien utiliser plusieurs approches afin de voir les forces et faiblesses de chacune. Dans le cadre d’analyses statistiques avec Oracle, cela revient g\u00e9n\u00e9ralement \u00e0 comparer une impl\u00e9mentation bas\u00e9e sur SQL\/ODM avec son homologue bas\u00e9e sur R.<\/p>\n

Ici, dans la continuit\u00e9 des billets pr\u00e9c\u00e9dents<\/a>, je me suis demand\u00e9 s’il existait des packages R permettant de r\u00e9aliser un COUNT(DISTINCT) avec l’algorithme d’HyperLogLog. Je n’en ai pas trouv\u00e9.<\/p>\n

N\u00e9anmoins, lors de mes investigations, j’ai rencontr\u00e9 un probl\u00e8me beaucoup plus \u00e9pineux…<\/p>\n

Pour r\u00e9aliser le COUNT(DISTINCT) des donn\u00e9es de la table LOG_CONTRIBS<\/a>, j’ai essay\u00e9 au pr\u00e9alable de la charger dans une session R via ROracle:<\/p>\n

> library(ROracle)\r\nLoading required package: DBI\r\n> ora = Oracle()\r\n> cnx = dbConnect(ora, username="c##raf", password="Password1#", dbname="\/\/clorai2-scan:1521\/pdb_iotst04")\r\n> wiki_contribs <- dbGetQuery(cnx, "select * from LOG_CONTRIBS")\r\n...\r\n<\/pre>\n
… et j’ai attendu, attendu, attendu…<\/p>\n
En effet, par d\u00e9faut, R fonctionne de mani\u00e8re autonome en traitant les donn\u00e9es en m\u00e9moire. Donc, ici la fonction dbGetQuery r\u00e9alise le rapatriement vers le client de l’ensemble des donn\u00e9es de la table LOG_CONTRIBS pour peupler le dataframe wiki_contribs.
\nMalheureusement, cette table est relativement volumineuse:<\/p>\n
SQL> SELECT bytes \/ POWER (1024, 3) GB\r\n  2    FROM user_segments\r\n  3   WHERE segment_name = 'LOG_CONTRIBS';\r\n\r\n        GB\r\n----------\r\n    3.8125\r\n\r\nSQL>\r\n<\/pre>\n
Cette approche est tout \u00e0 fait valide lorsqu’on manipule de petits jeux de donn\u00e9es mais elle devient inop\u00e9rante \u00e0 mesure que les volumes augmentent.<\/p>\n
Par curiosit\u00e9, j’ai tach\u00e9 de suivre sur ma machine l’allocation de la m\u00e9moire virtuelle du\u00a0processus rsession au fur et \u00e0 mesure du chargement de la table. Pour cela, j’ai utilis\u00e9 une collecte perfmon dont le param\u00e9trage appara\u00eet dans les deux copies d’\u00e9cran ci-dessous:<\/p>\n
<\/a><\/p>\n

\n<\/a><\/p>\n
Le r\u00e9sultat est un fichier csv:\u00a0DataCollector01<\/a>\u00a0dont les donn\u00e9es ont \u00e9t\u00e9 repr\u00e9sent\u00e9es… avec R \ud83d\ude09<\/p>\n
> Rsession <- read.csv2("C:\/PerfLogs\/Admin\/Suivi VM R\/S1401037_20170222-000001\/DataCollector01.csv", encoding="UTF-8", sep=",")\r\n> names(Rsession) <- c("Dt","VMSize")\r\n> \r\n> Rsession$Dt <- strptime(Rsession$Dt, "%m\/%d\/%Y %H:%M:%OS")\r\n> Rsession$VMSize <- Rsession$VMSize\/(1024^3)\r\n> \r\n> summary(Rsession)\r\n       Dt                          VMSize       \r\n Min.   :2017-02-22 10:37:58   Min.   : 0.3463  \r\n 1st Qu.:2017-02-22 10:48:07   1st Qu.: 2.4995  \r\n Median :2017-02-22 10:58:16   Median : 4.6035  \r\n Mean   :2017-02-22 10:58:24   Mean   : 4.7239  \r\n 3rd Qu.:2017-02-22 11:08:25   3rd Qu.: 6.7383  \r\n Max.   :2017-02-22 11:22:28   Max.   :11.2029  \r\n> \r\n> library(ggplot2)\r\n> \r\n> ggplot(data=Rsession, aes(x=Dt, y=VMSize)) +\r\n+   geom_line(color="blue") + \r\n+   xlab("Heure") + \r\n+   ylab("Taille en GB") + \r\n+   theme_classic()+\r\n+   ggtitle("Evolution de la m\u00e9moire virtuelle du processus rsession") +\r\n+   theme(plot.title = element_text(hjust = 0.5)) +\r\n+   theme(panel.grid.major = element_line(linetype = "dotted")) + \r\n+   scale_y_continuous(breaks = seq(0, 12),limits = c(0,11.5))\r\n> \r\n<\/pre>\n
<\/a><\/p>\n
On voit donc que la taille de la m\u00e9moire virtuelle du processus a augment\u00e9e jusqu’\u00e0 atteindre 11.2GB:<\/p>\n
<\/a><\/p>\n
Ma machine disposant de 8GB de RAM, cela signifie qu’une partie de l’allocation provenait de l’espace de swap.<\/p>\n
Il a fallu environ 40 minutes pour que le dataframe wiki_contribs soit peupl\u00e9. Cela-dit \u00e0 ce stade, l’interface RStudio \u00e9tait compl\u00e8tement gel\u00e9e et il m’\u00e9tait impossible de travailler sur ce dataframe…<\/p>\n
Pas d’autre choix que d’interrompre le processus:<\/p>\n
\"\"<\/a><\/p>\n
On comprend d\u00e8s lors la grande limitation de la version communautaire de R. Les donn\u00e9es de travail sont r\u00e9cup\u00e9r\u00e9es localement ce qui s’av\u00e8re non scalable. Dans la m\u00eame veine, R travaille de mani\u00e8re s\u00e9rielle et ne propose pas, par d\u00e9faut, de parall\u00e9lisation des algorithmes.<\/p>\n
C’est la raison d’\u00eatre de l’offre Oracle R Entreprise<\/a> qui permet de s’affranchir de ces probl\u00e8mes. En effet, les donn\u00e9es restent au sein de la base Oracle (pas de rapatriement au niveau du client) et des moteurs R sont instanci\u00e9s directement sur le serveur de base de donn\u00e9es. Une couche d’abstraction entre le client R et la base permet de transformer le code R en SQL de mani\u00e8re transparente.<\/p>\n
Ce sera l’objet des prochains articles!<\/p>\n","protected":false},"excerpt":{"rendered":"
Lorsque je teste une fonctionnalit\u00e9, j’aime bien utiliser plusieurs approches afin de voir les forces et faiblesses de chacune. Dans<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[9],"tags":[],"class_list":["post-862","post","type-post","status-publish","format-standard","hentry","category-oracle-r-enterprise"],"_links":{"self":[{"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/posts\/862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=862"}],"version-history":[{"count":1,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/posts\/862\/revisions"}],"predecessor-version":[{"id":1166,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=\/wp\/v2\/posts\/862\/revisions\/1166"}],"wp:attachment":[{"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.tiran.stream\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}