Planification de l'espace disque

Les entrepôts peuvent être internes ou externes à SDX :

Un entrepôt externe signifie que les documents ne sont pas stockés par SDX. Ils sont seulement référencés. Pour l'instant, seul l'entrepôt de type URL est de cette nature. Dans ce cas, l'espace disque requis est faible, car seules les références aux documents doivent être conservées. On peut l'estimer à moins de 10 octets par document référencé, ce qui donne, par exemple, un espace disque de moins de 10 Mo pour un million de documents. Bien entendu, les documents doivent être quelque part, mais puisque SDX ne les prend pas en charge nous ne considérons pas que l'espace disque requis est associé à SDX, même s'il doit, bien sûr, être planifié.

Un entrepôt interne signifie que les documents sont pris en charge par SDX et nous devons donc considérer leur espace disque. Les entrepôts de type Système de fichiers ou JDBC sont de cette nature. Ici, l'espace disque nécessaire est la somme de l'espace disque requis par les documents et de l'espace nécessaire à SDX pour référencer ces documents. Pour ce dernier aspect, l'espace disque nécessaire varie légèrement d'un type d'entrepôt à un autre, mais l'estimation précédente de moins de 10 octets par document reste valable. Quant à l'espace disque nécessaire pour conserver les documents eux-mêmes, il s'agit strictement de la taille de l'ensemble des fichiers. Ainsi, pour un million de documents dont la taille moyenne est de 30 Ko, l'espace disque nécessaire sera de 30 Go pour les documents et environ 10 Mo pour les références.

La localisation des entrepôts dépend de leur type :

Pour un entrepôt de type URL (entrepôt externe à SDX), les références sont conservées dans le dossier conf/repos/{identifiant de l'entrepôt} de l'application.

Pour un entrepôt de type Système de fichiers (entrepôt interne à SDX), les références sont stockées dans le dossier conf/repos/{identifiant de l'entrepôt}/_lucene (TODO : vérifier si c'est encore vrai -pb) de l'application. Les documents eux-mêmes sont stockés dans des fichiers organisés dans différents dossiers, le dossier de base pouvant être défini dans la déclaration de l'entrepôt dans le fichier application.xconf.

Pour un entrepôt de type JDBC, les documents sont stockés dans une seule table de la base de données utilisée par l'entrepôt. L'emplacement des données est donc déterminé par le système de gestion de bases de données utilisé. Par exemple, pour le SGBD MySQL, pour un entrepôt dont l'identifiant est docs dans une application dont le chemin est webapps/sdx/test, le nom de la table sera app_docs ce qui donnera, par exemple pour une base de données nommée sdx, les fichiers {dossier de données de MySQL}/sdx/app_docs.* (en général trois fichiers). Une judicieuse configuration du SGBD permettra non seulement de bien localiser ces données et donc l'espace disque requis, mais pourrait aussi permettre de réduire l'espace disque requis. Par exemple, avec MySQL, il est possible de compresser les données des tables, ce qui réduit peu les performances de SDX, car le SGBD est seulement utilisé pour stocker les documents et par la suite les afficher, après avoir effectué une recherche.

Le moteur de recherche utilisé par SDX (Lucene) stocke ses index dans des fichiers ; il est donc nécessaire de considérer cet espace disque également. L'emplacement de ces fichiers est toujours le dossier conf/dbs/{identifiant de la base de documents}/sdx-search-index dans le dossier de l'application. On peut donc utiliser les liens symboliques pour localiser ce dossier à un endroit approprié.

La taille des index dépend de la quantité de données indexées, du nombre de champs et du nombre de champs dont les valeurs sont stockées telles quelles par Lucene (ce sont les champs dont l'attribut brief est vrai dans le fichier application.xconf). Il est donc très difficile de donner des indications précises. Il est préférable d'effectuer des tests préalables. Ce sera en général une taille comprise entre 10 % et 50 % de la taille initiale des documents.