Prise de contact avec XML

De Wicri Manuel
Révision datée du 14 juin 2020 à 18:07 par imported>Jacques Ducloy (→‎Un premier exemple avec les statistiques)

Ce module donne des premiers éléments sur l'utilisation d'XML avec DILIB et l'approche ScienceExplor.

Notions générales sur XML

Avec ScienceExplor, l'accent est mis sur l'exploration de corpus et non sur la création de documents XML. 

...

La notation Sxml

La plateforme Dilib est très fortement insérée dans le système Unix, initialement conçu pour des applications de génie logiciel dans lesquelles la documentation et la gestion des sources sont une contrainte importante.

Unix contient donc un nombre important de commandes de base, par exemple grep, qui permettent de manipuler des flots de ligne.

La notation Sxml vise à utiliser les commandes Unix pour manipuler des flots de documents XML.

Sauts de lignes et tabulations

le caractère saut de ligne est un séparateur de ligne sous Unix.

Avec Sxml, le saut de ligne devient un séparateur de document. Son usage est interdit au sein d'un document.

Pour des raisons techniques (voir plus loin), l'usage de la tabulation est également proscrit au sein d'un document Sxml.

Exemple

Un document XML : 

<place>
  <placeName>
     <settlement type="city">Gand</settlement>
     <region type="province" nuts="2">Province de Flandre-Orientale</region>
  </placeName>
</place>

Le même en notation Sxml : 

<place><placeName><settlement type="city">Gand</settlement><region type="province" nuts="2">Province de Flandre-Orientale</region></placeName></place>

Les tables et dictionnaires Sxml

Les ensembles de données manipulées dans ScienceExplor sont très souvent des tables où à une clé est associée une valeur.

Le clé est généralement une chaîne de caractères. La valeur est souvent un document Xml.

Un exemple avec les codes postaux de Belgique

L'exemple du paragraphe précédent est tiré d'une table de codes postaux utilisés en Belgique.

Sur le wiki Wicri/Belgique, une page de travail contient un tableau wiki :

En utilisant divers outils, cette table est automatiquement traduite dans une table Sxml.

Pour la visualiser, faire sous unix : 

source $HOME/Documents/ScienceExplor/Dilib/init.sh
cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab

On obtient ceci : 

2000-2060	<place><placeName><settlement type="city">Anvers</settlement> ...
 ...
9000	<place><placeName><settlement type="city">Gand</settlement> ...

Exemples de commandes Dilib

La bibliothèque Dilib contient des commandes qui permettent de manipuler ces ensembles d'objets XML.

La commande SxmlIndent, par exemple, permet d'obtenir une édition plus lisible. Essayez : 

cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab | SxmlIndent | more

La commande « SgmlFast -c 1 » permet de supprimer la première colonne de la table. Essayez : 

cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab | grep Namur
cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab | grep Namur | SgmlFast -c 1
cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab | grep Namur | SgmlFast -c 1 | SxmlIndent
cat $DILIB/data/Wicri/Belgique/codePostal.fr.tab | SxmlIndent | grep Namur
Remarques
  • Dans Dilib, les commandes commençant par le radical Sxml manipulent des documents xml bien formés avec les conventions Sxml (pas de sauts de lignes ni tabulation dans les documents Xml). Leur exécution demandent une analyse (parsing) du document xml, et sont donc relativement longues à exécuter.
  • Quelques commandes se contentent de repérer des chaînes dans le document, et seront donc plus rapides. Dans Dilib elles sont préfixées par Sgml

Les chemins de balise illustrés avec l'API de MediaWiki

Le moteur MediaWiki dispose d'une api qui donne accès à de nombreuses extraction de de données.

Un premier exemple avec les statistiques

Sur un wiki, en activant l'onglet « Pages spéciales » puis « statistiques » l'internaute peut visualiser un tableau de statistiques qui donne par exemple le nombre de pages d'un wiki.

Il est possible de désigner cette page par un lien. Par exemple sur ce wiki, on peut cliquer sur « Spécial:Statistiques ».

Il est également possible d'obtenir le contenu de ce tableau sous une forme codée en XML.

Par exemple, en shell, avec la commande curl il est possible de récupérer ces valeurs.

Pour alléger l'écriture des commandes, la ligne ci dessous range l'url d'un wiki dans la variable d'environnement $WIKI 

WIKI=https://lorexplor.istex.fr/Wicri/Europe/fr

WIKI=https://lorexplor.istex.fr/Wicri/Europe/fr

curl "$WIKI/api.php?action=query&format=xml&meta=siteinfo&siprop=statistics" 2>nul \
| SxmlIndent

WIKI=https://lorexplor.istex.fr/Wicri/Europe/fr

curl "$WIKI/api.php?action=query&format=xml&meta=siteinfo&siprop=statistics" 2>nul \
| SxmlIndent
Récupérée de « https://wicri-demo.istex.fr/Wicri/Man/fr/index.php?title=Prise_de_contact_avec_XML&oldid=5476 »