imported>Jacques Ducloy : /* Évolutions en version V0.5.80 */

2018-10-29T17:30:32Z

‎Évolutions en version V0.5.80

imported>Jacques Ducloy : 1 révision importée

2017-06-16T17:46:56Z

1 révision importée

imported>Jacques Ducloy : /* Commande IstexGetCorpus */

2016-02-03T19:36:36Z

‎Commande IstexGetCorpus

Nouvelle page

{{Dilib header|module=Istex}}
Ce module traite de l'intégration de [[A pour base utilisée::ISTEX (corpus)|corpus]] venant du projet [[ISTEX (Investissements d'avenir)|ISTEX]], dans un espace d'exploration ([[Dilib, module Explor]]).

Il contient des utilitaires pour le traitement des données structurées en format ''[[JavaScript Object Notation]]'' (JSON).
{{Début 2 colonnes}}
__TOC__
{{Saut 2 colonnes}}
{{Dilib, boîte déroulante
|titre=Liste des modules Dilib
|contenu={{Dilib, liste des modules}}
}}
{{Dilib, boîte déroulante
|titre=Module Istex
|contenu={{Dilib, module Istex}}
}}
{{Fin 2 colonnes}}
==Évolutions en version V0.5.80==
A partir de la version [[Dilib V0.5.80|V0.5.80]] le format d'entrée des données ISTEX évolue.

Dans les versions antérieures, la génération des serveurs était basée sur le format de convergence des métadonnées ISTEX (mods). Le schéma était limité à ce format. Par exemple, dans l'étape Corpus un document Istex avait comme racine :
<source lang="xml">
<record>
<TEI>
...
</TEI>
<mods>
...
</mods>
</record>
</source>
Voir par exemple : http://ticri.univ-lorraine.fr/Wicri/Terre/corpus/Indium/IndiumV1.old/Site/fr/Main/Corpus/bibRecord.php?hk=000073

A partir de V0.5.80, le format d'entrée sera :
<source lang="xml">
<record>
<TEI>
...
</TEI>
<istex>
<metadata>
<mods>
...
</mods>
<xml>
...
</xml>
</metadata>
</istex>
</record>
</source>

==Paramétrage des serveurs==
Les tables de paramétrage des flux ISTEX sont données dans les pages :
* [[Dilib, module Istex, Explor data]] - opérations sur les flux de données (construction d'index...) ;
* [[Dilib, module Istex, Explor en]] - paramétrage de l'interface en anglais ;
* [[Dilib, module Istex, Explor fr]] - paramétrage de l'interface en français.

==Outils d'acquisition==
===Commande <code>IstexGetCorpus</code>===
;Exemple d'emploi:
<source lang="sh">
IstexGetCorpus -q fraxinus -s20 -t mods

IstexGetCorpus -q fraxinus -s20 -t mods \
| IstexModsToSxml | IstexModsToTei \
| SxmlIndent | more
</source>

{{Article principal|Dilib, module Istex, commande IstexGetCorpus}}

==Outils de reformatage==
===Commande <code>IstexModsToSxml</code>===
Cet outil, sans paramètre, accepte en entrée des fichiers xml (mods) produits par l'INIST pour générer des flux Sxml. Il procède à des opérations de nettoyage (suppression d'espaces en fin d'éléments de données).
;Exemple d'emploi:
<source lang="sh">
cat HypertextV5/Import/istex/*.xml | IstexModsToSxml | grep "Lorraine" | wc
</source>
===Commande <code>IstexModsToTei</code>===
Cette commande, sans paramètre, accepte en entrée des flux Sxml et produit des notices en TEI.
;Exemple d'emploi:
La commande IstexExplorDataShells génère un ficher de commandes shell qui intègre la commande <code>IstexModsToTei</code>. Voici le fichier généré :
<source lang="sh">
#!/bin/sh
# This shell is generated by IstexExplorDataShells
echo "---- Executing sh HypertextV5/bin/ISTEXCorpusBiblio.sh"
cat HypertextV5/Import/istex/*.xml \
| IstexModsToSxml \
| IstexModsToTei \
| TeiPutRefToIdno -t wicri:Area/ISTEX/Corpus \
| DamHfdBuild -h HypertextV5/Data/ISTEX/Corpus/biblio

echo "==== " ISTEX, step Corpus, biblio done
DamCat HypertextV5/Data/ISTEX/Corpus/biblio.hfd | wc

</source>

==Outils de génération==
===Commande <code>IstexExplorDataShells</code>===
Cette commande sert à générer tous les shells permettant de créer les sites (bibliographie + index) contituant un flux Istex.
===Commande <code>IstexExplorSiteShell</code>===
Cette commande permet de ranger dans l'architecture des fichiers du Site Web les composants nécessaires à la navigation d'un flux Istex.
===Commande <code>IstexExplorSiteHtmlPhp</code>===
Cette commande permet de générer les fichiers PHP et HTML en fonction des paramètres.

==Outils de curation==
===Commande <code>IstexAffiliationSetPays</code>===
Cette commande, activée pendant l'étape de curation, sert à reconnaitre et normaliser les noms de pays.
===Commande <code>IstexCurationCountry</code>===
Cette commande, activée pendant l'étape de finale, sert à identifier les données géographiques (régions, villes) une fois les noms de pays reconnus.

==Applications==
;Jeux d'essais:
* pour mise au point rapide :
** (30 références) : [[ticri-h2ptm.fr:Wicri:HypertextIstexSampleV1]]
** (300 références) : [[wicri-amerique.fr:Wicri:AjdtV1|AjdtV1]]
** (2000 ref.) [[wicri-bois.fr:Wicri:FraxinusV4]]

;Application pilote:
* Sur Ticri/H2PTM : [[ticri-h2ptm.fr:Serveur d'exploration sur l'hypertexte|Serveur d'exploration sur l'hypertexte]].

;Volume conséquent:
* [[wicri-linguistique.fr:Serveur d'exploration sur la philologie]]

==Voir aussi==
;Lien externe:
* API ISTEX : http://api.istex.fr/documentation

@@ Ligne 49 : / Ligne 49 : @@
 </record>
 </source>
 ==Paramétrage des serveurs==

← Version précédente	Version du 16 juin 2017 à 17:46
(Aucune différence)

Dilib, module Istex - Historique des versions

imported>Jacques Ducloy : /* Évolutions en version V0.5.80 */

imported>Jacques Ducloy : 1 révision importée

imported>Jacques Ducloy : /* Commande IstexGetCorpus */