Wicri:LixiPbVerreV1

Cette page introduit les aspects techniques de la version LixiPbVerreV1 du « Serveur d'exploration sur la lixiviation du plomb dans le verre ».

Voir aussi :

• Wicri:LixiPbVerreV1/Paramètres, data - génération des données
• Wicri:LixiPbVerreV1/Paramètres, fr - génération de l'interface
• Wicri:LixiPbVerreV1/Paramètres, génération des cartes - génération de cartes géographiques
• Wicri:LixiPbVerreV1/Paramètres, templates size - paramétrage des modèles liés aux valeurs numériques
• Wicri:LixiPbVerreV1/Paramètres, template include - génération du modèle d'affichage des résultats bruts

Mise en œuvre

Sur la machine de développement

Initialisations

Génération des pages wikis

source IstexGetCorpusSize -q "cadmium AND lead AND glass AND (leach* OR lixivia*)"
 IstexGenerAreaPages \
       -a LixiPbVerreV1   \
       -m   \
       -g LixiPbVerre   \
       -p Wicri/Terre   \
       -w wicri-terre.fr  \
       -W Wicri/Terre   \
       -s PascalFrancis   \
       -s Hal   \
       -s PubMed   \
       -s Pmc   \
       -s Ncbi   \
       -z France   \
       -z UK   \
       -z USA   \
       -z Allemagne   \
       -q "cadmium AND lead AND glass AND (leach* OR lixivia*)"   \
       -t "Serveur d'exploration sur la lixiviation du plomb dans le verre"

Définition $EXPLOR_AREA

EXPLOR_AREA=$WICRI_ROOT/Wicri/Terre/explor/LixiPbVerre.storage/LixiPbVerreV1
export EXPLOR_AREA
export LC_ALL='C'

Création des répertoires

mkdir $WICRI_ROOT/Wicri/Terre/corpus/LixiPbVerre.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import

Construction du Repository ISTEX

En cas de reprise au niveau du téléchargement

rm -rf $EXPLOR_AREA/Import/IstexRepository.h*

IstexGetCorpus -q "cadmium AND lead AND glass AND (leach* OR lixivia*)" -s 2000 -A  -i $ISTEX_ID -p $ISTEX_PASS   \
     | IstexToSxml     \
     | HfdBuild -bh    $EXPLOR_AREA/Import/IstexRepository

Vérification

HfdCat  $EXPLOR_AREA/Import/IstexRepository.hfd | wc

Construction des métadonnées ISTEX

ISTEX, création du HFD Corpus Biblio

En cas de reprise:

rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*

Construction corpus biblio

HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd   \
  | IstexCleanFullText                           \
  | SgmlFast -c1                                 \
  | IstexToTei                                   \
  | TeiPutRefToIdno -t wicri:Area/Istex/Corpus -c ISTEX -s Corpus -S Istex \
  | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

Téléchargement des autres corpus

PubMed

Site : http://www.ncbi.nlm.nih.gov/pubmed

Requête :

cadmium AND lead AND glass AND (leach* OR lixivia*)

Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml

PubMed Central

Site : http://www.ncbi.nlm.nih.gov/pmc

Requête : cadmium AND lead AND glass AND (leach* OR lixivia*)

Ranger le résultat dans $EXPLOR_AREA/Import/pmc_result.xml

PascalFrancis

Site :http://stan2.demo.inist.fr/fr/

Requête :

plomb et (verre ou cristal) et ( lixivia* ou relargage )

Télécharger avec les onglets : Serveur / SGML / SGML / LF

• résultat dans $EXPLOR_AREA/Import

 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt 

Télécharger avec les onglets : SGML / SGML / SGML / LF

• résultat dans $EXPLOR_AREA/Import

 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt 

Hal

Sur : https://hal.archives-ouvertes.fr/

Nous rencontrons des problèmes avec HAL. La requête qui suit n'est pas pertinente. Elle est provisoirement conservée en attente d'une meilleure prise en compte de HAL

lixiviation

Génération de la plateforme

Importation des paramètres de génération

WicriGetPage -l wicri-terre.fr -p "Wicri:LixiPbVerreV1/Paramètres, data"\
      > $EXPLOR_AREA/Import/WicriAreaParam.data.wiki

Si reprise

sh $EXPLOR_AREA/bin/AreaReset.sh

ExplorAreaDataCreate -d $EXPLOR_AREA
make -f $EXPLOR_AREA/bin/area.mk

Importation des paramètres de navigation

WicriGetPage -l wicri-terre.fr -p "Wicri:LixiPbVerreV1/Paramètres, fr"\
      > $EXPLOR_AREA/Import/WicriAreaSiteParam.fr.wiki

Génération de l'interface 

sh $EXPLOR_AREA/bin/AreaCreateSite.fr.sh

Génération des FTP

cd $EXPLOR_AREA
rm Site.tar.gz 
tar -cvf Site.tar Site 
gzip Site.tar 
rm Data.tar.gz 
tar -cvf Data.tar Data 
gzip Data.tar 

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar

Sur la machine cible

Aller sur le répertoire corpus correspondant au wiki cible

. ... Dilib/init.sh  
newgrp ticri
EXPLOR_AREA=$WICRI_ROOT/Wicri/Terre/corpus/LixiPbVerre.storage/LixiPbVerreV1.20160914

Si nouveau code générique :

mkdir $WICRI_ROOT/Wicri/Terre/corpus/LixiPbVerre.storage

Création du répertoire plateforme

mkdir $EXPLOR_AREA

Transfert par FileZilla

Transférer les fichiers Site.tar.gz, Data.tar.gz de LixiPbVerreV1 (émetteur) vers LixiPbVerreV1 (cible).

Installation

cd $EXPLOR_AREA
gunzip Site.tar.gz 
tar -xvf Site.tar 
gzip Site.tar 

gunzip Data.tar.gz 
tar -xvf Data.tar 
gzip Data.tar

gunzip ImportMetadata.tar.gz 
tar -xvf ImportMetadata.tar 
gzip ImportMetadata.tar 

cd Data/Istex/Corpus 
rm biblio.hcs 
rm biblio.hfd 
ln -s ../../../Import/istexMetadata.hcs biblio.hcs 
ln -s ../../../Import/istexMetadata.hfd biblio.hfd