Jacques Ducloy : /* Transfert vers la machine LorExplor */

2024-03-05T14:04:08Z

‎Transfert vers la machine LorExplor

imported>Jacques Ducloy : /* Construction des métadonnées ISTEX */

2017-11-07T13:05:07Z

‎Construction des métadonnées ISTEX

Nouvelle page

Cette page introduit les aspects techniques de la version [[Wicri:SidaGhanaV1|SidaGhanaV1]] du [[Serveur d'exploration]] « [[Le SIDA au Ghana (serveur d'exploration)]] ».

Pour ce serveur, les corpus ISTEX sont extraits sur le site LorExplor, mais les serveurs sont générés sur une machine locale (Mac).

Voir aussi :
*[[Wicri:SidaGhanaV1/Paramètres, data]] - ''génération des données''
*[[Wicri:SidaGhanaV1/Paramètres, fr]] - ''génération de l'interface''
*[[Wicri:SidaGhanaV1/Paramètres, génération des cartes]] - ''génération de cartes géographiques''
*[[Wicri:SidaGhanaV1/Paramètres, templates size]] - ''paramétrage des modèles liés aux valeurs numériques''
*[[Wicri:SidaGhanaV1/Paramètres, template include]] - ''génération du modèle d'affichage des résultats bruts''
==Génération des pages wikis==
<source lang="sh">
IstexGetCorpusSize -q "IstexGetCorpusSize -q "aids AND hiv AND ghana"
</source>
<source lang="sh">
IstexGenerAreaPages \
-a SidaGhanaV1 \
-m \
-g SidaGhana \
-p Wicri/Sante \
-w wicri-sante.fr \
-W Wicri/Sante \
-s PascalFrancis \
-s PubMed \
-s Pmc \
-s Ncbi \
-q "aids AND hiv AND ghana" \
-d "2" \
-D "2000" \
-t "Le SIDA au Ghana (serveur d'exploration)"
</source>
==Création des répertoires==
===Sur la machine de développement===
;Définition $EXPLOR_AREA:
<source lang="sh">
EXPLOR_AREA=$WICRI_ROOT/Wicri/Sante/explor/SidaGhana.storage/SidaGhanaV1
export EXPLOR_AREA
export LC_ALL='C'
</source>
;Création des répertoires:
<source lang="sh">
mkdir $WICRI_ROOT/Wicri/Sante/explor/SidaGhana.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
</source>
===Sur la machine LorExplor===
<source lang=sh>
newgrp wicri
source /applis/lorexplor/Dilib/init.sh
</source>
;Définition $EXPLOR_AREA:
<source lang="sh">
EXPLOR_AREA=$WICRI_ROOT/Wicri/Sante/explor/SidaGhana.storage/SidaGhanaV1
export EXPLOR_AREA
export LC_ALL='C'
</source>
;Création des répertoires:
<source lang="sh">
mkdir $WICRI_ROOT/Wicri/Sante/explor/SidaGhana.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
</source>
==Construction du Repository ISTEX==
''En cas de reprise au niveau du téléchargement''
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexRepository.h*
</source>

<source lang="sh">
time IstexGetCorpus -q "aids AND hiv AND ghana" -s 1000 -l \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexRepository
</source>

:''Vérification''
<source lang="sh">
SxmlSelect -g hfd/nrec/1 -p @g1 < $EXPLOR_AREA/Import/IstexRepository.hcs

HfdCat Import/IstexRepository.hfd | SxmlIndent | grep "</istex>" | wc
</source>

;Création FTP:
<source lang="sh">
tar -cvf repository.tar Import/IstexRepository.*
gzip repository.tar
</source>
==Sur la machine de développement==
===Récupération repository===
<source lang="sh">
scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1/repository.tar.gz .

gunzip repository.tar.gz
tar -xvf repository.tar
</source>

===Construction des métadonnées ISTEX===
;ISTEX, création du HFD Corpus Biblio:En cas de reprise:
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*

</source>
;Construction corpus biblio:
<source lang="sh">
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \
| SgmlFast -c1 \
| IstexToTei \
| IstexCleanFullText \
| TeiPutRefToIdno -t wicri:Area/Istex/Corpus -c ISTEX -s Corpus -S Istex \
| HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

</source>

===Téléchargement des autres corpus===
;PubMed:
Site : http://www.ncbi.nlm.nih.gov/pubmed

Requête :
(aids OR hiv) AND ghana

Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml
;PubMed Central:
Site : http://www.ncbi.nlm.nih.gov/pmc

Requête :
aids AND hiv AND ("ghana"[MeSH Terms] OR "ghana"[abstract])

Ranger le résultat dans $EXPLOR_AREA/Import/pmc_result.xml
;PascalFrancis:
Site :http://stan2.demo.inist.fr/fr/

Requête :

Télécharger avec les onglets : Serveur / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt
Télécharger avec les onglets : SGML / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
===Génération des FTP===
<source lang="sh">
cd $EXPLOR_AREA
rm Site.tar.gz
tar -cvf Site.tar Site
gzip Site.tar
rm Data.tar.gz
tar -cvf Data.tar Data
gzip Data.tar

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/IstexMetadata.hcs Import/IstexMetadata.hfd
gzip ImportMetadata.tar
</source>

===Transfert vers la machine LorExplor===
;Transfert par scp:
<source lang="sh">
scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
</source>

==Sur la machine LorExplor==

;Installation:
<source lang="sh">
cd $EXPLOR_AREA
gunzip Site.tar.gz
tar -xvf Site.tar
gzip Site.tar

gunzip Data.tar.gz
tar -xvf Data.tar
gzip Data.tar
</source>
<source lang="sh">

gunzip ImportMetadata.tar.gz
tar -xvf ImportMetadata.tar
gzip ImportMetadata.tar

cd Data/Istex/Corpus
rm biblio.hcs
rm biblio.hfd
ln -s ../../../Import/IstexMetadata.hcs biblio.hcs
ln -s ../../../Import/IstexMetadata.hfd biblio.hfd
</source>

@@ Ligne 157 : / Ligne 157 : @@
 ;Transfert par scp:
 <source lang="sh">
-scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
+scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
 scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new
 scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/SidaGhana.storage/SidaGhanaV1.new

Wicri:SidaGhanaV1 - Historique des versions

Jacques Ducloy : /* Transfert vers la machine LorExplor */

imported>Jacques Ducloy : /* Construction des métadonnées ISTEX */