Jacques Ducloy : /* Transfert vers la machine LorExplor */

2021-04-28T20:16:11Z

‎Transfert vers la machine LorExplor

imported>Jacques Ducloy : /* Génération des FTP */

2019-07-01T11:19:30Z

‎Génération des FTP

Nouvelle page

Cette page introduit les aspects techniques de la version [[Wicri:SgmlV1|SgmlV1]] du « [[Serveur d'exploration sur SGML]] ».

Voir aussi :
*[[Wicri:SgmlV1/Paramètres, data]] - ''génération des données''
*[[Wicri:SgmlV1/Paramètres, fr]] - ''génération de l'interface''
*[[Wicri:SgmlV1/Paramètres, génération des cartes]] - ''génération de cartes géographiques''
*[[Wicri:SgmlV1/Paramètres, templates size]] - ''paramétrage des modèles liés aux valeurs numériques''
*[[Wicri:SgmlV1/Paramètres, template include]] - ''génération du modèle d'affichage des résultats bruts''

==Mise en œuvre==
===Sur la machine de développement===
====Initialisations====
;Génération des pages wikis:
<source lang="sh">

IstexGenerAreaPages \
-a SgmlV1 \
-m \
-g Sgml \
-x 1 \
-p Informatique \
-w wic-informatique.fr \
-W Wicri/Informatique \
-s PascalFrancis \
-s Hal \
-s PubMed \
-s Pmc \
-s Ncbi \
-z France \
-q "sgml" \
-t "Serveur d'exploration sur SGML"

</source>
;Définition $EXPLOR_AREA:
<source lang="sh">
EXPLOR_AREA=$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1
export EXPLOR_AREA
export LC_ALL='C'
</source>
;Création des répertoires:
<source lang="sh">
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
</source>

===Sur la machine LorExplor===
<source lang="sh">
newgrp wicri
source /applis/lorexplor/Dilib/init.sh
</source>
;Définition $EXPLOR_AREA:
<source lang="sh">
EXPLOR_AREA=$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1
export EXPLOR_AREA
export LC_ALL='C'
</source>
;Création des répertoires:
<source lang="sh">
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus/Import
</source>
====Construction du Repository ISTEX====
Sous :
$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus

''En cas de reprise au niveau du téléchargement''
<source lang="sh">
rm -rf Import/IstexRepository.h*
</source>
Le découpage ci dessous est réalisé pour aller au delà de la restriction à 5000 documents

<source lang="sh">
(
IstexGetCorpus -q "sgml AND xml" -l -s 4900
IstexGetCorpus -q "(sgml NOT xml) AND france" -l -s 4900
IstexGetCorpus -q "(sgml NOT xml) NOT france" -l -s 4900
) | sort -u > IstexRepository.list

</source>

;Récupération par parties:

{{Avertissement|A réajuster si reprise}}

<source lang="sh">
time head -2000 IstexRepository.list \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh IstexPart00000
</source>

<source lang="sh">
time head -4000 IstexRepository.list | tail -2000 \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh IstexPart02000
</source>

<source lang="sh">
time head -6000 IstexRepository.list | tail -2000 \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh IstexPart04000
</source>

<source lang="sh">
time tail -665 IstexRepository.list \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh IstexPart06000
</source>

<source lang="sh">
(
HfdCat IstexPart00000.hfd
HfdCat IstexPart02000.hfd
HfdCat IstexPart04000.hfd
HfdCat IstexPart06000.hfd
) | SgmlFast -c1 | HfdBuild -bh Import/IstexRepository
</source>

Vérification
<source lang="sh">
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd | wc

</source>

====Préparation du transfert vers la machine de développement====
<source lang="sh">
tar -cvf Import.tar Import
gzip Import.tar
</source>
===Retour machine de développement===
====Transfert====
<source lang="sh">
scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus/Import.tar.gz .
gunzip Import.tar.gz
tar -xvf Import.tar
</source>
====Construction des métadonnées ISTEX====
;ISTEX, création du HFD Corpus Biblio:En cas de reprise:
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*

</source>
;Construction corpus biblio:
<source lang="sh">
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \
| SgmlFast -c1 \
| IstexToTei \
| IstexCleanFullText \
| TeiPutRefToIdno -t wicri:Area/Istex/Corpus -c ISTEX -s Corpus -S Istex \
| HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

</source>

====Téléchargement des autres corpus====
;PubMed:
Site : http://www.ncbi.nlm.nih.gov/pubmed

Requête :
sgml

Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml
;PubMed Central:
Site : http://www.ncbi.nlm.nih.gov/pmc
Requête :
sgml
;PascalFrancis:

Site :http://stan2.demo.inist.fr/fr/

Requête :
Requête :

Télécharger avec les onglets : Serveur / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt
Télécharger avec les onglets : SGML / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
;Hal:
Sur : https://hal.archives-ouvertes.fr/
====Génération de la table de curation ====
<source lang="sh">
HfdCat Import/IstexRepository.hfd \
| grep -vi SGML \
| SxmlSelect -g istex/id/1 -p ISTEX:@g1 \
> Import/IstexNoSgml.dict
</source>
====Génération des FTP====
<source lang="sh">
cd $EXPLOR_AREA
rm Site.tar.gz
tar -cvf Site.tar Site
gzip Site.tar
rm Data.tar.gz
tar -cvf Data.tar Data
gzip Data.tar

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar
</source>

====Transfert vers la machine LorExplor====
<source lang="sh">
scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
</source>
===Sur la machine cible===

;Installation:
<source lang="sh">
cd $EXPLOR_AREA
gunzip Site.tar.gz
tar -xvf Site.tar
gzip Site.tar

gunzip Data.tar.gz
tar -xvf Data.tar
gzip Data.tar
</source>
<source lang="sh">

gunzip ImportMetadata.tar.gz
tar -xvf ImportMetadata.tar
gzip ImportMetadata.tar

cd Data/Istex/Corpus
rm biblio.hcs
rm biblio.hfd
ln -s ../../../Import/istexMetadata.hcs biblio.hcs
ln -s ../../../Import/istexMetadata.hfd biblio.hfd
</source>

@@ Ligne 212 : / Ligne 212 : @@
 ====Transfert vers la machine LorExplor====
 <source lang="sh">
-scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
+scp  $ISTEX_PAR  Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
-scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
+scp  $ISTEX_PAR  Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
-scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
+scp  $ISTEX_PAR  ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
 </source>
 ===Sur la machine cible===

Wicri:SgmlV1 - Historique des versions

Jacques Ducloy : /* Transfert vers la machine LorExplor */

imported>Jacques Ducloy : /* Génération des FTP */