Nuvola apps important.png Attention, suite à une faille de sécurité, les liens vers les serveurs d'exploration ont été désactivés. Des actions de régénération sont en cours et quelques serveurs sont à nouveau accessibles.

-

Wicri:SgmlV1

De Wicri Informatique

Cette page introduit les aspects techniques de la version SgmlV1 du « Serveur d'exploration sur SGML ».

Voir aussi :

Mise en œuvre

Sur la machine de développement

Initialisations

Génération des pages wikis
IstexGenerAreaPages \
       -a SgmlV1   \
       -m   \
       -g Sgml   \
         -x  1 \
       -p Informatique   \
       -w wic-informatique.fr  \
       -W Wicri/Informatique   \
       -s PascalFrancis   \
       -s Hal      \
       -s PubMed   \
       -s Pmc   \
       -s Ncbi   \
       -z France   \
       -q "sgml"  \
       -t "Serveur d'exploration sur SGML"
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import

Sur la machine LorExplor

newgrp wicri
source /applis/lorexplor/Dilib/init.sh
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus
mkdir $WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus/Import

Construction du Repository ISTEX

Sous : 

$WICRI_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus

En cas de reprise au niveau du téléchargement 

rm -rf Import/IstexRepository.h*

Le découpage ci dessous est réalisé pour aller au delà de la restriction à 5000 documents 

(
IstexGetCorpus -q "sgml AND xml" -l -s 4900
IstexGetCorpus -q "(sgml NOT xml) AND france" -l -s 4900
IstexGetCorpus -q "(sgml NOT xml) NOT france" -l -s 4900
) | sort -u > IstexRepository.list
Récupération par parties
Attention :
A réajuster si reprise
time head -2000 IstexRepository.list  \
     | IstexGetCorpusById -A                  \
     | SxmlUnIndent                            \
     | HfdBuild -bh IstexPart00000

time head -4000 IstexRepository.list | tail -2000  \
     | IstexGetCorpusById -A                  \
     | SxmlUnIndent                            \
     | HfdBuild -bh IstexPart02000

time head -6000 IstexRepository.list | tail -2000  \
     | IstexGetCorpusById -A                  \
     | SxmlUnIndent                            \
     | HfdBuild -bh IstexPart04000



time tail -665 IstexRepository.list  \
     | IstexGetCorpusById -A                  \
     | SxmlUnIndent                            \
     | HfdBuild -bh IstexPart06000

(
  HfdCat IstexPart00000.hfd 
  HfdCat IstexPart02000.hfd 
  HfdCat IstexPart04000.hfd 
  HfdCat IstexPart06000.hfd 
) | SgmlFast -c1 | HfdBuild -bh  Import/IstexRepository

Vérification 

HfdCat  $EXPLOR_AREA/Import/IstexRepository.hfd | wc

Préparation du transfert vers la machine de développement

tar -cvf Import.tar Import
gzip Import.tar

Retour machine de développement

Transfert

 scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.corpus/Import.tar.gz .
 gunzip Import.tar.gz
 tar -xvf Import.tar

Construction des métadonnées ISTEX

ISTEX, création du HFD Corpus Biblio
En cas de reprise:
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
Construction corpus biblio
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd   \
  | SgmlFast -c1                                 \
  | IstexToTei                                   \
  | IstexCleanFullText                           \
  | TeiPutRefToIdno -t wicri:Area/Istex/Corpus  -c ISTEX -s Corpus -S Istex \
  | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

Téléchargement des autres corpus

PubMed

Site : http://www.ncbi.nlm.nih.gov/pubmed

Requête : 

 sgml

Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml

PubMed Central

Site : http://www.ncbi.nlm.nih.gov/pmc Requête : 

 sgml
PascalFrancis

Site :http://stan2.demo.inist.fr/fr/

Requête : 

Requête :

Télécharger avec les onglets : Serveur / SGML / SGML / LF

  • résultat dans $EXPLOR_AREA/Import
 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt

Télécharger avec les onglets : SGML / SGML / SGML / LF

  • résultat dans $EXPLOR_AREA/Import
 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
Hal

Sur : https://hal.archives-ouvertes.fr/

Génération de la table de curation

HfdCat Import/IstexRepository.hfd     \
  | grep -vi SGML     \
  | SxmlSelect -g istex/id/1 -p ISTEX:@g1 \
    > Import/IstexNoSgml.dict

Génération des FTP

cd $EXPLOR_AREA
rm Site.tar.gz 
tar -cvf Site.tar Site 
gzip Site.tar 
rm Data.tar.gz 
tar -cvf Data.tar Data 
gzip Data.tar 

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar

Transfert vers la machine LorExplor

scp  $ISTEX_PAR  Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
scp  $ISTEX_PAR  Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new
scp  $ISTEX_PAR  ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Informatique/explor/Sgml.storage/SgmlV1.new

Sur la machine cible

Installation
cd $EXPLOR_AREA
gunzip Site.tar.gz 
tar -xvf Site.tar 
gzip Site.tar 

gunzip Data.tar.gz 
tar -xvf Data.tar 
gzip Data.tar

gunzip ImportMetadata.tar.gz 
tar -xvf ImportMetadata.tar 
gzip ImportMetadata.tar 

cd Data/Istex/Corpus 
rm biblio.hcs 
rm biblio.hfd 
ln -s ../../../Import/istexMetadata.hcs biblio.hcs 
ln -s ../../../Import/istexMetadata.hfd biblio.hfd
Récupérée de « https://wicri-demo.istex.fr/Wicri/Informatique/fr/index.php?title=Wicri:SgmlV1&oldid=4470 »