Wicri:PaulMeyerV1 : Différence entre versions

De Wicri Chanson de Roland
(Page créée avec « Cette page introduit les aspects techniques de la version PaulMeyerV1 du « Serveur d'exploration Paul Meyer ». Voir aussi : *Wicri:PaulMeyer... »)
 
(Transfert vers la machine LorExplor)
 
(15 révisions intermédiaires par le même utilisateur non affichées)
Ligne 7 : Ligne 7 :
 
*[[Wicri:PaulMeyerV1/Paramètres, templates size]] - ''paramétrage des modèles liés aux valeurs numériques''
 
*[[Wicri:PaulMeyerV1/Paramètres, templates size]] - ''paramétrage des modèles liés aux valeurs numériques''
 
*[[Wicri:PaulMeyerV1/Paramètres, template include]] - ''génération du modèle d'affichage des résultats bruts''
 
*[[Wicri:PaulMeyerV1/Paramètres, template include]] - ''génération du modèle d'affichage des résultats bruts''
 +
==Mise en œuvre==
 +
===Sur la machine de développement===
 +
====Initialisations====
 +
;Génération des pages wikis:
 +
<source lang="sh">
 +
source IstexGetCorpusSize -q ""Paul Meyer""
 +
IstexGenerAreaPages \
 +
      -a PaulMeyerV1  \
 +
      -m  \
 +
      -g PaulMeyer  \
 +
        -x1  \
 +
      -p Europe/ChansonRoland  \
 +
      -w wic-chan.rol.fr  \
 +
      -W Europe/ChansonRoland  \
 +
      -s PascalFrancis  \
 +
      -s Hal  \
 +
      -z France  \
 +
      -z Allemagne  \
 +
      -q '"Paul Meyer"'  \
 +
      -t "Serveur d'exploration Paul Meyer" 
 +
 +
</source>
 +
;Définition $EXPLOR_AREA:
 +
<source lang="sh">
 +
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1
 +
export EXPLOR_AREA
 +
export LC_ALL='C'
 +
</source>
 +
;Création des répertoires:
 +
<source lang="sh">
 +
mkdir $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
 +
mkdir $EXPLOR_AREA
 +
mkdir $EXPLOR_AREA/Import
 +
</source>
 +
===Sur la machine Demo.Istex===
 +
<source lang="sh">
 +
newgrp wicri
 +
source /applis/Dilib/init.sh
 +
</source>
 +
;Définition $EXPLOR_AREA:
 +
<source lang="sh">
 +
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1
 +
export EXPLOR_AREA
 +
export LC_ALL='C'
 +
</source>
 +
;Création des répertoires:
 +
<source lang="sh">
 +
mkdir $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
 +
cd $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
 +
mkdir PaulMeyerV1.corpus
 +
mkdir PaulMeyerV1.corpus/Import
 +
mkdir PaulMeyerV1.20211122
 +
ln -s PaulMeyerV1.20211122 PaulMeyerV1
 +
ln -s PaulMeyerV1.20211122 PaulMeyerV1.new
 +
</source>
 +
====Construction du Repository ISTEX====
 +
<source>
 +
cd PaulMeyerV1.corpus/Import
 +
</source>
 +
 +
''En cas de reprise au niveau du téléchargement''
 +
<source lang="sh">
 +
rm -rf Import/IstexRepository.h*
 +
 +
</source>
 +
<source lang="sh">
 +
IstexGetCorpus -q '"Paul Meyer"' -s 2000    -l          \
 +
    | IstexGetCorpusById -A  \
 +
    | SxmlUnIndent                          \
 +
    | HfdBuild -bh  Import/IstexRepository
 +
</source>
 +
Vérification
 +
<source lang="sh">
 +
HfdCat  Import/IstexRepository.hfd | wc
 +
 +
</source>
 +
====Préparation au transfert====
 +
<source lang="sh">
 +
tar -cvf Import.tar Import
 +
gzip Import.tar
 +
</source>
 +
===Retour vers la machine de développement===
 +
====Transfert par scp====
 +
<source lang="sh">
 +
scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.corpus/Import.tar.gz .
 +
gunzip Import.tar.gz
 +
tar -xvf Import.tar
 +
</source>
 +
====Construction des métadonnées ISTEX====
 +
;ISTEX, création du HFD Corpus Biblio:En cas de reprise:
 +
<source lang="sh">
 +
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
 +
 +
</source>
 +
;Construction corpus biblio:
 +
<source lang="sh">
 +
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd  \
 +
  | SgmlFast -c1                                \
 +
  | IstexToTei                                  \
 +
  | IstexCleanFullText                          \
 +
  | TeiPutRefToIdno -t wicri:Area/Istex/Corpus  -c ISTEX -s Corpus -S Istex \
 +
  | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata
 +
 +
</source>
 +
====Téléchargement des autres corpus====
 +
;PascalFrancis:
 +
Site :http://stan2.demo.inist.fr/fr/
 +
 +
Requête :
 +
 +
Télécharger avec les onglets : Serveur / SGML / SGML / LF
 +
*résultat dans $EXPLOR_AREA/Import
 +
  mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt
 +
Télécharger avec les onglets : SGML / SGML / SGML / LF
 +
*résultat dans $EXPLOR_AREA/Import
 +
  mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
 +
;Hal:
 +
Sur : https://hal.archives-ouvertes.fr/
 +
====Génération de la plateforme====
 +
;Importation des paramètres de génération:
 +
<source lang="sh">
 +
WicriGetPage -l wic-chan.rol.fr -p "Wicri:PaulMeyerV1/Paramètres, data"\
 +
      > $EXPLOR_AREA/Import/WicriAreaParam.data.wiki
 +
</source>
 +
Si reprise
 +
<source lang="sh">
 +
sh $EXPLOR_AREA/bin/AreaReset.sh
 +
</source>
 +
<source lang="sh">
 +
ExplorAreaDataCreate -d $EXPLOR_AREA
 +
make -f $EXPLOR_AREA/bin/area.mk
 +
</source>
 +
;Importation des paramètres de navigation:
 +
<source lang="sh">
 +
WicriGetPage -l wic-chan.rol.fr -p "Wicri:PaulMeyerV1/Paramètres, fr"\
 +
      > $EXPLOR_AREA/Import/WicriAreaSiteParam.fr.wiki
 +
</source>
 +
;Génération de l'interface :
 +
<source lang="sh">
 +
sh $EXPLOR_AREA/bin/AreaCreateSite.fr.sh
 +
</source>
 +
====Génération des FTP====
 +
<source lang="sh">
 +
cd $EXPLOR_AREA
 +
rm Site.tar.gz
 +
tar -cvf Site.tar Site
 +
gzip Site.tar
 +
rm Data.tar.gz
 +
tar -cvf Data.tar Data
 +
gzip Data.tar
 +
 +
rm ImportMetadata.tar.gz
 +
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
 +
gzip ImportMetadata.tar
 +
</source>
 +
====Transfert vers la machine LorExplor====
 +
<source lang="sh">
 +
scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new
 +
scp $ISTEX_PAR Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new
 +
scp $ISTEX_PAR ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new
 +
</source>
 +
 +
===Sur la machine cible===
 +
Aller sur le répertoire corpus correspondant au wiki cible
 +
<source lang="sh">
 +
. ... Dilib/init.sh 
 +
newgrp ticri
 +
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/corpus/PaulMeyer.storage/PaulMeyerV1.20211122
 +
</source>
 +
Si nouveau code générique :
 +
<source lang="sh">
 +
mkdir $WICRI_ROOT/Europe/ChansonRoland/corpus/PaulMeyer.storage
 +
</source>
 +
Création du répertoire plateforme
 +
<source lang="sh">
 +
mkdir $EXPLOR_AREA
 +
</source>
 +
;Transfert par FileZilla:
 +
Transférer les fichiers Site.tar.gz, Data.tar.gz de PaulMeyerV1 (émetteur) vers PaulMeyerV1 (cible).
 +
;Installation:
 +
<source lang="sh">
 +
cd $EXPLOR_AREA
 +
gunzip Site.tar.gz
 +
tar -xvf Site.tar
 +
gzip Site.tar
 +
 +
gunzip Data.tar.gz
 +
tar -xvf Data.tar
 +
gzip Data.tar
 +
</source>
 +
<source lang="sh">
 +
 +
gunzip ImportMetadata.tar.gz
 +
tar -xvf ImportMetadata.tar
 +
gzip ImportMetadata.tar
 +
 +
cd Data/Istex/Corpus
 +
rm biblio.hcs
 +
rm biblio.hfd
 +
ln -s ../../../Import/istexMetadata.hcs biblio.hcs
 +
ln -s ../../../Import/istexMetadata.hfd biblio.hfd
 +
</source>

Version actuelle datée du 23 novembre 2021 à 13:23

Cette page introduit les aspects techniques de la version PaulMeyerV1 du « Serveur d'exploration Paul Meyer ».

Voir aussi :

Mise en œuvre

Sur la machine de développement

Initialisations

Génération des pages wikis
source IstexGetCorpusSize -q ""Paul Meyer""
 IstexGenerAreaPages \
       -a PaulMeyerV1   \
       -m   \
       -g PaulMeyer   \
         -x1   \
       -p Europe/ChansonRoland   \
       -w wic-chan.rol.fr  \
       -W Europe/ChansonRoland   \
       -s PascalFrancis   \
       -s Hal   \
       -z France   \
       -z Allemagne   \
       -q '"Paul Meyer"'   \
       -t "Serveur d'exploration Paul Meyer"
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import

Sur la machine Demo.Istex

newgrp wicri
source /applis/Dilib/init.sh
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
cd $WICRI_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage
mkdir PaulMeyerV1.corpus
mkdir PaulMeyerV1.corpus/Import
mkdir PaulMeyerV1.20211122
ln -s PaulMeyerV1.20211122 PaulMeyerV1
ln -s PaulMeyerV1.20211122 PaulMeyerV1.new

Construction du Repository ISTEX

cd PaulMeyerV1.corpus/Import

En cas de reprise au niveau du téléchargement

rm -rf Import/IstexRepository.h*
IstexGetCorpus -q '"Paul Meyer"' -s 2000    -l          \
     | IstexGetCorpusById -A  \
     | SxmlUnIndent                           \
     | HfdBuild -bh   Import/IstexRepository

Vérification

HfdCat  Import/IstexRepository.hfd | wc

Préparation au transfert

tar -cvf Import.tar Import
gzip Import.tar

Retour vers la machine de développement

Transfert par scp

scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.corpus/Import.tar.gz .
gunzip Import.tar.gz
tar -xvf Import.tar

Construction des métadonnées ISTEX

ISTEX, création du HFD Corpus Biblio
En cas de reprise:
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
Construction corpus biblio
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd   \
  | SgmlFast -c1                                 \
  | IstexToTei                                   \
  | IstexCleanFullText                           \
  | TeiPutRefToIdno -t wicri:Area/Istex/Corpus  -c ISTEX -s Corpus -S Istex \
  | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

Téléchargement des autres corpus

PascalFrancis

Site :http://stan2.demo.inist.fr/fr/

Requête :

Télécharger avec les onglets : Serveur / SGML / SGML / LF

  • résultat dans $EXPLOR_AREA/Import
 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt 

Télécharger avec les onglets : SGML / SGML / SGML / LF

  • résultat dans $EXPLOR_AREA/Import
 mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt 
Hal

Sur : https://hal.archives-ouvertes.fr/

Génération de la plateforme

Importation des paramètres de génération
WicriGetPage -l wic-chan.rol.fr -p "Wicri:PaulMeyerV1/Paramètres, data"\
      > $EXPLOR_AREA/Import/WicriAreaParam.data.wiki

Si reprise

sh $EXPLOR_AREA/bin/AreaReset.sh
ExplorAreaDataCreate -d $EXPLOR_AREA
make -f $EXPLOR_AREA/bin/area.mk
Importation des paramètres de navigation
WicriGetPage -l wic-chan.rol.fr -p "Wicri:PaulMeyerV1/Paramètres, fr"\
      > $EXPLOR_AREA/Import/WicriAreaSiteParam.fr.wiki
Génération de l'interface 
sh $EXPLOR_AREA/bin/AreaCreateSite.fr.sh

Génération des FTP

cd $EXPLOR_AREA
rm Site.tar.gz 
tar -cvf Site.tar Site 
gzip Site.tar 
rm Data.tar.gz 
tar -cvf Data.tar Data 
gzip Data.tar 

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar

Transfert vers la machine LorExplor

scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new
scp $ISTEX_PAR Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new
scp $ISTEX_PAR ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/ChansonRoland/explor/PaulMeyer.storage/PaulMeyerV1.new

Sur la machine cible

Aller sur le répertoire corpus correspondant au wiki cible

. ... Dilib/init.sh  
newgrp ticri
EXPLOR_AREA=$WICRI_ROOT/Europe/ChansonRoland/corpus/PaulMeyer.storage/PaulMeyerV1.20211122

Si nouveau code générique :

mkdir $WICRI_ROOT/Europe/ChansonRoland/corpus/PaulMeyer.storage

Création du répertoire plateforme

mkdir $EXPLOR_AREA
Transfert par FileZilla

Transférer les fichiers Site.tar.gz, Data.tar.gz de PaulMeyerV1 (émetteur) vers PaulMeyerV1 (cible).

Installation
cd $EXPLOR_AREA
gunzip Site.tar.gz 
tar -xvf Site.tar 
gzip Site.tar 

gunzip Data.tar.gz 
tar -xvf Data.tar 
gzip Data.tar
gunzip ImportMetadata.tar.gz 
tar -xvf ImportMetadata.tar 
gzip ImportMetadata.tar 

cd Data/Istex/Corpus 
rm biblio.hcs 
rm biblio.hfd 
ln -s ../../../Import/istexMetadata.hcs biblio.hcs 
ln -s ../../../Import/istexMetadata.hfd biblio.hfd