Wicri:WilliamByrdV1 : Différence entre versions
De Wicri Musique
(→Construction du Repository ISTEX) |
(→Sur la machine de développement) |
||
(9 révisions intermédiaires par le même utilisateur non affichées) | |||
Ligne 21 : | Ligne 21 : | ||
-w wicri-musique.fr \ | -w wicri-musique.fr \ | ||
-W Wicri/Musique \ | -W Wicri/Musique \ | ||
− | |||
-z UK \ | -z UK \ | ||
-z USA \ | -z USA \ | ||
− | -q " | + | -q '"william byrd" AND musi*' \ |
-t "Serveur d'exploration sur William Byrd" | -t "Serveur d'exploration sur William Byrd" | ||
Ligne 88 : | Ligne 87 : | ||
tar -cvf Import.tar Import | tar -cvf Import.tar Import | ||
gzip Import.tar | gzip Import.tar | ||
+ | </source> | ||
+ | ===Retour vers la machine de développement=== | ||
+ | ====Transfert par scp==== | ||
+ | <source lang="sh"> | ||
+ | scp $ISTEX_PAR $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.corpus/Import.tar.gz . | ||
+ | gunzip Import.tar.gz | ||
+ | tar -xvf Import.tar | ||
+ | </source> | ||
+ | ====Construction des métadonnées ISTEX==== | ||
+ | ;ISTEX, création du HFD Corpus Biblio:En cas de reprise: | ||
+ | <source lang="sh"> | ||
+ | rm -rf $EXPLOR_AREA/Import/IstexMetadata.h* | ||
+ | |||
+ | </source> | ||
+ | ;Construction corpus biblio: | ||
+ | <source lang="sh"> | ||
+ | HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \ | ||
+ | | SgmlFast -c1 \ | ||
+ | | IstexToTei \ | ||
+ | | IstexCleanFullText \ | ||
+ | | IstexCleanChar \ | ||
+ | | TeiPutRefToIdno -t wicri:Area/Main/Corpus -c ISTEX -s Corpus -S Main \ | ||
+ | | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata | ||
+ | |||
+ | </source> | ||
+ | |||
+ | ===Génération des FTP=== | ||
+ | <source lang="sh"> | ||
+ | cd $EXPLOR_AREA | ||
+ | rm Site.tar.gz | ||
+ | tar -cvf Site.tar Site | ||
+ | gzip Site.tar | ||
+ | rm Data.tar.gz | ||
+ | tar -cvf Data.tar Data | ||
+ | gzip Data.tar | ||
+ | |||
+ | rm ImportMetadata.tar.gz | ||
+ | tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd | ||
+ | gzip ImportMetadata.tar | ||
+ | </source> | ||
+ | ====Transfert vers la machine LorExplor==== | ||
+ | <source lang="sh"> | ||
+ | scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new | ||
+ | scp $ISTEX_PAR Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new | ||
+ | scp $ISTEX_PAR ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new | ||
+ | </source> | ||
+ | |||
+ | ===Sur la machine Demo.Istex=== | ||
+ | Aller sur le répertoire corpus correspondant au wiki cible | ||
+ | <source lang="sh"> | ||
+ | . ... Dilib/init.sh | ||
+ | newgrp ticri | ||
+ | EXPLOR_AREA=$WICRI_ROOT/Wicri/Musique/corpus/WilliamByrd.storage/WilliamByrdV1.20210209 | ||
+ | </source> | ||
+ | |||
+ | ;Installation: | ||
+ | <source lang="sh"> | ||
+ | cd $EXPLOR_AREA | ||
+ | gunzip Site.tar.gz | ||
+ | tar -xvf Site.tar | ||
+ | gzip Site.tar | ||
+ | |||
+ | gunzip Data.tar.gz | ||
+ | tar -xvf Data.tar | ||
+ | gzip Data.tar | ||
+ | </source> | ||
+ | <source lang="sh"> | ||
+ | |||
+ | gunzip ImportMetadata.tar.gz | ||
+ | tar -xvf ImportMetadata.tar | ||
+ | gzip ImportMetadata.tar | ||
+ | |||
+ | cd Data/Main/Corpus | ||
+ | rm biblio.hcs | ||
+ | rm biblio.hfd | ||
+ | ln -s ../../../Import/istexMetadata.hcs biblio.hcs | ||
+ | ln -s ../../../Import/istexMetadata.hfd biblio.hfd | ||
</source> | </source> |
Version actuelle datée du 11 février 2021 à 08:28
Cette page introduit les aspects techniques de la version WilliamByrdV1 du « Serveur d'exploration sur William Byrd ».
Voir aussi :
- Wicri:WilliamByrdV1/Paramètres, data - génération des données
- Wicri:WilliamByrdV1/Paramètres, fr - génération de l'interface
- Wicri:WilliamByrdV1/Paramètres, génération des cartes - génération de cartes géographiques
- Wicri:WilliamByrdV1/Paramètres, templates size - paramétrage des modèles liés aux valeurs numériques
- Wicri:WilliamByrdV1/Paramètres, template include - génération du modèle d'affichage des résultats bruts
Sommaire
Mise en œuvre
Sur la machine de développement
Initialisations
- Génération des pages wikis
source IstexGetCorpusSize -q "query"
IstexGenerAreaPages \
-a WilliamByrdV1 \
-m \
-g WilliamByrd \
-x1 \
-p Musique \
-w wicri-musique.fr \
-W Wicri/Musique \
-z UK \
-z USA \
-q '"william byrd" AND musi*' \
-t "Serveur d'exploration sur William Byrd"
- Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1
export EXPLOR_AREA
export LC_ALL='C'
- Création des répertoires
mkdir $WICRI_ROOT/Musique/explor/WilliamByrd.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
Sur la machine Demo.Istex
newgrp wicri
source /applis/Dilib/init.sh
- Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1
export EXPLOR_AREA
export LC_ALL='C'
- Création des répertoires
mkdir $WICRI_ROOT/Musique/explor/WilliamByrd.storage
cd $WICRI_ROOT/Musique/explor/WilliamByrd.storage
mkdir WilliamByrdV1.corpus
mkdir WilliamByrdV1.corpus/Import
mkdir WilliamByrdV1.20210208
ln -s WilliamByrdV1.20210208 WilliamByrdV1
ln -s WilliamByrdV1.20210208 WilliamByrdV1.new
Construction du Repository ISTEX
cd WilliamByrdV1.corpus/Import
En cas de reprise au niveau du téléchargement
rm -rf Import/IstexRepository.h*
IstexGetCorpus -q '"william byrd" AND musi*' -s 2000 -l \
| IstexGetCorpusById -A \
| SxmlUnIndent \
| HfdBuild -bh Import/IstexRepository
Vérification
HfdCat Import/IstexRepository.hfd | wc
Préparation au transfert
tar -cvf Import.tar Import
gzip Import.tar
Retour vers la machine de développement
Transfert par scp
scp $ISTEX_PAR $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.corpus/Import.tar.gz .
gunzip Import.tar.gz
tar -xvf Import.tar
Construction des métadonnées ISTEX
- ISTEX, création du HFD Corpus Biblio
- En cas de reprise:
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
- Construction corpus biblio
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \
| SgmlFast -c1 \
| IstexToTei \
| IstexCleanFullText \
| IstexCleanChar \
| TeiPutRefToIdno -t wicri:Area/Main/Corpus -c ISTEX -s Corpus -S Main \
| HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata
Génération des FTP
cd $EXPLOR_AREA
rm Site.tar.gz
tar -cvf Site.tar Site
gzip Site.tar
rm Data.tar.gz
tar -cvf Data.tar Data
gzip Data.tar
rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar
Transfert vers la machine LorExplor
scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new
scp $ISTEX_PAR Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new
scp $ISTEX_PAR ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/WilliamByrd.storage/WilliamByrdV1.new
Sur la machine Demo.Istex
Aller sur le répertoire corpus correspondant au wiki cible
. ... Dilib/init.sh
newgrp ticri
EXPLOR_AREA=$WICRI_ROOT/Wicri/Musique/corpus/WilliamByrd.storage/WilliamByrdV1.20210209
- Installation
cd $EXPLOR_AREA
gunzip Site.tar.gz
tar -xvf Site.tar
gzip Site.tar
gunzip Data.tar.gz
tar -xvf Data.tar
gzip Data.tar
gunzip ImportMetadata.tar.gz
tar -xvf ImportMetadata.tar
gzip ImportMetadata.tar
cd Data/Main/Corpus
rm biblio.hcs
rm biblio.hfd
ln -s ../../../Import/istexMetadata.hcs biblio.hcs
ln -s ../../../Import/istexMetadata.hfd biblio.hfd