Wicri:LassusV2

De Wicri Musique
Révision datée du 11 mars 2024 à 10:54 par Jacques Ducloy (discussion | contributions) (Transfert vers la machine LorExplor)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Cette page introduit les aspects techniques de la version LassusV2 du « Serveur d'exploration sur Roland de Lassus ».

Voir aussi :

Mise en œuvre

Sur la machine de développement

Initialisations

Génération des pages wikis
 IstexGenerAreaPages \
       -a LassusV2   \
       -m   \
       -g Lassus   \
         -x  1 \
       -p Musique   \
       -w wicri-musique.fr  \
       -W Wicri/Musique   \
       -s Hal   \
       -z France   \
       -z UK   \
       -q '(("regina coeli" OR magnificat OR madrigal* OR motet OR motets) AND (lassus OR lasso OR lattre)) OR "orlando di lasso" OR "roland de lassus" '   \
       -t "Serveur d'exploration sur Roland de Lassus"
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $WICRI_ROOT/Musique/explor/Lassus.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import


Sur la machine LorExplor

newgrp wicri
source /applis/lorexplor/Dilib/init.sh
Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2
export EXPLOR_AREA
export LC_ALL='C'
Création des répertoires
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
mkdir $WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2.corpus
mkdir $WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2.corpus/Import

Construction du Repository ISTEX

En cas de reprise au niveau du téléchargement

rm -rf $EXPLOR_AREA/Import/IstexRepository.h*
IstexGetCorpus -q '(("regina coeli" OR magnificat OR madrigal* OR motet OR motets) AND (lassus OR lasso OR lattre)) OR "orlando di lasso" OR "roland de lassus" ' -s 2000    -l          \
     | IstexGetCorpusById -A  \
     | SxmlUnIndent                           \
     | HfdBuild -bh    $WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2.corpus/Import/IstexRepository

Vérification

HfdCat  $WICRI_ROOT/Musique/explor/Lassus.storage/LassusV1.corpus/Import/IstexRepository.hfd | wc

Préparation du transfert vers la machine de développement

cd $WICRI_ROOT/Musique/explor/Lassus.storage/LassusV2.corpus

tar -cvf Import.tar Import
gzip Import.tar

Sur la machine de développement

 scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/Lassus.storage/LassusV2.corpus/Import.tar.gz .
 gunzip Import.tar.gz
 tar -xvf Import.tar

Construction des métadonnées ISTEX

ISTEX, création du HFD Corpus Biblio
En cas de reprise:
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
Construction corpus biblio
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd   \
  | SgmlFast -c1                                 \
  | IstexToTei                                   \
  | IstexCleanFullText                           \
  | TeiPutRefToIdno -t wicri:Area/Istex/Corpus  -c ISTEX -s Corpus -S Istex \
  | HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

Téléchargement des autres corpus

Hal

Sur : https://hal.archives-ouvertes.fr/

(roland AND lassus) OR (orlando AND lasso)

Génération des FTP

cd $EXPLOR_AREA
rm Site.tar.gz 
tar -cvf Site.tar Site 
gzip Site.tar 
rm Data.tar.gz 
tar -cvf Data.tar Data 
gzip Data.tar 

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar

Transfert vers la machine LorExplor

scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/Lassus.storage/LassusV2.new
scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/Lassus.storage/LassusV2.new
scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Musique/explor/Lassus.storage/LassusV2.new

Sur la machine LorExplor

Installation
cd $EXPLOR_AREA
gunzip Site.tar.gz 
tar -xvf Site.tar 
gzip Site.tar 

gunzip Data.tar.gz 
tar -xvf Data.tar 
gzip Data.tar
gunzip ImportMetadata.tar.gz 
tar -xvf ImportMetadata.tar 
gzip ImportMetadata.tar 

cd Data/Istex/Corpus 
rm biblio.hcs 
rm biblio.hfd 
ln -s ../../../Import/istexMetadata.hcs biblio.hcs 
ln -s ../../../Import/istexMetadata.hfd biblio.hfd