Wicri:MusicSarreV2
Cette page introduit les aspects techniques de la version MusicSarreV2 du « Serveur d'exploration sur la musique en Sarre (premier essai 2017) ».
Voir aussi :
- Wicri:MusicSarreV2/Paramètres, data - génération des données
- Wicri:MusicSarreV2/Paramètres, fr - génération de l'interface
- Wicri:MusicSarreV2/Paramètres, génération des cartes - génération de cartes géographiques
- Wicri:MusicSarreV2/Paramètres, templates size - paramétrage des modèles liés aux valeurs numériques
- Wicri:MusicSarreV2/Paramètres, template include - génération du modèle d'affichage des résultats bruts
Sommaire
Mise en œuvre
Sur la machine de développement
Initialisations
- Génération des pages wikis
source IstexGetCorpusSize -q "(Saar* AND (music OR choir OR violin OR piano OR orchestr*))"
IstexGenerAreaPages \
-a MusicSarreV2 \
-m \
-g MusicSarre \
-p Wicri/Europe/Allemagne/Sarre \
-w wicri-sarre.fr \
-W Wicri/Sarre \
-s PascalFrancis \
-s PubMed \
-s Pmc \
-s Ncbi \
-s Hal \
-z Allemagne \
-z UK \
-z USA \
-z France \
-q "(Saar* AND (music OR choir OR violin OR piano OR orchestr*))" \
-d "2" \
-D "2000" \
-t "Serveur d'exploration sur la musique en Sarre (premier essai 2017)"
- Définition $EXPLOR_AREA
EXPLOR_AREA=$WICRI_ROOT/Wicri/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2
export EXPLOR_AREA
export LC_ALL='C'
- Création des répertoires
mkdir $WICRI_ROOT/Wicri/Europe/Allemagne/Sarre/explor/MusicSarre.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
Récupération des corpus ISTEX
Sur le site LorExplor
source /applis/lorexplor/Dilib/init.sh
ISTEX_QUERY="(Saar* AND (music OR choir OR violin OR piano OR orchestr*))"
- En cas de reprise complète au niveau du téléchargement
rm -rf $EXPLOR_AREA/Import/IstexDownload.*.h*
- Montage initial
time IstexGetCorpus -q "$ISTEX_QUERY" -s 4000 -l > Import/IstexRepository.list
head -1000 Import/IstexRepository.list \
| IstexGetCorpusById -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexPart00000
time head -2000 Import/IstexRepository.list | tail -1000 \
| IstexGetCorpusById -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexPart01000
time head -3000 Import/IstexRepository.list | tail -1000 \
| IstexGetCorpusById -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexPart02000
time head -4000 Import/IstexRepository.list | tail -1000 \
| IstexGetCorpusById -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexPart03000
- Reprise et compléments
(
HfdCat $EXPLOR_AREA/Import/IstexPart00000.hfd
HfdCat $EXPLOR_AREA/Import/IstexPart01000.hfd
HfdCat $EXPLOR_AREA/Import/IstexPart02000.hfd
HfdCat $EXPLOR_AREA/Import/IstexPart03000.hfd
) | SgmlFast -c1 | HfdBuild -bh $EXPLOR_AREA/Import/IstexRepository
- Construction corpus biblio
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \
| IstexCleanFullText \
| SgmlFast -c1 \
| IstexToTei \
| TeiPutRefToIdno -t wicri:Area/Istex/Corpus -c ISTEX -s Corpus -S Istex \
| HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata
cd Import
tar -cvf IstexRepository.tar IstexRepository.hcs IstexRepository.hfd
gzip IstexRepository.tar
tar -cvf IstexMetadata.tar IstexMetadata.hcs IstexMetadata.hfd
gzip IstexMetadata.tar
Construction des métadonnées ISTEX
- ISTEX, création du HFD Corpus Biblio
- En cas de reprise:
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*
Transfert par scp
Se mettre sous $EXPLOR_AREA/Import
scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2/Import/IstexMetadata.tar.gz .
scp $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2/Import/IstexRepository.tar.gz .
gunzip IstexMetadata.tar.gz
tar -xvf IstexMetadata.tar
gzip IstexMetadata.tar
Téléchargement des autres corpus
- PubMed
Site : http://www.ncbi.nlm.nih.gov/pubmed
Requête :
saar* AND music*
Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml
- PubMed Central
Site : http://www.ncbi.nlm.nih.gov/pmc
Requête :
saar* AND music*
Ranger le résultat dans $EXPLOR_AREA/Import/pmc_result.xml
- PascalFrancis
Site :http://stan2.demo.inist.fr/fr/
Requête :
(sarre* ou saar* ou ( af = sarre*) ou (af = saar*) )et (music* ou musique*)
Télécharger avec les onglets : Serveur / SGML / SGML / LF
- résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt
Télécharger avec les onglets : SGML / SGML / SGML / LF
- résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
- Hal
Sur : https://hal.archives-ouvertes.fr/
sarre* AND music*
Génération de la plateforme
- Importation des paramètres de génération
WicriGetPage -l wicri-sarre.fr -p "Wicri:MusicSarreV2/Paramètres, data"\
> $EXPLOR_AREA/Import/WicriAreaParam.data.wiki
Si reprise
sh $EXPLOR_AREA/bin/AreaReset.sh
ExplorAreaDataCreate -d $EXPLOR_AREA
make -f $EXPLOR_AREA/bin/area.mk
- Importation des paramètres de navigation
WicriGetPage -l wicri-sarre.fr -p "Wicri:MusicSarreV2/Paramètres, fr"\
> $EXPLOR_AREA/Import/WicriAreaSiteParam.fr.wiki
- Génération de l'interface
sh $EXPLOR_AREA/bin/AreaCreateSite.fr.sh
Génération des FTP
cd $EXPLOR_AREA
rm Site.tar.gz
tar -cvf Site.tar Site
gzip Site.tar
rm Data.tar.gz
tar -cvf Data.tar Data
gzip Data.tar
Transfert vers la machine LorExplor
Préparation
Aller sur le répertoire corpus correspondant au wiki cible
. ... Dilib/init.sh
newgrp ticri
EXPLOR_AREA=$WICRI_ROOT/Wicri/Europe/Allemagne/Sarre/corpus/MusicSarre.storage/MusicSarreV2.20170726
Si nouveau code générique :
mkdir $WICRI_ROOT/Wicri/Europe/Allemagne/Sarre/corpus/MusicSarre.storage
Création du répertoire plateforme
mkdir $EXPLOR_AREA
cd $WICRI_ROOT/Wicri/Europe/Allemagne/Sarre/corpus/MusicSarre.storage
ln -s MusicSarreV2.20170726 MusicSarreV2
Transfert par scp
scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2
scp Data.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2
scp ImportMetadata.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Europe/Allemagne/Sarre/explor/MusicSarre.storage/MusicSarreV2
Sur la machine cible
- Installation
cd $EXPLOR_AREA
gunzip Site.tar.gz
tar -xvf Site.tar
gzip Site.tar
gunzip Data.tar.gz
tar -xvf Data.tar
gzip Data.tar
gunzip ImportMetadata.tar.gz
tar -xvf ImportMetadata.tar
gzip ImportMetadata.tar
cd Data/Istex/Corpus
rm biblio.hcs
rm biblio.hfd
ln -s ../../../Import/istexMetadata.hcs biblio.hcs
ln -s ../../../Import/istexMetadata.hfd biblio.hfd
cd ../../../../..
cd ../..
ln -s MusicSarre.storage/MusicSarreV2 .