Jacques Ducloy : /* Transfert vers la machine LorExplor */

2024-03-04T14:36:15Z

‎Transfert vers la machine LorExplor

Jacques Ducloy : /* Transfert vers la machine LorExplor */

2024-03-04T14:34:50Z

‎Transfert vers la machine LorExplor

imported>Jacques Ducloy : /* Transfert vers la machine LorExplor */

2017-07-22T14:43:21Z

‎Transfert vers la machine LorExplor

Nouvelle page

Cette page introduit les aspects techniques de la version [[Wicri:ParkinsonFranceV1|ParkinsonFranceV1]] du [[Serveur d'exploration]] « [[La maladie de Parkinson en France (serveur d'exploration)]] ».

Voir aussi :
*[[Wicri:ParkinsonFranceV1/Paramètres, data]] - ''génération des données''
*[[Wicri:ParkinsonFranceV1/Paramètres, fr]] - ''génération de l'interface''
*[[Wicri:ParkinsonFranceV1/Paramètres, génération des cartes]] - ''génération de cartes géographiques''
*[[Wicri:ParkinsonFranceV1/Paramètres, templates size]] - ''paramétrage des modèles liés aux valeurs numériques''
*[[Wicri:ParkinsonFranceV1/Paramètres, template include]] - ''génération du modèle d'affichage des résultats bruts''
==Mise en œuvre==
===Sur la machine de développement===
====Initialisations====
;Génération des pages wikis:
{{Wicri tp
|titre=Quelques explications
|texte=La plateforme est générée sur une machine supportant Unix, ici un MacBook Pro.

Dans cette section, le premier appel de la commande <code>[[wicri-outils.fr:IstexGetCorpusSize|IstexGetCorpusSize]]</code> est utilisée pour évaluer la volumétrie du serveur (ici 3726 documents) et pour « roder la syntaxe du critère de recherche ».

Le critère d'extraction est matérialisé par une expression booléenne qui implique la présence du mot « france » dans le titre, le résumé ou dans une affiliation.

Le deuxième pavé est un appel de la commande IstexGenerAreaPage. Cette commande génère une version initiale des pages de paramétrage (environ 500 lignes).
}}
<source lang="sh">
IstexGetCorpusSize -q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)"
</source>
<source lang="sh">
IstexGenerAreaPages \
-a ParkinsonFranceV1 \
-m \
-g ParkinsonFrance \
-p Wicri/Sante \
-w wicri-sante.fr \
-W Wicri/Sante \
-s PascalFrancis \
-s PubMed \
-s Pmc \
-s Ncbi \
-s Hal \
-z Allemagne \
-z UK \
-z USA \
-q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)" \
-d "2" \
-D "2000" \
-t "La maladie de Parkinson en France (serveur d'exploration)"
</source>
{{Wicri tp
|titre=Quelques explications
|texte=Cette partie sert simplement à installer sur la machine Unix le répertoire qui va contenir la plateforme.

Pour les informaticiens, la variable d'environnement EXPLOR_AREA sera utilisée pour repérer ce répertoire.
}}
;Définition $EXPLOR_AREA:
<source lang="sh">
EXPLOR_AREA=$WICRI_ROOT/Wicri/Sante/explor/ParkinsonFrance.storage/ParkinsonFranceV1
export EXPLOR_AREA
export LC_ALL='C'
</source>
;Création des répertoires:
<source lang="sh">
mkdir $WICRI_ROOT/Wicri/Sante/corpus/ParkinsonFrance.storage
mkdir $EXPLOR_AREA
mkdir $EXPLOR_AREA/Import
</source>

====Récupération des corpus ISTEX====
{{Wicri tp
|titre=Quelques explications
|texte=Cette partie concerne le téléchargement du corpus ISTEX.

La taille du corpus étant supérieure à 3000 documents, on va procéder à un téléchargement en 2 étapes.
}}
;En cas de reprise complète au niveau du téléchargement:
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexDownload.*.h*
</source>
{{Wicri tp
|titre=Quelques explications
|texte=Cette partie introduit le premier téléchargement de 2000 documents.

En fait le texte ci-dessous contient 2 versions adaptées à différentes modalités d'accès aux corpus ISTEX. En effet ces contenus ne sont pas accessibles au public, il faut donc donner soit une identification soit un « token » pour précéder au téléchargement.
}}
<source lang="sh">
time IstexGetCorpus -q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)" \
-s 2000 -i $ISTEX_ID -p $ISTEX_PASS -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexDownload.000000
</source>
<source lang="sh">
time IstexGetCorpus -q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)" \
-s 2000 -t $ISTEX_TOKEN -A \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexDownload.000000
</source>
:''Vérification''
<source lang="sh">
SxmlSelect -g hfd/nrec/1 -p @g1 < $EXPLOR_AREA/Import/IstexDownload.000000.hcs
</source>

{{Wicri tp
|titre=Quelques explications sur les résultats de ce premier téléchargement
|texte=La commande IstexGetCorpus est préfixée par un appel à la commande time. Elle permet se savoir, en fin de traitement, le temps qu'il a fallu passer sur cette opération.

Ici, elle nous donne
<pre>
real 19m3.735s
user 2m4.157s
sys 0m12.887s
</pre>
soit environ 20 minutes, dont 2 minutes de traitement (reformatage).

Les commandes qui suivent concerne le téléchargement de la deuxième partie du corpus.
}}

<source lang="sh">
time IstexGetCorpus -q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)" \
-f 2000 -s 2000 -A -i $ISTEX_ID -p $ISTEX_PASS \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexDownload.002000
</source>

<source lang="sh">
time IstexGetCorpus -q "parkinson AND (abstract:france OR title:france OR author.affiliations:france)" \
-f 2000 -s 2000 -A -t $ISTEX_TOKEN \
| IstexToSxml \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexDownload.002000
</source>

<source lang="sh">
SxmlSelect -g hfd/nrec/1 -p @g1 < $EXPLOR_AREA/Import/IstexDownload.002000.hcs
</source>
====Construction du Repository ISTEX====
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape assure simplement la fusion du résultat des 2 téléchargements précédents.

A la fin de cette étape, les 3700 documents, en texte intégral (XML) seront disponibles pour des traitements.
}}
''En cas de reprise au niveau du téléchargement''
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexRepository.h*

</source>
<source lang="sh">
(
HfdCat $EXPLOR_AREA/Import/IstexDownload.000000.hfd
HfdCat $EXPLOR_AREA/Import/IstexDownload.002000.hfd
) | SgmlFast -c 1 \
| HfdBuild -bh $EXPLOR_AREA/Import/IstexRepository

</source>
Vérification
<source lang="sh">
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd | wc

</source>
====Construction des métadonnées ISTEX====
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape réalise la création d'une version du corpus réduite à des métadonnées homogénéisées en TEI.

Cette version possède deux avantages :
* elle permet de réaliser des filtrages beaucoup plus rapides que sur les documents complets (dans un rapport 10)
* elle ne contient que des données qui peuvent être librement diffusées.
}}
;ISTEX, création du HFD Corpus Biblio:En cas de reprise:
<source lang="sh">
rm -rf $EXPLOR_AREA/Import/IstexMetadata.h*

</source>
;Construction corpus biblio:
<source lang="sh">
HfdCat $EXPLOR_AREA/Import/IstexRepository.hfd \
| IstexCleanFullText \
| SgmlFast -c1 \
| IstexToTei \
| TeiPutRefToIdno -t wicri:Area/Istex/Corpus -c ISTEX -s Corpus -S Istex \
| HfdBuild -h $EXPLOR_AREA/Import/IstexMetadata

</source>
====Téléchargement des autres corpus====
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape réalise le téléchargement des notices bibliographiques PubMed (MEDLINE) depuis le site du NCBI.

Pour récupérer le corpus, il faut jouer avec le bouton « send to » (en haut à droite) et activer les options file et format XML.

Elle ne dure que quelques dizaines de secondes pour récupérer 2500 documents.

Comme cette base ne contient que des métadonnées, le critère de sélection est plus simple que pour ISTEX.
}}
;PubMed:
Site : http://www.ncbi.nlm.nih.gov/pubmed

Requête :
parkinson AND france
Ranger le résultat dans $EXPLOR_AREA/Import/pubmed_result.xml
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape réalise le téléchargement des documents en texte intégral à partir de l'archive PubMed Central depuis le site du NCBI.

Pour des raisons techniques provisoires (espace disque) le champ de la requête a été volontairement réduit.
}}
;PubMed Central:
Site : http://www.ncbi.nlm.nih.gov/pmc

Requête :
"parkinson disease" AND (france[affiliation])

Ranger le résultat dans $EXPLOR_AREA/Import/pmc_result.xml
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape concerne le téléchargement des corpus Pascal/Francis à partit d'un site privé (INIST).
}}
;Stanalyst:
Site :http://stan2.demo.inist.fr/fr/

Requête :
( pa = fr* ) et parkinson

Télécharger avec les onglets : Serveur / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistServer.txt
Télécharger avec les onglets : SGML / SGML / SGML / LF
*résultat dans $EXPLOR_AREA/Import
mv $EXPLOR_AREA/Import/corpus.txt $EXPLOR_AREA/Import/inistStandard.txt
{{Wicri tp
|titre=Quelques explications
|texte=Cette étape concerne le téléchargement depuis Hal

Cette étape est relativement longue compte tenu du volume (1300 documents)
}}
;Hal:
Sur : https://hal.archives-ouvertes.fr/

Critère :
parkinson
Onglets : documents + notices
====Génération de la plateforme====
;Importation des paramètres de génération:
<source lang="sh">
WicriGetPage -l wicri-sante.fr -p "Wicri:ParkinsonFranceV1/Paramètres, data"\
> $EXPLOR_AREA/Import/WicriAreaParam.data.wiki
</source>
Si reprise
<source lang="sh">
sh $EXPLOR_AREA/bin/AreaReset.sh
</source>
<source lang="sh">
ExplorAreaDataCreate -d $EXPLOR_AREA
make -f $EXPLOR_AREA/bin/area.mk
</source>
;Importation des paramètres de navigation:
<source lang="sh">
WicriGetPage -l wicri-sante.fr -p "Wicri:ParkinsonFranceV1/Paramètres, fr"\
> $EXPLOR_AREA/Import/WicriAreaSiteParam.fr.wiki
</source>
;Génération de l'interface :
<source lang="sh">
sh $EXPLOR_AREA/bin/AreaCreateSite.fr.sh
</source>
====Génération des FTP====
<source lang="sh">
cd $EXPLOR_AREA
rm Site.tar.gz
tar -cvf Site.tar Site
gzip Site.tar
rm Data.tar.gz
tar -cvf Data.tar Data
gzip Data.tar

rm ImportMetadata.tar.gz
tar -cvf ImportMetadata.tar Import/istexMetadata.hcs Import/istexMetadata.hfd
gzip ImportMetadata.tar
</source>

===Transfert vers la machine LorExplor===
;Transfert par scp:

:<code>scp Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/ParkinsonFrance.storage/ParkinsonFranceV1</code>

===Sur la machine cible===
Aller sur le répertoire corpus correspondant au wiki cible
<source lang="sh">
. ... Dilib/init.sh
newgrp ticri
EXPLOR_AREA=$WICRI_ROOT/Wicri/Sante/corpus/ParkinsonFrance.storage/ParkinsonFranceV1.20170217
</source>
Si nouveau code générique :
<source lang="sh">
mkdir $WICRI_ROOT/Wicri/Sante/corpus/ParkinsonFrance.storage
</source>
Création du répertoire plateforme
<source lang="sh">
mkdir $EXPLOR_AREA
</source>
;Transfert par FileZilla:
Transférer les fichiers Site.tar.gz, Data.tar.gz de ParkinsonFranceV1 (émetteur) vers ParkinsonFranceV1 (cible).
;Installation:
<source lang="sh">
cd $EXPLOR_AREA
gunzip Site.tar.gz
tar -xvf Site.tar
gzip Site.tar

gunzip Data.tar.gz
tar -xvf Data.tar
gzip Data.tar
</source>
<source lang="sh">

gunzip ImportMetadata.tar.gz
tar -xvf ImportMetadata.tar
gzip ImportMetadata.tar

cd Data/Istex/Corpus
rm biblio.hcs
rm biblio.hfd
ln -s ../../../Import/istexMetadata.hcs biblio.hcs
ln -s ../../../Import/istexMetadata.hfd biblio.hfd
</source>

@@ Ligne 278 : / Ligne 278 : @@
 ;Transfert par scp:
-:<code>scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/ParkinsonFrance.storage/ParkinsonFranceV1</code>
+:<code>scp $ISTEX_PAR Site.tar.gz $ISTEX_SCP:$WICRI_TARGET_ROOT/Sante/explor/ParkinsonFrance.storage/ParkinsonFranceV1.new</code>
 ===Sur la machine cible===

Wicri:ParkinsonFranceV1 - Historique des versions

Jacques Ducloy : /* Transfert vers la machine LorExplor */

Jacques Ducloy : /* Transfert vers la machine LorExplor */

imported>Jacques Ducloy : /* Transfert vers la machine LorExplor */