Voir la source de CARIST (Nancy 2017) Ducloy

{{Titre page article
 |titre=L'excellence documentaire pour tous ? Chiche !
}}
{{Wicri travaux|texte=document en cours de finition
* Diapositives à jour,
* Commentaires en cours.
}}

[[Fichier:CARIST 2017 Ducloy Diapositive01.png|thumb|right|500px]]
Nous présentons les résultats du projet [[LorExplor]]. Il est destiné à l'analyse des besoins des chercheurs et partenaires de la recherche en matière d'exploration de corpus à des fins stratégiques. Il utilise la synergie de deux types de technologies : un réseau de wikis sémantiques et l'ingénierie XML. Il débouche sur un démonstrateur, prototype d'une infrastructure pour explorer la connaissance scientifique ou technique. Nous discuterons de ses retombées dans la perspective d'une « excellence documentaire pour tous ».

Pour accéder aux diapositives
* [[doc:ateliers/2017/CARIST/CARIST_V3.pdf|en format PDF]],
* [[doc:ateliers/2017/CARIST/CARIST_V3.pptx|en format powerpoint]].
__TOC__
{{clr}}
==Introduction==
[[Fichier:CARIST 2017 Ducloy V3 Diapositive02.png|thumb|right|500px]]
Le projet [[LorExplor]] s'attaque aux résolutions de problèmes éventuellement complexes menées dans un contexte de coopération (accompagnement) entre les spécialistes du domaine d'application et ceux du numérique. En pratique, deux cibles sont privilégiées :
;Aide au pilotage stratégique:
* La réponse à des besoins d'exploration avec des contraintes de temps. Par exemple, dans le cadre d'une procédure de réponse à un appel à projets européens : quelles sont, par exemple, les principales équipes européennes avec lesquelles l'[[Université Lille 3]] pourrait s'allier sur une thématique portant sur les bibliothèques numériques.
* A côté de services très fortement concernés par ce type d'approche (relations internationales, partenariats, valorisation), toute équipe de recherche peut tirer parti de ce type d'approche une à deux fois par an. Une estimation du nombre d'interventions de ce type est comprise entre {{formatnum:50000}} à {{formatnum:150000}} par an.
;Association site encyclopédique - formation:
* La constitution de sites encyclopédique de références, s'incrivant sur du long terme. Par exemple, sur ce wiki, des portails sur différents sujets comme la [[Text Encoding Initiative]] ou  l'[[OCR]].  
* Des projets éditoriaux dans le cadre de formations en Master ou en dernière année d'école d'ingénieur. Ils reposent sur des sessions d'une à deux semaines où un groupe d'étudiants rédige collectivement un dossier de synthèse sur un wiki sémantique en explorant des corpus. La même approche pour une thèse dans la phase d'étude de l'existant est plus conséquente (ordre de grandeur un mois).
{{clr}}
===Une priorité, l'exploration des connaissances===
[[Fichier:CARIST 2017 Ducloy Diapositive04.png|thumb|right|450px]]
;Recherche:On sait qu'une information existe, mais on a perdu le chemin pour y accéder.
;Exploration:On recherche des informations que l'on ne connait pas :
* Quelle est l’œuvre de Mozart la plus citée ?
** Sur Wicri/Musique [[wicri-musique.fr:Sonate pour deux pianos (Mozart)|Sonate pour deux pianos (Mozart)]]
Pour la plus ancienne référence à l'hypertexte voir sur le wiki Ticri/H<sup>2</sup>PTM :
* [[ticri-h2ptm.fr:Serveur d'exploration hypertexte et hypermédia#Un exemple avec manipulation du texte intégral|Serveur d'exploration hypertexte et hypermédia (Un exemple avec manipulation du texte intégral)]]
;Recherche débouchant sur des explorations:
* Où trouver une explication compréhensible sur la relation entre les 8 tons de l'office (magnificats de la Renaissance) et les tonalités classiques (Do majeur...) ?
{{clr}}


{{clr}}

==Infrastructure Wicri==
===Mediawiki===
[[Fichier:CARIST 2017 Ducloy Diapositive05.png|thumb|right|505px]]
La nature de l'information, culturelle ou scientifique, amène de fortes contraintes éditoriales. La page [[wicri-france.fr:Aussois|Aussois, sur le wiki Wicri/France]], donne un exemple d'introduction. Le début utilise « de façon classique » les outils et pratiques de Wikipédia. La fin de la page a été réalisée avec les techniques présentées ici.
;Exemples plus significatifs:
* Sur ce wiki :
** cette présentation pour lee journées CARIST est enrichie par un ensemble de démonstrations, avec notamment des liens vers des serveurs d'exploration dont le contenu évolue dans le temps.
* Dans le réseau Wicri, 
** l'adaptation de la traduction française de la pièce de Pouchkine [[wicri-musique.fr:Mozart et Salieri (1830) Pouchkine|Mozart et Salieri]] demande de manipuler un outil de notation musicale ([[LilyPond]]). 
** elle est intégrée dans un [wicri-musique.fr:[Wolfgang Amadeus Mozart|dossier Mozart]] qui donne accès à [[wicri-musique.fr:Serveur d'exploration sur Mozart|environ {{formatnum:15000}} documents]] (en majorité ISTEX).
;Aspects techniques concernant MediaWiki:
La solution MediaWiki est puissante mais son utilisation avancée demande un dispositif d'accompagnement. Sur un plan informatique  il faut un soutien logistique relativement léger en termes de temps d'intervention mais possédant une solide expertise technique. Au niveau des pratiques, elle demande une stratégie de formation et d'accompagnement des contributeurs.  
{{clr}}
===Semantic MediaWiki===
[[Fichier:CARIST 2017 Ducloy Diapositive06.png|thumb|right|500px]]
La souche MediaWiki est déjà très riche par ses mécanismes d'indexation et l'utilisation de modèles. Cette page contient d'ailleurs un grand nombre d'appels de modèles, visualisables par l'onglet « [http://ticri.univ-lorraine.fr/wicri-musique.fr/index.php?title=S%C3%A9minaire_technique_ISTEX_illustr%C3%A9_par_Mozart&action=edit modifier ou voir le texte source] ».

Par rapport à Wikipédia le réseau Wicri utilise une extension développée par l'Université de Karlsruhe : [[Semantic MediaWiki]]. 

De nombreux exemples d'utilisation sont disponibles.
* Sur Wicri/Musique, la page sur [[wicri-musique.fr:Lorenzo da Ponte|Lorenzo da Ponte]] qui est utilisé comme exemple sur la diapositive ci-jointe.
* sur ce wiki, la page [[Serveur d'exploration]] qui exploite les données numériques sur les corpus.
* sur ce wiki, les pages relatives aux colloques CIDE avec la sémantisation des auteurs et comités de programme (voir par exemple [[CIDE 2016 Athènes]]). 
{{clr}}

===Le réseau Wicri===
[[Fichier:CARIST 2017 Ducloy Diapositive07.png|thumb|right|500px]]
;Un même sujet peut être traité de façon différente sur différents wikis.
Exemple, pour le même article, on peut constater des différences significatives de l'indexation sémantique <ref>Visible dans les boîtes en fin de page.</ref> :
* Sur ce wiki : [[Alain Bonardi]], [[ticri-cide.fr:CIDE (2007) Bonardi|CIDE (2007) Bonardi]].
* Sur le wiki Wicri/Musique :  [[wicri-musique.fr:CIDE (2007) Bonardi|Le patch comme document numérique : support de création et de constitution de connaissances]]

;Pour se repérer dans le réseau:
Le réseau Wicri est un démonstrateur qui contient de nombreuses expérimentations en cours de montage. Mais il ne dispose pas de forces éditoriales et la navigation n'est pas toujours évidente. Voici quelques éléments simples :
* sur un wiki, de façon classique le logo en haut à gauche pointe vers la page d'accueil.
* l'[[CIDE:Accueil|onglet communauté]] permet également de s'orienter au sein du réseau de wikis.
;Quelques points d'entrée (wikis communs) :
* Le wiki point d'accueil principal du réseau : [[wicri.fr:Accueil|Wicri/Wicri]].
* le premier wiki régional : [[wicri-lor.fr:Accueil|Wicri/Lorraine]].
* le premier wiki thématique (autour de l'ingénierie de la connaissance pour les communautés de la recherche et de l'innovation : [[ticri.fr:Accueil|Wicri/Ticri]].
;Apport ISTEX, distribution des règles de curation:
Les règles de curation vont être distribuées (et contextualisées) dans l'ensemble du réseau. Par exemple :
* Sur le wiki Wicri/Musique : [[wicri-musique.fr:Wicri:Liste de musicologues|Liste de musicologues]],
* Sur le wiki Wicri/Amérique : [[wicri-amerique.fr:Wicri:Liste de grandes universités américaines|Liste de grandes universités américaines]].
{{clr}}
===Quelques résultats===
[[Fichier:CARIST 2017 Ducloy Diapositive08.png|thumb|right|500px]]
Pour voir quelques statistiques :
* [[wicri.fr:Wicri Wicri:Statistiques janvier 2017]]
{{clr}}

==Plateformes de curation et d'exploration==
===Manipuler un ensemble de ressources hétérogènes===
[[Fichier:CARIST 2017 Ducloy Diapositive09.png|thumb|right|490px]]
;Un exemple: Sur le [[Serveur d'exploration sur la TEI]], le flux ISTEX :
{{Explor bandeau flux|type=IstexMulti|code=Istex|path=TeiVM2}}
{{clr}}
===Un atelier flexible===
[[Fichier:CARIST 2017 Ducloy Diapositive10.png|thumb|right|490px]]
On trouvera de nombreuses applications dans le réseau Wicri en utilisant (dans chaque wiki) la catégorie [[:Catégorie:Serveur d'exploration|Serveur d'exploration]].

Voici quelques exemples :
* Sur ce wiki : 
** [[Serveur d'exploration sur la TEI]],
** [[Épistémè|Serveur d'exploration Épistémè]],
** [[Cyberinfrastructure|Serveur d'exploration Cyberinfrastructure]],
** [[Serveur d'exploration sur l'OCR]]...
* Sur Wicri/Terre : [[wicri-terre.fr:Serveur d'exploration sur l'europium|Serveur d'exploration sur l'europium]].
* Sur Wicri/Linguistique : [[wicri-linguistique.fr:Serveur d'exploration sur la philologie|Serveur d'exploration sur la philologie]]
* Sur Wicri/Eau : [[wicri-eau.fr:Serveur d'exploration Lota lota|Serveur d'exploration Lota lota]] (lotte de rivière).
* Sur Wicri/Luxembourg : [[wicri-lux.fr:Serveur d'exploration sur la visibilité du Luxembourg à la NLM|Serveur d'exploration sur la visibilité du Luxembourg à la NLM]].

Si les wikis jouent un rôle fondamental dans l'interface homme machine avec les corpus, les travaux de curation et d'exploration sont réalisés avec une bibliothèque de composants XML.

Pour un corpus donné, cette bibliothèque va notamment permettre de réaliser :
* un [[serveur d'exploration]] qui devrait être accessible à un public assez large mais averti.
* une [[plateforme de curation et d'exploration]]. Il s'agit d'un ensemble de serveurs intermédiaires destinés aux spécialistes.
Les serveurs d'exploration sont réalisés sur une machine Unix avec des composants logiciels écrits en langage C.

Les modules de navigation sont réalisés en php.
[[File:LogoDilib.gif|180px|left]]
Ces modules sont intégrés dans la [[bibliothèque Dilib]]. Elle est principalement documentée sur le wiki [[wicri-outils.fr:Bibliothèque Dilib|Wicri/Outils]].

{{clr}}

==Bilan==
===Utilisation en travaux dirigés===
[[Fichier:CARIST 2017 Ducloy Diapositive03.png|thumb|right|500px]]
Dans le cadre des [[TD Master 2 Documentation numérique (Université de Lorraine 2016)|TD de l'Université de Lorraine en 2016]].
* [[wicri-eau.fr:Serveur d'exploration sur le scalaire|Le scalaire (poisson)]] - sur Wicri/Eau,
* [[wicri-bois.fr:Serveur d'exploration sur l'oranger|L'oranger]] - sur Wicri/Bois et [[wicri-agronomie.fr:Serveur d'exploration sur l'oranger|Wicri/Agronomie]]
* [[wicri-belgique.fr:Serveur d'exploration autour du libre accès en Belgique|Le Libre accès en Belgique]] sur Wicri/Belgique, et  [[Serveur d'exploration autour du libre accès en Belgique|sur ce wiki]]
* [[wicri-france.fr:Serveur d'exploration sur la visibilité du Havre|La visibilité du Havre]] sur Wicri/France et [[wicri-eau.fr:Serveur d'exploration sur la visibilité du Havre|Wicri/Eau]]
* [[wicri-terre.fr:Serveur d'exploration sur le cobalt au Maghreb|Le cobalt au Maghreb]] sur Wicri/Terre, [[wicri-maroc.fr:Serveur d'exploration sur le cobalt au Maghreb|Wicri/Maroc]] et [[wicri-afrique.fr:Serveur d'exploration sur le cobalt au Maghreb|Wicri/Afrique]].
Dans le cadre des [[TD Master 2 (Université Paris 8, 2016)|TD de l'Université Paris 8 en 2017]].
* [[wicri-sante.fr:La maladie de Parkinson en France (serveur d'exploration)|La maladie de Parkinson en France]], 
* [[wicri-archeologie.fr:Serveur d'exploration sur la paléopathologie|La paléopathologie]],
* [[wicri-terre.fr:Serveur d'exploration sur le nickel au Maghreb|Le nickel au Maghreb]],
* L'[[wicri-rhen-pal.fr:Serveur d'exploration sur l'Université de Trèves|Université de Trèves]],
* [[wicri-eau.fr:Serveur d'exploration sur l'esturgeon|L'esturgeon]],
* [[wicri-psycho.fr:La thérapie familiale en francophonie (serveur d'exploration)|La thérapie familiale en francophonie]],
* [[wicri-bois.fr:Serveur d'exploration sur le renard|Le renard]],
* [[wicri-agronomie.fr:Système d'information stratégique et agriculture (serveur d'exploration)|Système d'information stratégique et agriculture]],
* [[wicri-bois.fr:Serveur d'exploration sur le chêne en Belgique|le chêne en Belgique]].
{{clr}}
===Un aspect essentiel : la curation des corpus===
[[Fichier:CARIST 2017 Ducloy Diapositive18.png|thumb|right|505px]]
Chaque corpus pose des problèmes spécifiques en fonction du type de données, de sa volumétrie et du type de résultats attendus.

Quand les critères de sélection peuvent être précis les résultats peuvent être très intéressants. 
*Sur le wiki Wicri/Santé, la revue [[wicri-sante.fr:Movement Disorders (revue)|Movement Disorders]] donne un résultat très intéressant où un corpus de 20.000 documents est transformé en une base de données de 10.000 documents et références bénéficiant d'une multiple indexation.

Malheureusement, nous avons rencontré de très nombreux exemples qui posent de sérieux problèmes.
* Un essai sur la méthode Scrum a montré un haut degré de pollution d'un corpus par un phénomène d'OCR (voir sur Wicri/Informatique [[wicri-informatique.fr:Serveur d'exploration sur la méthode scrum (premier essai)|le premier essai sur la méthode Scrum]]).
{{clr}}
===Attention aux pratiques documentaires diversifiées===
[[Fichier:CARIST 2017 Ducloy V4 Diapositive12.png|thumb|right|505px]]
{{clr}}

==Conclusion==
===Intérêts et limites d'un travail sans soutien institutionnel===
[[Fichier:CARIST 2017 Ducloy Diapositive25.png|thumb|right|505px]]
{{clr}}
===Multiples retombées potentielles, notamment en formation===
[[Fichier:CARIST 2017 Ducloy Diapositive26.png|thumb|right|505px]]
{{clr}}
===Une approche encyclopédique pour l'essentiel de la connaissance scientifique===
[[Fichier:CARIST 2017 Ducloy V4 Diapositive15.png|thumb|right|505px]]
{{clr}}

==Visite guidée==
[[Fichier:CARIST 2017 Ducloy V4 Diapositive16.png|thumb|center|250px]]
{{clr}}
===Dilib===
[[Fichier:CARIST 2017 Ducloy Diapositive11.png|thumb|right|500px]]
L'origine de Dilib remonte en 1990 où l'INIST cherchait une solution pour manipuler facilement des formats MARC. En effet ce formalisme (ISO 2709) était utilisé pour la production des bases Pascal et Francis. Un exemple de notice Pascal, structurée en 2 niveaux, est visible dans l'exemple ci-dessous :
* {{Explor lien
   |wiki=    Wicri/Musique
   |area=    MozartV1
   |flux=    PascalFrancis
   |étape=   Corpus
   |type=    RBID
   |clé=     Francis:09-0293711
   |texte=   La fin de Don Giovanni : L'entrée en scène du libertin chez Mozart et Stravinsky
}}
Ce type de structure ne se manipule pas facilement dans un SGBD relationnel. C'est pourquoi la norme SGML apparaissait pertinente dès cette époque. Une première bibliothèque nommée Ilib a alors été développée au sein de l'INIST. Elle était très spécialisée pour le traitement des notices Pascal.

Les travaux ont été ensuite poursuivis au Loria dans une approche qui anticipait la norme XML. Une nouvelle bibliothèque nommée Dilib a alors été développée avec une généralisation dans l'optique de traiter de grands volumes de documents de métadonnées d'origine quelconque.

Les travaux sur Dilib ont été repris par l'INIST en 2000 puis arrêtés en 2003.

Avec ISTEX, il faut manipuler de vastes corpus de documents plein texte avec des DTD très diverses. Ceci a donné l'occasion de reprendre les développements pour répondre à cette nouvelle classe de problèmes. 

Par rapport à XML, le parser DILIB évolue pour traiter tous les types de documents offerts par ISTEX. Pour les traitements proprement dits, une recommandation nommée Sxml a été introduite. Pour en savoir plus, voir [[wicri-meta.fr:Dilib, flots de données Sxml|sur Wicri/Métadonnées les flux de documents Sxml]].

Cela dit, compte tenu de l'absence de moyens institutionnels, le développement de Dilib est strictement opportuniste en fonction des besoins.
;Utilisabilité ISTEX:
La bibliothèque est en open/source. Elle est donc utilisable par toute équipe voulant exploiter des données ISTEX. Encore faut-il qu'un minimum de suivi et de maintenance soit assuré. 
{{clr}}

===Serveurs d'exploration===
====Listes d'index====
[[Fichier:CARIST 2017 Ducloy Diapositive12.png|thumb|right|500px]]
{| class="wikitable"
|-
|Liens vers les serveurs :
* {{Explor lien
   |wiki=    Wicri/Ticri
   |area=    TeiVM2
   |url=Main/Exploration/indexHead.php?index=Author.i
   |texte=index auteur sur la TEI}}
* {{Explor lien
   |wiki=    Wicri/Ticri
   |area=    OcrV1
   |url=Main/Exploration/indexHead.php?index=Author.i
   |texte=index auteur sur l'OCR}}
* {{Explor lien
   |wiki=    Wicri/Ticri
   |area=    CyberinfraV1
   |url=Main/Exploration/indexHead.php?index=Author.i
   |texte=index auteur sur la Cyberinfrastructure}}
|Listes brutes 
:un exemple sur les régions du serveur Cyberinfrastructure
{{CyberinfraV1, include|section=region}}
|-
|}
{{clr}}
[[Fichier:CARIST 2017 Ducloy Diapositive13.png|thumb|right|500px]]
{{clr}}
[[Fichier:CARIST 2017 Ducloy Diapositive14.png|thumb|right|500px]]
{{clr}}
[[Fichier:CARIST 2017 Ducloy Diapositive16.png|thumb|right|500px]]
{{clr}}

==Curation des corpus==
===Enrichissmeent par dédoublonnage===
[[Fichier:CARIST 2017 Ducloy Diapositive15.png|thumb|right|500px]]
{{clr}}
===Un processus itéraif===
[[Fichier:CARIST 2017 Ducloy Diapositive17.png|thumb|right|500px]]
{{clr}}

===Curation des données===
====Généralités====
[[Fichier:CARIST 2017 Ducloy Diapositive19.png|thumb|right|500px]]
Dans l'état actuel des développements, la curation de données concerne essentiellement celles qui sont relatives aux acteurs :
* auteurs,
* organisme d'affiliation,
* pays d'affiliation,
* région d'affiliation.
Les flux traités en priorité sont :
* Istex,
* Pascal et Francis
* PubMed et PubMed Central
* HAL
Des essais ont été menés sur
* HAL INRA
* ArXiv
* BHA
{{clr}}
====Pays par code ISO====
[[Fichier:CARIST 2017 Ducloy Diapositive20.png|thumb|right|500px]]
Sur Wicri/Métadonnées :
* la table [[wicri-meta.fr:ISO 3166-1|ISO 3166-1]]
Sur Wicri/Musique, 
* un document avec un code ISO à 3 caractères (en zone A66)
** {{Explor lien
   |wiki=    Wicri/Musique
   |area=    MozartV1
   |flux=    PascalFrancis
   |étape=   Corpus
   |type=    RBID
   |clé=     Francis:12-0074803
   |texte=   Chuck Tilly and Mozart
}}
* Sur HAL, un document qui contient de multiples mentions de code ISO à 3 caractères
**{{Explor lien
   |wiki=    Wicri/Musique
   |area=    MozartV1
   |flux=    Hal
   |étape=   Checkpoint
   |type=    RBID
   |clé=     Hal:hal-00452711
   |texte=   Description and evaluation of the Model for Ozone and Related chemical Tracers, version 4 (MOZART-4)
}}

{{clr}}
====Pays par listes de pays====
[[Fichier:CARIST 2017 Ducloy Diapositive21.png|thumb|right|500px]]
{{clr}}
====Curation des régions, généralités====
[[Fichier:CARIST 2017 Ducloy Diapositive22.png|thumb|right|500px]]
{{clr}}
====Les codes postaux====
[[Fichier:CARIST 2017 Ducloy Diapositive23.png|thumb|right|500px]]
{{clr}}
====Les universités====
[[Fichier:CARIST 2017 Ducloy Diapositive24.png|thumb|right|500px]]
{{clr}}

==Voir aussi==
;Notes:
<references/>