Transfert du réseau Wicri et du démonstrateur LorExplor

Le transfert du réseau Wicri sur le site LorExplor a représenté une activité importante en 2017 pour le projet Wicri.

Historiquement le premier réseau Wicri avait été créé, en 2008, au sein du Loria, dans un contexte très expérimental. Grâce à un ensemble de soutiens au sein des universités lorraines et de ses partenaires, le réseau a bénéficié, en mai 2010, d'une configuration propre hébergée sur le réseau de l'INPL puis de l'Université de Lorraine. Malheureusement, pour un problème technique (ancienne version du système Unix) son évolution était bloquée depuis quelques années.

Dans le paysage introduit par le programme ISTEX, le projet LorExplor a mis en évidence l'intérêt de machines virtuelles pour l'exploration de corpus. Or la solution LorExplor repose sur l'infrastructure du réseau Wicri. Les comités ISTEX ont donc soutenu la mise à disposition d'une machine virtuelle pour héberger le « démonstrateur LorExplor ».

Cette page présente les diverses actions qui ont été entreprises dans le cadre du transfert de ce démonstrateur.

Portage de la bibliothèque Dilib

Le sigle DILIB signifie "Data & Information LIBrary". Il identifie une bibliothèques de composants logiciels, basé sur une approche XML, pour les applications liées aux documents et au traitement des connaissances scientifiques, culturelles ou techniques.

Le portage de cette bibliothèque a été la première action réalisée dans le cadre du transfert.

Les aspects purement informatiques n'ont posé aucune difficulté. En revanche, la gestion des données collectées sur le réseau de wikis pose des problèmes de cohérence de liens que l'on va retrouver dans toutes les étapes suivantes.

Installation d'un noyau MediaWiki en version 1.28

Une retombée très intéressante de ce transfert est bien entendu la possibilité de bénéficier des dernières versions des logiciels utilisés.

Le réseau Wicri repose sur une architecture MediaWiki. Il a été choisi de s'appuyer sur la version officielle la plus récente (1.28). Un premier noyau de wikis a été mis en place avec principalement :

• le wiki Wicri/Base 1.28, référentiel des modèles utilisés dans le Réseau Wicri,
• le wiki Wicri/Source, ce wiki, point d'entrée du réseau,
• le wiki Wicri/Pool LorExplor comme base commune pour les images et l'iconographie du réseau,
• deux nouveaux wikis Wicri/Canada et Wicri/Ingénierie.

Cet ensemble a fait l'objet d'une démonstration publique le 8 mai, à l'occasion du congrès de l'Acfas à Montréal.

Transfert du réseau de wikis

Après un ensemble de tests sur ce noyau, le portage de l'ensemble des wikis a démarré dans une approche pragmatique, en commençant par les wikis les moins volumineux. Le petit réseau en langue portugaise a servi de banc d'essai. Il a été suivi par les wikis en allemand et en anglais.

Le transfert du réseau des wikis communs en français a été mené ensuite. Le wiki le plus volumineux (Wicri/Lorraine) a été transféré le 21 juillet.

Nous avons rencontré deux types de difficultés : la mise à niveau des wikis et le maintien de la cohérence des liens interwikis.

Mise à niveau des wikis

Des problèmes de cohérence entre les versions MySql, Php et MediaWiki nous ont imposé de mener simultanément la mise à niveau des wikis et leur portage.

La mise à niveau concerne un saut important entre les version 1.16 et 1.28 de MediaWiki (8 ans...). Tous les modèles utilisés sur l'ensemble du réseau ont été d'abord adaptés sur « Wicri/Base 1.28 ».

Le portage proprement dit s'est déroulé en plusieurs étapes :

1. installation, ex nihilo, d'un wiki vide avec son ensemble d'extensions,
2. installation des modèles, catégories générales et déclaration d'attributs, à partir de « Wicri/Base 1.28 »,
3. repérage et installation des modèles ou catégories spécifiques (à partir du site Ticri),
4. portage des pages de contenu (avec leur historique).

Pour un wiki, le temps effectif d'une telle procédure est très variable. Il pourrait théoriquement être réalisé en 20 minutes oar un opérateur entraîné. La moindre difficulté rencontrée ajoute une dizaine de minutes. Le temps prévisible est donc plus proche d'une heure, avec des débordements pouvant atteindre une journée pour certains wikis.

Maintien de la cohérence des liens interwikis

Cette opération est théoriquement assez simple. En effet, une fois le wiki installé, il suffit de modifier des entrées dans des tables pour rétablir la cohérence des liens interwikis. Si tout va bien, on peut donc espérer réaliser ce type d'opérations en quelques minutes.

Là encore, l'expérience montre trois types de difficultés :

• les liens inter-langues rajoutent, de façon combinatoire, des modifications complémentaires.
• une restriction sur la version 1.28 limite la longueur des codes des liens interwikis. Il s'agit par exemple de wicri-informatique.fr qui a du être converti entre « wic-informatique.fr ».
• la normalisation, interne au réseau Wicri, du codages des liens a évolué sur le réseau Wicri.

Compte tenu de problèmes de même type avec les serveurs d'exploration, nous avons donc choisi de ne pas chercher, en temps réel, à résoudre le cohérence des liens entre les 2 réseaux.

Transfert des serveurs d'explorations

Les 2 serveurs du bureau des longitudes, les 2 wikis, sur les 2 sites

Cette action a démarré en parallèle avec les précédentes.

Le serveur sur Aussois a servi de banc d'essai (le 21 avril).

Cette expérience a mis en évidence des problèmes de cohérence des liens entre un serveur et les wikis sur lesquels il est paramétré ou discuté.

Une étude a ensuite été menée sur la possibilité de migrer les serveurs de façon totalement transparente pour l'internaute ; autrement dit en cherchant à conserver une cohérence de liens. Un essai a donc été réalisé, avec un serveur sur le « Bureau des longitudes ». Il a montré qu'il était possible de maintenir un très haut niveau de cohérence mais que cette action était relativement coûteuse. Là encore, pour des questions de délais, nous n'avons pas cherché à maintenir cette cohérence.

D'autant plus que le transfert des serveurs a mis en évidence une autre difficulté, liée au caractère expérimental du projet LorExplor : les différences de version des serveurs. En effet, la procédure de génération a constamment évoluée au cours des 5 dernières années et le mode de paramétrage des « vieux serveurs » n'est plus compatible avec les nouvelles versions de Dilib.

Ce type de difficulté est très marquant sur les liens concernant les cartes de projections géographiques. En effet, sur le site Ticri, nous avions choisi une procédure basée sur des ré-écritures d'url, à base de fichiers htaccess qui est maintenant fortement déconseillée. Nous avons trouvé une autre solution, mais qui impose une modification de la génération des modèles de cartes.

Nous avons donc opté pour un traitement différencié des serveurs.

Un premier ensemble, les wikis utilisés pour les dernières séances de travaux dirigés, a été traité de façon rigoureuse. Une liste de serveurs portés avec un niveau de qualité comparable à celle du site Ticri est visible sur la page :

• Serveur d'exploration

Tous les autres serveurs ont été portés avec un niveau d'exigence plus modeste. Nous avons fait en sorte que les liens de navigation à partir des cartouches d'icônes fonctionnent mais sans chercher à résoudre, dans un premier temps, les autres problèmes de cohérence. Une liste interne de ces serveurs figurent sur une page interne de suivi de ce transfert :

• Projets:Migration des serveurs d'exploration

Remarques concernant a gestion des problèmes de cohérence

Le portage de cette infrastructure a donc demandé environ 4 mois d'intervention avec un résultat mitigé sur la qualité finale des serveurs. Pour une vision plus objective des qualités de la solution expérimentée, il convient de situer cette action dans son contexte plus général.

Le projet LorExplor a été initialement monté en réponse à une demande formulée par la direction de l'INIST pour un projet collectif « ambitieux » entre cette unité et l'Université de Lorraine. Elle impliquait la mise en place d'une équipe de plusieurs personnes à temps plein.

Nous avons donc proposé de réaliser un prototype d'une cyberinfrastructure qui aurait pu être opéré par l'INIST avec un vaste réseau de coopérations. Nous avions envisagé une approche « à la Wikipédia » mais au sein des organismes de recherche (contributeurs identifiés), avec un traitement simultané de la plupart des problèmes de gestion des données et connaissances de la recherche.

Ce projet n'a pas été retenu dans l'état, et les comités ISTEX nous ont invité à travailler sur un démonstrateur plus réduit. De mon côté, j'ai quand même tenu à expérimenter nos propositions (d'où l'amplitude du réseau et le nombre de démonstrations).

Il faut donc imaginer ce transfert dans une approche impliquant plusieurs équipes, et sur une durée de plusieurs années. Plus précisément pour une équipe impliquée dans 2 familles de wikis avec une dizaine de serveurs, la charge de telles opérations ne représente que quelques jour (5 à 15) sur 2 à 3 ans.

                  Jacques Ducloy (discussion) 7 août 2017 à 15:15 (CEST)

Voir aussi

Notes