CIDE (2003) Michel
education », « Vocational», «Professional Development» (c’est à dire respectivement différents niveaux de scolarité ou formation professionnelle). La spécification permet de contrôl er l'ordre et le type de sélection des objets [SMY02e] et intègre des algorithmes complets et pré -définis de calcul des scores [SMY02f]. Ce principe est mis en place de façon à éviter les transformations et manipulations sur le document XML tout en offrant
des systèmes de notation de
référence. Les algorithmes proposés sont suffisamment larges pour limiter le recours à des adaptations trop spécifiques et ainsi plus difficilement inter échangeables. Les résultats obtenus par les participants peuvent eux auss i être caractérisés [SMY02g]. La mise en oeuvre en XML est facilitée par le « Results Reporting XML Binding » [SMY02h] et « Results Reporting Best Practices & Implementation Guide » [SMY02i] qui s'inspirent d'expériences des utilisateurs de la spécification. L’utilisateur en interaction avec un exercice (assessmen t) est appelé participant . Le modèle de données se décrit de la manière suivante. Un assessment est l’unité de base pour un test (évaluation). Une section est une enveloppe pouvant contenir des groupe s de sections et des items qui vérifient un même objectif. L ’item est un bloc contenant la question (mais également la réponse, les aides... comme nous l'avons dit précédemment). Un object bank est un ensemble de sections et/ou d’items qui peut être échangé
en tant que base de données d’objets d’évaluations. C’est au
niveau du Content Packaging [AND01a] que l’intégration peut être effectuée de manière à permettre l’échange entre applications. Ce principe est le même que pour les objets pédagogiques du curricu lum [MIC02]. En effet, selon la spécification IMS Content Packaging un package peut être organisé dans un seul fichier PIF (Package Interchange File) qui est de type archive compressée (format ZIP) pour faciliter son échange entre plates -formes. Mais un pa ckage peut également être présenté sous la forme d'un ensemble de fichiers (sur un cédérom par exemple). Un package est composé de deux parties : le manifest et les fichiers physiques. Le manifest
est un
document XML (appelé imsmanifest.xml ) qui décrit l'o rganisation du contenu ainsi que les ressources. Il est situé à la racine du package. Il est accompagné des fichiers physiques (fichiers textes, html, graphiques, vidéos) caractérisés par les éléments du LOM. Ce package est autonome et constitue une ressou rce ré -utilisable incorporable dans une plate -forme d'enseignement ou pouvant être incorporée dans un autre manifeste [AND01b] [AND01c]. Il peut être aussi simple qu'une simple image et sa description (en tant qu'objet pédagogique) que contenir un cours co mplet. De la même façon, les évaluations décrites avec QTI peuvent être incorporées dans le manifest
(donc dans le package) en étant référencées comme les autres éléments
(ressources physiques) car codées dans un fichier au format XML . 2.2. Un exemple Voyons m aintenant sur un exemple complet comment coder une question ainsi que les possibles réaction selon la réponse du participant. Nous choisissons volontairement une question simple à choix unique : Quelle est la capitale de l'Espagne ? m
Barcelone
m
Madrid
m
Valence
Figure 5 L'objectif de la question est pour l'enseignant de savoir si les connaissances du cours ont été mémorisées, et pour l'élève de connaître la capitale de l'Espagne, il se voit attribuer 3 points s'il répond Madrid.
Un message de félicitations lui est envoyé et
l'enseignant est prévenu que pour cet élève la connaissance est acquise. Il se voit attribuer -2 points s'il répond autre chose, un message d'alerte lui est envoyé, l'enseignant est prévenu qu'il doit envoyer
la carte de l'Espagne à l'élève comme
information complémentaire du cours. Il se voit attribuer –1 point s'il ne répond rien, reçoit un message d'alerte et l'enseignant est prévenu que cet élève ne travaille pas suffisamment. Avec la spécification IMS -QTI le document descriptif au format XML correspondant à cette question et aux paramètres d'apprentissage qui sont définis est: <?xml version="1.0" encoding="iso -8859 -1" ?> <questestinterop > <item ident =" 1 "> <objectives view =" Ca n d id a t e "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> Con n a issa n ce d e s ca p it a le s </mattext > </material > </objectives > <objectives view =" Tu t or "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> V a lid a t ion d e la m é m or isa t ion </mattext > </material > </objectives > <rubric view =" Ca n d id a t e "> <material > <mattext
texttype
=" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA " /> </material > </rubric > <rubric view =" Tu t or "> <material > <mattext
texttype
=" t e x t / p la in " charset =" a scii - u s " xml: lang =" f r - FRA " />
</material
> </rubric > <presentation > <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> Qu e lle e st la ca p it a le d e l' Esp a g n e ? </mattext > </material > <response_lid ident =" RLI D _ 1 " rcardinality =" Sin g le " rtiming =" N o "> <render_choice shuffle =" N o " minnumber =" 1 " maxnumber =" 1 "> <response_label ident =" RLBL_ 1 " rshuffle =" Ye s "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> Ba r ce lon e </mattext > </material > </response_label > <response_label iden t=" RLBL_ 2 " rshuffle =" Ye s "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> M a d r id </mattext > </material > </response_label > <response_label ident =" RLBL_ 3 " rshuffle =" Ye s "> <material > <mattext texttype =" t e x t / p la in " charset =" a sci i- u s " xml:lang =" f r - FRA "> V a le n ce </mattext > </material > </response_label > </render_choice > </response_lid > </presentation > <resprocessing > <outcomes > <decvar
vartype
=" I n t e g e r " defaultval =" 0 " /> </outcomes > <respcondition title =" Cor r e ct "> <conditionvar > <varequal respident =" RLI D _ 1 "> RLBL_ 2 </varequal > </conditionvar > <setvar action =" Se t "> 3 </setvar > <displayfeedback
feedbacktype
=" Re sp on se " linkrefid =" Cor r e ct El " /> <displayfeedback
feedbacktype
=" Re sp on se " linkrefid =" Cor r e ct En s " /> </respcondition > <respcondi tion title =" I n cor r e ct "> <conditionvar > <not > <varequal respident =" RLI D _ 1 "> RLBL_ 2 </varequal > </not > </conditionvar > <setvar action =" Se t "> - 2 </setvar > <displayfeedback
feedbacktype
=" Re sp on se " linkrefid =" I n cor r e ct El " /> <displayfeedback
feedbacktype
=" Re sp on se " linkrefid =" I n cor r e ct En s " /> </respcondition > <respcondition title =" U n a n s "> <conditionvar > <unanswered
respident
=" RLI D _ 1 " /> </conditionvar > <setvar action =" Se t "> - 1 </setvar > <displayfeedback
feedbacktype
=" Re sp on se " linkrefid =" U n a n sw e r e d El " /> <displ ayfeedback
feedbacktype
=" Re sp on se " linkrefid =" U n a n sw e r e d En s " /> </respcondition > </resprocessing > <itemfeedback ident =" Cor r e ct El " view =" Ca n d id a t e "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> La q u e st ion é t a it f a cile </ma ttext > </material > </itemfeedback > <itemfeedback ident =" Cor r e ct En s " view =" Tu t or "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> Con n a issa n ce a cq u ise </mattext > </material > </itemfeedback > <itemfeedback ident =" I n cor r e ct El " view =" Ca n d id a t e "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> Re v oir v ot r e cou r s su r l' Esp a g n e </mattext > </material > </itemfeedback > <itemfeedback ident =" I n cor r e ct En s " view =" Tu t or "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> M a u v a ise a cq u isit ion , e n v oy e z la ca r t e d ' Esp a g n e p a r m a il </mattext > </material > </itemfeedback > <itemfeedback ident =" U n a n sw e r e d El " view =" Ca n d id a t e "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml: lang =" f r - FRA "> Re v oir v ot r e cou r s su r le s ca p it a le s Eu r op é e n n e s </mattext > </material > </itemfeedback > <itemfeedback ident =" U n a n sw e r e d En s " view =" Tu t or "> <material > <mattext texttype =" t e x t / p la in " charset =" a scii - u s " xml:lang =" f r - FRA "> M a n q u e d e t r a v a il </mattex t> </material > </itemfeedback > </item > </questestinterop > Code XML 4 Comme nous pouvons le voir, le code nécessaire pour décrire cette question est complètement démesuré par rapport à sa brièveté et sa simplicité. Cette observation nous permet de formule r une critique fondamentale : la démarche de caractérisation de ressources d'évaluation ne sera effectivement réalisée que si l’on développe des outils logiciels de génération automatique de balises plus évolués que les éditeurs XML actuellement proposés . De nombreux outils d'édition de code XML existent aujourd'hui. Les fonctionnalités essentielles proposées sont la possibilité de visualiser le document selon son arborescence, de vérifier que le document est "bien formé", de créer ou de valider la DTD ou le schéma. Mais ces fonctionnalités ne sont pas adaptées à notre problème. Dans la copie d'écran nous donnons un aperçu de notre code dans un éditeur XML, en l'occurrence XML Notepad 6 . Figure 6 6
XML NotePad, éditeur XML de MicroSoft, version Beta 1.5
Nous le voyons
bien, les documents XML devant contenir les él
éments d'information décrivant l'évaluation doivent être produits et gérés par des applications restant à développer car les éditeurs actuellement disponibles sont incapables de le faire. La richesse et la complexité des spécifications nécessitent une inte lligence logicielle capable à la fois de générer les balises suffisantes et d’accompagner l’auteur dans sa tâche de conception de ressources pédagogiques. 3. Mise en œuvre de la spécification IMS -QTI 3.1. Présentation du prototype G -QTI Nous proposons un prototype
de génération de questionnaire
G-QTI (Générateur - QTI) conforme à IMS -QTI. Il est consultable à l'adresse :
http://www.evaluation
- online.com/enaction.html . Ce prototype, encore en cours de dév eloppement, a été créé comme un outil de découverte et d’apprentissage de la spécification IMS -QTI en travaillant par l’exemple. Il s'appuie sur des technologies de programmation de pages dynamiques de type ASP et Javascript. Ses fonctionnalités sont doubl es : - Il permet de générer le code correspondant à des questionnaires type QCM pouvant être incorporés dans des plates -formes d'e -learning disposant d’un outil d’importation conforme à IMS -QTI (exportation du document généré). - Il permet aussi de vérifier si un document d’évaluation (importation d’un document) est conforme à la norme et da ns l'affirmative de l’afficher. G-QTI s'intègre dans une plate -forme d'évaluation en ligne en cours de développement ; IntraQTI
; disponible à l'adresse http://www.evaluation
- online.com . A terme cette plate -forme comprendra, les fonctionnalités de gestion (notation, sécurisation, partage) et communication (forum, courrier, chat) classiques sur les plates -formes sécurisées d' e-learning. Son atout majeur sera la prise en compte des outils d'évaluation et le respect de la spécification QTI. 3.2. La génération de documents dans G -QTI La génération de documents d'évaluation conformes à QTI se fait grâce à une interface web présentée
sous la forme d'un formulaire de saisie. L'auteur du
questionnaire peut indiquer, pour chaque question les objectifs visés tant au niveau de l'élève que pour l'enseignant, l'énoncé de la question, le nombre de points attribués en cas de bonne, mauvaise ou absence de réponse, l'ordre des réponses et les choix de réponses possibles. Ainsi dans l'exemple ci -dessus pour la capitale de l'Espagne, l'écran de saisie sera le suivant : Figure 6 Grâce à un script ASP, le système G -QTI st ocke les paramètres saisis et les utilise pour construire le code XML correspondant Le résultat est affiché directement, l'auteur peut donc le copier et l'enregistrer dans un fichier. C'est ce fichier qui est réutilisable dans une plate -forme ou tout autre
outil logiciel conforme et permettant
l'importation de document de type QTI. Nous avons testé la validité du code XML produit automatiquement dans le cas de la question sur la capitale de l'Espagne (code XML 4 présenté dans la partie 2). Pour ce faire no us l'avons importé chez l'éditeur de logiciels QuestionMark 7
qui
annonce la conformité de leur produit Perception 8
à IMS
-QTI. Dans la copie d'écran suivante, nous pouvons voir à gauche notre code généré par G-QTI, chargé dans l'afficheur "Question Mark QTI
Xml Viewer"
9
et le résultat dans la partie droite
parfaitement lisible. Figure 7 3.3. L'importation, la vérification et l'affichage de code dans G -QTI L'interface de saisie du fichier à importer, vérifier et afficher se présente sous
la
forme d'un formulaire simple comme ci -dessous : Figure 8 Le document importé est étudié de manière à vérifier s’il est « conforme
» à la
spécification. Dans le cas favorable le document importé est alors affiché par le proto type. 3.4. Les développements futurs de G -QTI Comme nous l'avons dit les outils logiciels de génération automatique de balises doivent être plus évolués que les éditeurs XML actuellement proposés et dépasser le stade de la gestion de simples objets comme les fo rmulaires à compléter et fournir une aide réelle comme les systèmes auteurs le font. Les premiers développements de G-QTI vont dans ce sens avec la possibilité qui est donnée aux auteurs de spécifier les objectifs pédagogiques à valider par le formulaire,
les notations et les rétro
- actions à effectuer selon les questions. Les futurs développements vont concerner une prise en compte générale de la spécification IMS -QTI. 7
http://www.questionmark.com/
8
http://www.questionmark.com/fra/perception/index.htm
9
L'outil de visualisation est librement télédéchargeable depuis le site de Questionmark
<http://www.questionmark.com/perception/help/v2/q tixml.html> Ces développements seront alors repris pour intégrer la plate -forme IntraQTI d'évaluation
des connaissances en ligne. Cette plate
-forme proposera à terme les fonctionnalités suivantes : - Un forum - Un système de news (actualités) - Une gestion d'articles scientifiques publiés sur la plate -forme - Une messagerie privée entre les différents utilisateur s du système (étudiants, apprenants, concepteurs, enseignants, administrateurs) - La gestion des utilisateurs (création de comptes) - La gestion de groupes d'utilisateurs (classes, sections, groupes de travail) - La gestion des résultats des apprenants - La gestio n complète des évaluations (interroger un groupe d'étudiants, partager les tests avec d'autres concepteurs/enseignants, permettre un accès libre à certains tests) - La création des tests et incorporation dans la base de données IntraQTI - Importation et export ation avec conformité à la spécification IMS -QTI 4. Conclusion La nécessité de développer des outils d'évaluation dans des contextes ouverts s'accélère en mettant en évidence le besoin de décrire de manière stable des contenus à évolution rapide (comme pour les outils d'évaluation des connaissances dans le domaine de la bureautique par exemple). L’ajout de nouvelles caractéristiques, comme celles présentées dans IMS -QTI, est devenu nécessaire. La mise en place d'évaluations diagnostiques et formatives peut amé liorer considérablement la personnalisation des systèmes destinés à l'évaluation des connaissances dans un contexte web en leur donnant une dimension interactive et dynamique supplémentaire. Il semble alors difficile de dissocier le support de cours (conte nu pédagogique) de l'évaluation des connaissances acquises. Les deux volets doivent être envisagés de manière globale or les plates -formes pédagogiques comme WebCT 10
n'ont jusque là développé que la première partie, c'est à dire la
présentation des cours. L es éditeurs de plate -formes s'engagent de plus en plus dans réalisation de produits d'échange de contenus en conformité avec les spécifications, et en particulier QTI, de manière à permettre l'importation et l'utilisation de ressources plus élaborées que celles actuellement usuellement disponibles 11 . La spécification IMS -QTI, encore à ses débuts, est très prometteuse car elle prend en compte des contextes extrêmement variés. Paradoxalement, cette grande diversité peut être un frein à son développement, comme
cela a été le cas pour SGML, s'il n'y
a pas d'éditeur, capable d'aider à la caractérisation de ces ressources. Le prototype que nous proposons G-QTI, permet non seulement de concevoir des ressources 10
WebCT, Web Course Tools plate
-forme d'enseignement à distance largement diffusée dans le contexte universitaire : <http://www.webct.com/compagny/> 11
WebCT IMS Content Migration Utility, outil d'échange de contenus de cours et/ou
d'évaluatio ns : <http://download.webct.com/utility/1_2_2_cmu_release_notes_feb20.html> d'évaluation compatibles avec la spécification QTI mais
aussi de favoriser
l'interopérabilité en validant la conformité de ressources déjà développées et d'être un point de départ pour l'intégration des spécifications dans la plate -forme IntraQTI. La recherche
restant
à mener dans cette voie
repose sur les proc
essus d'aide à la création de ressources d'évaluation et la génération automatisée de documents. Cette génération de document d'évaluation pourra se faire en se basant sur la spécification étudiée en permettant une réutilisation dans des contextes différen ts aussi
bien
au niveau matériel (écran, environnement graphique ) qu'au niveau utilisateur (profil de l'apprenant). 5. Références bibliographiques [AIC03] AICC, Aviation Industry CBT (Computer Based Training) Committee <http://www.aicc.org> (consulté en janv ier 2003) [AND01a] Anderson T., McKell M., IMS Content Packaging Information Model, Final Specification, Version 1.1.2, IMS, août 2001 (a) [AND01b] Anderson T., McKell M., IMS Content Packaging XML Binding, Final Specification, Version 1.1.2, IMS, août 200 1 (b) [AND01c] Anderson T., McKell M., IMS Content Packaging Best Practice Guide, Final Specification, Version 1.1.2, IMS, août 2001 (c) [BOU00] Bouda Y., Hélier M., Métadonnées et XML : applications aux "objets pédagogiques", Colloque International Techno logies de l'Information et de la Communication dans les Enseignements d'Ingénieurs et dans l'industrie, 18 -20 octobre 2000, Troyes [DUV01] Duval E., Normalisation des technologies éducatives : à quoi bon ?, Hypermédias et apprentissage, 9 -11 avril 2001, Gr enoble [ELE01] eLearning
- Penser l'éducation de demain, communication de la Commission des
Communautés européennes, COM(2001) 172 final, 28 mars 2001, <http://europa.eu.int/eur -lex/fr/com/cnc/2001/com2001_0172fr01.pdf> (consulté en mars 2002) [HAD97] Hadj i C., L’évaluation démystifiée, ESF, Paris, 1997 [HAD00] Hadji C., Les voies de l’évaluation, sciences humaines n°12, février/mars 1996, texte revu et corrigé par l’auteur, décembre 2000, dans Eduquer et former, éditions sciences humaines, Jean -Claude Ruan o-Borbalan (coord. par), 2001, p. 131 -138. [HIL01] Hillmann D., Guide d'utilisation du Dublin Core, 2001, <http://www.bibl.ulaval.ca/DublinCore/usageguide -20000716fr.htm> (document consulté en janvier 2003) [LOM02] IEEE Learning Technology Standards Commit tee (LTSC) P1484.12.1 -2002 Learning Object Metadata Working Group, “Draft Standard for Learning Object Metadata”, <http://ltsc.ieee.org/doc/wg12/LOM_1484_12_1_v1_Final_Draft.pdf>, 2002 [MCK01a] McKell M., Thropp S., IMS Learning Resource Meta -Data Informat ion Model, Final Specification, Version 1.2.1, IMS, septembre 2001 [MCK01b] McKell M., Thropp S., IMS Learning Resource Meta -Data XML Binding, Final Specification, Version 1.2.1, IMS, septembre 2001 [MCK01c] McKell M., Thropp S., IMS Learning Resource Meta -Data Best Practice and Implementation Guide, Final Specification, Version 1.2.1, IMS, septembre 2001 [MIC02] Michel C., Rouissi S., Etude de l'organisation et caractérisation de l'information pédagogique pour construire des documents hypermédias adaptatif s diffusés sur le Web, Conférence Internationale sur le Document Électronique, 20 -23 octobre 2002, Hammamet (Tunisie) [NKA96] Nkambou R., " Modélisation des connaissances de la matière dans un système tutoriel intelligent, modèles, outils et applications" Thèse présentée à l’Université de Montréal en Avril 1996 [SMY02a] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability
- An Overview, Final Specification Version 1.2, IMS, février 2002
[SMY02b] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: ASI Information Model, Final Specification, Version 1.2, IMS, février 2002 [SMY02c] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: ASI XML Binding Specification, Final Specific ation, Version 1.2, IMS, février 2002 [SMY02d] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: ASI Best Practice & Implementation Guide, Final Specification, Version 1.2, IMS, février 2002 [SMY02e] Smythe C., Shepherd E., B rewer L., Lay S., IMS Question & Test Interoperability: ASI Selection & Ordering Specification, Final Specification, Version 1.2, IMS, février 2002 [SMY02f] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: ASIOutcomes Proces sing Specification, Final Specification, Version 1.2, IMS, février 2002 [SMY02g] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: Results Reporting Information Model, Final Specification, Version 1.2, IMS, février 2002 [SMY0 2h] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: Results Reporting XML Binding, Final Specification, Version 1.2, IMS, février 2002 [SMY02i] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability
Results Reporting Best Practice & Implementation Guide, Final Specification, Version 1.2, IMS, février 2002 [SMY02j] Smythe C., Shepherd E., Brewer L., Lay S., IMS Question & Test Interoperability: QTILite Specification, Final Specification, Version 1.2,
IMS, février 2002 (j
