Defining a method to evaluate collaboration is a hard and challenging issue. Billinghurst, Belchera, Guptaa & Kiyokawaa in their studies about Augmented Reality collaborative interfaces proposes three key points : - performance measures : typical performance measures include how fast a task can be completed, and the quality of the outcome of the collaboration. - process measures : objective communication measures that capture the process of collaboration extracted from transcriptions of audio and video recordings and notes made during the collaborative task : frequency of conversational turns, incidence/duration of overlapping speech, number of interruptions, turn completions, dialogue structure, back-channels... Gesture and non-verbal behaviors can also be analyzed for characteristic features. - subjective measures : based entirely on the users perception of their experience.
Defining an appropriate metrics to discriminate collaboration patterns is difficult and according to my Pierre Dillenbourg, each research group has his own metric or method of evaluation...
Below I put a discussion on the moo with Colin about that stuff. TO DO -> write a white paper about that and visit Amy Joller (Italy) and Martin Muhlenbrock (Xerox, Grenoble) >'colin tu as bosse sur les methodes d'evaluation de la collaborartion ? du genre discrimination of collaboration aptterns >'colin est-ce qu'il y a des methodes unifies, fondamentales ou c le fouilli, chaque equipe a sa metrics ? He pages, "non pas directement ... ma collegue Amy Soller a fait une these sur l'utilisation de Hidden Markov Models pour classer des sequences d'interaction en effective versus non effective" >'colin mais est-ce qu'il y aun bouquin la dessus ? genre une presentation de smethodes d'evaluation ? He pages, "pas a ma connaissance comme ca directement ... on a fait un workshop sur computational models of CSCL ... je peux te montrer les proceedings ... tetre y a des references dans les short papers" >'colin yes cool, c en version numerique ? He pages, "ca depend de ce que tu analyses, si c le dialogue y a des standards genre DISCOUNT" He pages, "http://sra.itc.it/people/soller/CSCL2002/workshop-program.html'coli" >'colin ouais merci ! He pages, "et si tu veux evaluer les patterns de qui parle a qui y a les sociogrammes" He pages, "et des metriques de p.ex. centralite d'un acteur dans le researu, des metriques de complexite etc ... Pierre a un book la dessus dans son bureau" He pages, "aka plein de formules" >'colin ok, une fois faudrais quon discute de ca et que je prenne des notes, genre que je fasse un peit white paper de synthese He pages, "oui ca serait cool de systematiser un peu" >'colin je me dis que ca peut servir, notamment pour le plan avec nokia >'colin et moi pour me fixer les idees, il faut kejecrive He pages, "sinon y a les efforts de systematisation de scripts CSCL ... DAniel K a qqchose la dessus ... mais ca c'est pas pour l'analyse c'est plus une description systematique des pratiques en XML" >'colin oui c different He pages, "Angelique Dimitracopoulou a l'approche la plus formelle je pense" >'colin et tavais pas ecris un truc la dessus avec un garsa de duisburg ? He pages, "ca c'etait plus sur les approches de regulation en CSCL ... He pages, "http://www.mmi.unimaas.nl/euro-cscl/Papers/197.pdf" >'colin ok alors c peut etre ce gars qui a ecrit un truc sur les collabraoion apatterns He pages, "un autre workshop ... mais j'y etais pas alors je peux pas dire ce qui est chaud :) http://collide.informatik.uni-duisburg.de/ecai-2000/" >'colin ok je prends note He pages, "probably ... Martin Mühlenbrock il est a xerox a Grenoble now" >'colin ca peut etre interessant daler faire un tour la bas pour voir ce qui s epasse tu pense ? He pages, "oui on devrait aller visiter ... et aussi Amy, elle est en Italie" He pages, "on va en causer a Pieeer et tetre organiser une tournee des Alpes CSCL ..."