Hostname: page-component-7b7567c8c-48dgx Total loading time: 0 Render date: 2026-11-18T00:54:06.645Z Has data issue: false hasContentIssue false

A new way to look at simulation-based assessment: the relationship between gaze-tracking and exam performance

Published online by Cambridge University Press:  21 June 2018

Adam Szulewski*
Affiliation:
Department of Emergency Medicine, Queen’s University, Kingston, ON
Rylan Egan
Affiliation:
Office of Health Sciences Education, Queen’s University, Kingston, ON
Andreas Gegenfurtner
Affiliation:
Researcher, Technische Hochschule Deggendorf, Deggendorf, Germany
Daniel Howes
Affiliation:
Department of Emergency Medicine, Queen’s University, Kingston, ON
Gerhard Dashi
Affiliation:
School of Medicine, Queen’s University, Queen’s University, Kingston, ON
Nick C. J. McGraw
Affiliation:
Faculty of Medicine, University of Toronto, Toronto, ON
Andrew K. Hall
Affiliation:
Department of Emergency Medicine, Queen’s University, Kingston, ON
Damon Dagnone
Affiliation:
Department of Emergency Medicine, Queen’s University, Kingston, ON
Jeroen J. G. van Merrienboer
Affiliation:
Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.
*
Correspondence to: Dr. Adam Szulewski; Assistant Professor, Department of Emergency Medicine, Queen’s University, Kingston General Hospital, Victory 3, 76 Stuart Street, Kingston, ON K7L 2V7; Email: aszulewski@qmed.ca

Abstract

Objective

A key task of the team leader in a medical emergency is effective information gathering. Studying information gathering patterns is readily accomplished with the use of gaze-tracking glasses. This technology was used to generate hypotheses about the relationship between performance scores and expert-hypothesized visual areas of interest in residents across scenarios in simulated medical resuscitation examinations.

Methods

Emergency medicine residents wore gaze-tracking glasses during two simulation-based examinations (n=29 and 13 respectively). Blinded experts assessed video-recorded performances using a simulation performance assessment tool that has validity evidence in this context. The relationships between gaze patterns and performance scores were analyzed and potential hypotheses generated. Four scenarios were assessed in this study: diabetic ketoacidosis, bradycardia secondary to beta-blocker overdose, ruptured abdominal aortic aneurysm and metabolic acidosis caused by antifreeze ingestion.

Results

Specific gaze patterns were correlated with objective performance. High performers were more likely to fixate on task-relevant stimuli and appropriately ignore task-irrelevant stimuli compared with lower performers. For example, shorter latency to fixation on the vital signs in a case of diabetic ketoacidosis was positively correlated with performance (r=0.70, p<0.05). Conversely, total time spent fixating on lab values in a case of ruptured abdominal aortic aneurysm was negatively correlated with performance (r= −0.50, p<0.05).

Conclusions

There are differences between the visual patterns of high and low-performing residents. These findings may allow for better characterization of expertise development in resuscitation medicine and provide a framework for future study of visual behaviours in resuscitation cases.

Résumé

Objectif

Une des tâches importantes du chef d’équipe en médecine d’urgence est la collecte efficace de renseignements, et le port de lunettes de monitorage oculaire permet d’étudier rapidement et facilement les différents modes de collecte visuelle de renseignements. Les chercheurs ont donc eu recours à cette technique pour émettre des hypothèses selon lesquelles il existerait une relation entre la performance des résidents et la saisie de champs visuels d’intérêt présumés tels par des experts, dans des scénarios d’examen de réanimation axés sur la simulation, en médecine.

Méthode

Des résidents en médecine d’urgence ont porté des lunettes de monitorage oculaire au cours de deux séances d’examen par simulation (n=29 et n=13, respectivement). Des experts tenus dans l’ignorance ont évalué le comportement des résidents enregistré sur vidéo, à l’aide d’un outil d’évaluation de la performance axée sur la simulation, dont la validité avait déjà fait ses preuves dans le contexte. Il y a eu analyse de relations entre la collecte visuelle de renseignements et la performance ainsi qu’émission d’hypothèses. Quatre scénarios ont été évalués dans l’étude : l’acidocétose diabétique, une bradycardie consécutive à un surdosage de bêta-bloquants, une rupture d’anévrisme de l’aorte abdominale et une acidose métabolique causée par la consommation d’antigel.

Résultats

Des corrélations ont été établies entre certaines manières de recueillir visuellement les renseignements et la performance objective. Ainsi, ceux qui ont le mieux réussi avaient davantage tendance à se concentrer sur les stimulus pertinents, relatifs aux tâches et à ne pas tenir compte, à juste titre, des stimulus non pertinents comparativement à ceux qui ont moins bien réussi. Par exemple, un temps d’attente raccourci dans la collecte visuelle de renseignements sur les signes vitaux dans le cas de l’acidocétose diabétique s’est révélé en corrélation positive avec la performance (r=0,70; p<0,05), tandis que le temps total écoulé à glaner des renseignements sur les résultats d’examens de laboratoire dans le cas de la rupture d’anévrisme de l’aorte abdominale était en corrélation négative avec la performance (r=−0,50; p<0,05).

Conclusion

Il existe donc des différences entre la manière de glaner visuellement les renseignements et la performance, bonne ou mauvaise, des résidents. Les résultats pourraient permettre une meilleure caractérisation de l’acquisition de la compétence en matière de médecine de réanimation, et fournir un cadre de travail en vue d’études futures sur les comportements visuels dans les cas de réanimation.

Information

Type
Original Research
Copyright
Copyright © Canadian Association of Emergency Physicians 2018 
Figure 0

Figure 1A third year resident’s gaze fixations within the first minute of a simulation. The numbers represent the order in which the resident looked at each area of interest and the size of the circle represents the relative time spent fixating on each of these points.

Figure 1

Figure 2A third year resident’s gaze fixations within the first minute of a simulation. The colours represent a heat map, where red represents more fixations for a longer duration, followed by yellow and green areas, which represent fewer fixations.

Figure 2

Table 1.Measured gaze-tracking fixation areas

Figure 3

Table 2.Number of participants by level of training and simulated case for the analyzed data

Figure 4

Table 3.Correlations between selected gaze indicators and the average score in S1 (diabetic ketoacidosis)

Figure 5

Table 4.Correlations between selected gaze indicators and the average score in S3 (ruptured AAA)

Figure 6

Table 5.Correlations between selected gaze indicators and the average score in S4 (metabolic acidosis)

Supplementary material: File

Szulewski et al. supplementary material

Appendix S1

Download Szulewski et al. supplementary material(File)
File 15.2 KB
Supplementary material: File

Szulewski et al. supplementary material

Appendix S2

Download Szulewski et al. supplementary material(File)
File 19.7 KB
Supplementary material: File

Szulewski et al. supplementary material

Appendix S3

Download Szulewski et al. supplementary material(File)
File 15.1 KB
Supplementary material: File

Szulewski et al. supplementary material

Appendix S4a-S4c

Download Szulewski et al. supplementary material(File)
File 26.6 KB