Confidence judgments in real classroom settings: Monitoring performance in different types of tests

Authors:
Moisés Kirk de Carvalho Filho
Published Online:
17 Mar 2009
DOI:
10.1080/00207590701436744
Pages:
93–108
Volume/Issue No:
Volume 44 Issue 2

Additional Options

During testing, students have a valuable opportunity to exercise and improve their self‐regulatory skills. However, the extent to which they profit from those experiences may vary according to some personal, test‐related, and environmental factors. This study investigated the effects of metacognitive skills and test types on students' test performances, confidence judgments, and on the accuracy of those judgments. A sample of 129 psychology undergraduate students (50 men and 79 women, mean age = 18.9 years) were categorized according to their metacognitive skills (high vs average vs low) and had their test performances and monitoring processes in two different types of tests (i.e., multiple‐choice and short‐answer tests) compared throughout one academic term. Their test preparation practices, along with their attributional and regulatory processes during test‐taking, were also compared by using open‐ended questions. The results showed that: (1) high‐metacognitive students presented more effective test preparation practices, better test performances, and superior attributional, regulatory, and monitoring processes than their counterparts; (2) differences in performance and judgment accuracy were significantly larger in the short‐answer tests than in the multiple‐choice tests; and (3) over time, students' performances and confidence levels varied in specific patterns according to the type of test being taken. The results are discussed, focusing on the educational implications of the interactions observed and on how they may determine what students can learn from test‐taking experiences. In addition, based on the results obtained, specific suggestions on how to increase the metacognitive awareness of university students through instruction and on how to improve their academic assessment are provided.

Pendant l'examen, les étudiants ont une excellente opportunité pour pratiquer et améliorer leurs compétences auto‐régulatoires. Cependant, le degré auquel ils profitent de ces expérences peut varier en fonction de quelques facteurs personnels, de facteurs liés au test et de ceux liés à l'environnement. Cette étude a examiné les effets des compétences métacognitives et les types de test sur la performance des étudiants au test, sur les jugements de confiance et sur la justesse de ces jugements. Un échantillon de 129 étudiants non‐gradués en psychologie (50 hommes et 79 femmes, âge moyen  =  18.9) ont été catégorisés en fonction de leurs compétences métacognitives (élevées vs. moyennes vs. faibles) et leur performances au test et l’évaluation de leurs processus à deux différents types de tests (i.e., à choix multiple et questions à court développement) ont été comparées tout au long d'une session académique. Leurs pratiques de préparation au test ainsi que leurs processus attributionnels et régulatoires pendant l'examen ont été comparés à l'aide de questions semi‐ouvertes. Les résultats ont indiqué que: (1) les étudiants avec une métacognition élevée ont présenté plus de pratiques de préparation au test qui étaient efficaces, de meilleures performances au test et des processus attributionnels, régulatoires et des processus de surveillance supérieurs, en comparaison à leurs homologues; (2) les différences dans la performance et dans la justesse des jugements étaient significativement plus grandes dans les tests sous forme de questions à court développement que dans ceux sous forme de questions à choix multiple et (3) au fil du temps, les peformances des étudiants et les niveaux de confiance ont varié suivant des patrons spécifiques selon le type de test à passer. Les résultats sont discutés en se centrant sur les implications éducatives des interactions observées et sur comment elles peuvent déterminer ce que les étudiants peuvent apprendre des expériences de passer des tests. De plus, en s'appuyant sur les résultats obtenus, nous présentons des suggestions spécifiques sur comment augmenter la conscience métacognitive des étudiants universitaires à travers l'instruction et sur comment améliorer leur évaluation académique.

Cuando se pasan los tests, los estudiantes tienen la gran oportunidad de practicar y mejorar sus habilidades de auto‐regulación. Sin embargo, el grado de beneficio de estas experiencias puede variar según algunos factores personales, relacionados con los tests y ambientales. Este studio analiza el efecto de las habilidades metacognitivas y tipos de tests sobre la ejecución de los estudiantes, juicios de confianza y la exactitud de estos juicios. La muestra de 129 estudiantes de grado de psicología (50 hombres y 79 mujeres, media de edad  =  18,9 años) fue dividida según las habilidades metacognitivas (altas vs. medias vs. bajas). La ejecución en los tests y el proceso de supervisión se comprobó en dos tipos de tests distintos (ej. Elección múltiple y preguntas cortas) comparados a través de un término académico. Sus prácticas de preparación para los tests junto con los procesos atribucionales y regulatorios durante la realización de los tests fueron comparados mediante preguntas abiertas. Los resultados demostraron que: (1) los estudiantes altos en habilidades metacognitivas presentaron las prácticas de preparación para los tests más efectivas, mejor ejecución y mejores procesos atribucionales, regulatorios y de supervisión en comparación con sus compañeros, (2) las diferencias en ejecución y la exactitud de juicios fueron significativamente mayores en los tests de preguntas cortas que en los de elección múltiple, (3) a lo largo del tiempo la ejecución de los estudiantes y los niveles de confianza variaban en los patrones específicos según el tipo de test que se realizó. Los resultados se discuten centrándose en las implicaciones educativas de las interacciones observadas y en cómo pueden éstos determinar que los estudiantes pueden aprender de la experiencia de realizar un test. Adicionalmente, basándose en los resultados obtenidos, se proporciona sugerencias específicas de cómo incrementar el conocimiento metacognitivo de los estudiantes mediante instrucción mejorando la valoración académica.

© 2009 International Union of Psychological Science