Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test

  • Descripción del artículo
  • The writing test of the Third Comparative and Explanatory Study implemented by the Latin American Laboratory for Assessment of the Quality of Education constitutes one of the few international experiences of large-scale assessment of writing. In order to strengthen these experiences,...

    Full description

Main Author: Atorresi, Ana
Other Authors: Villegas, Frank, Pardo Adames, Carlos
Format: Artículo
Language: spa
Published: 2019
Subjects:
Online Access: http://revistas.pucp.edu.pe/index.php/educacion/article/view/21349
id 2304-4322_54806e5b725431da590a4defb1250d1c
oai_identifier_str oai:revistaspuc:article/21349
network_acronym_str 2304-4322
network_name_str Revista PUCP - Educación
spelling Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing testEvaluación de la escritura a gran escala: análisis de la prueba de escritura del Tercer Estudio Regional Comparativo y Explicativo (TERCE)Avaliação da escrita em larga escala: Análise da prova de escrita do Terceiro Estudo Comparativo e Explicativo (TERCE)Atorresi, AnaVillegas, FrankPardo Adames, CarlosPrueba de escrituraanálisis de tareasrúbricas (guías de puntuación)validezconfiabilidadThe writing test of the Third Comparative and Explanatory Study implemented by the Latin American Laboratory for Assessment of the Quality of Education constitutes one of the few international experiences of large-scale assessment of writing. In order to strengthen these experiences, the theoretical framework adopted in this test, the task applied, the rubric and the coding process are reviewed, combining qualitative and quantitative techniques. The results show problems related to validity and reliability, and allow to formulate recommendations for future international assessments of writing. These include an articulation between the theoretical framework, the objectives and the scope of the assessment, a process of thorough review of the topics and syntax of the prompts, and the use of strategies to obtain evidences of validity and reliability at the different stages of the assessment process.La prueba de escritura del Tercer Estudio Comparativo y Explicativo, implementada por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, constituye una de las pocas experiencias internacionales de evaluación a gran escala de la escritura. Para fortalecer estas experiencias, se revisan el marco teórico adoptado en dicha prueba, las consignas aplicadas, la rúbrica y el proceso de codificación, combinando técnicas cualitativas y cuantitativas. Los resultados evidencian problemas vinculados con la validez y la confiabilidad, y permiten formular recomendaciones para futuras evaluaciones internacionales de la escritura. Estas comprenden la articulación entre el marco teórico y los objetivos de la evaluación, la revisión de los temas y la sintaxis de las consignas, y el empleo de estrategias para obtener evidencias de validez y confiabilidad en las distintas etapas del proceso evaluativo.A prova de escrita do Terceiro Estudo Comparativo e Explicativo implementado pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação constitui uma das poucas experiências internacionais de avaliação em larga escala da escrita. Para fortalecer essas experiências, são revisados o marco teórico adotado na prova mencionada, as tarefas aplicadas, a rubrica e o processo de codificação, combinando técnicas qualitativas e quantitativas. Os resultados mostram problemas relacionados a validade e confiabilidade e permitem formular recomendações para futuras avaliações internacionais da escrita. Estas compreendem a articulação entre o marco teórico, os objetivos e os alcances da avaliação, a revisão dos tópicos e a sintaxe das tarefas, e o uso de estratégias para obter evidências de validade e confiabilidade nas diferentes etapas do processo de avaliação.Pontificia Universidad Católica del Perú2019-10-29info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://revistas.pucp.edu.pe/index.php/educacion/article/view/2134910.18800/educacion.201902.001Educación; Vol. 28 Núm. 55 (2019); 7-262304-43221019-9403reponame:Revista PUCP - Educacióninstname:Pontificia Universidad Católica del Perúinstacron:PUCPspahttp://revistas.pucp.edu.pe/index.php/educacion/article/view/21349/21023Derechos de autor 2019 Educaciónhttp://creativecommons.org/licenses/by/4.0info:eu-repo/semantics/openAccess2020-03-10T15:35:11Zmail@mail.com -
dc.title.none.fl_str_mv Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
Evaluación de la escritura a gran escala: análisis de la prueba de escritura del Tercer Estudio Regional Comparativo y Explicativo (TERCE)
Avaliação da escrita em larga escala: Análise da prova de escrita do Terceiro Estudo Comparativo e Explicativo (TERCE)
title Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
spellingShingle Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
Atorresi, Ana
Prueba de escritura
análisis de tareas
rúbricas (guías de puntuación)
validez
confiabilidad
title_short Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
title_full Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
title_fullStr Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
title_full_unstemmed Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
title_sort Large-scale writing assessment: analysis of the Third Regional Comparative and Explanatory Study (TERCE) writing test
dc.creator.none.fl_str_mv Atorresi, Ana
Villegas, Frank
Pardo Adames, Carlos
author Atorresi, Ana
author_facet Atorresi, Ana
Villegas, Frank
Pardo Adames, Carlos
author_role author
author2 Villegas, Frank
Pardo Adames, Carlos
author2_role author
author
dc.subject.none.fl_str_mv Prueba de escritura
análisis de tareas
rúbricas (guías de puntuación)
validez
confiabilidad
topic Prueba de escritura
análisis de tareas
rúbricas (guías de puntuación)
validez
confiabilidad
dc.description.none.fl_txt_mv The writing test of the Third Comparative and Explanatory Study implemented by the Latin American Laboratory for Assessment of the Quality of Education constitutes one of the few international experiences of large-scale assessment of writing. In order to strengthen these experiences, the theoretical framework adopted in this test, the task applied, the rubric and the coding process are reviewed, combining qualitative and quantitative techniques. The results show problems related to validity and reliability, and allow to formulate recommendations for future international assessments of writing. These include an articulation between the theoretical framework, the objectives and the scope of the assessment, a process of thorough review of the topics and syntax of the prompts, and the use of strategies to obtain evidences of validity and reliability at the different stages of the assessment process.
La prueba de escritura del Tercer Estudio Comparativo y Explicativo, implementada por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, constituye una de las pocas experiencias internacionales de evaluación a gran escala de la escritura. Para fortalecer estas experiencias, se revisan el marco teórico adoptado en dicha prueba, las consignas aplicadas, la rúbrica y el proceso de codificación, combinando técnicas cualitativas y cuantitativas. Los resultados evidencian problemas vinculados con la validez y la confiabilidad, y permiten formular recomendaciones para futuras evaluaciones internacionales de la escritura. Estas comprenden la articulación entre el marco teórico y los objetivos de la evaluación, la revisión de los temas y la sintaxis de las consignas, y el empleo de estrategias para obtener evidencias de validez y confiabilidad en las distintas etapas del proceso evaluativo.
A prova de escrita do Terceiro Estudo Comparativo e Explicativo implementado pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação constitui uma das poucas experiências internacionais de avaliação em larga escala da escrita. Para fortalecer essas experiências, são revisados o marco teórico adotado na prova mencionada, as tarefas aplicadas, a rubrica e o processo de codificação, combinando técnicas qualitativas e quantitativas. Os resultados mostram problemas relacionados a validade e confiabilidade e permitem formular recomendações para futuras avaliações internacionais da escrita. Estas compreendem a articulação entre o marco teórico, os objetivos e os alcances da avaliação, a revisão dos tópicos e a sintaxe das tarefas, e o uso de estratégias para obter evidências de validade e confiabilidade nas diferentes etapas do processo de avaliação.
description The writing test of the Third Comparative and Explanatory Study implemented by the Latin American Laboratory for Assessment of the Quality of Education constitutes one of the few international experiences of large-scale assessment of writing. In order to strengthen these experiences, the theoretical framework adopted in this test, the task applied, the rubric and the coding process are reviewed, combining qualitative and quantitative techniques. The results show problems related to validity and reliability, and allow to formulate recommendations for future international assessments of writing. These include an articulation between the theoretical framework, the objectives and the scope of the assessment, a process of thorough review of the topics and syntax of the prompts, and the use of strategies to obtain evidences of validity and reliability at the different stages of the assessment process.
publishDate 2019
dc.date.none.fl_str_mv 2019-10-29
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://revistas.pucp.edu.pe/index.php/educacion/article/view/21349
10.18800/educacion.201902.001
url http://revistas.pucp.edu.pe/index.php/educacion/article/view/21349
identifier_str_mv 10.18800/educacion.201902.001
dc.language.none.fl_str_mv spa
language spa
dc.relation.none.fl_str_mv http://revistas.pucp.edu.pe/index.php/educacion/article/view/21349/21023
dc.rights.none.fl_str_mv Derechos de autor 2019 Educación
http://creativecommons.org/licenses/by/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Derechos de autor 2019 Educación
http://creativecommons.org/licenses/by/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontificia Universidad Católica del Perú
publisher.none.fl_str_mv Pontificia Universidad Católica del Perú
dc.source.none.fl_str_mv Educación; Vol. 28 Núm. 55 (2019); 7-26
2304-4322
1019-9403
reponame:Revista PUCP - Educación
instname:Pontificia Universidad Católica del Perú
instacron:PUCP
reponame_str Revista PUCP - Educación
collection Revista PUCP - Educación
instname_str Pontificia Universidad Católica del Perú
instacron_str PUCP
institution PUCP
repository.name.fl_str_mv -
repository.mail.fl_str_mv mail@mail.com
_version_ 1660791848166227968
score 12.54837

Nota importante:
La información contenida en este registro es de entera responsabilidad de la institución que gestiona el repositorio institucional donde esta contenido este documento o set de datos. El CONCYTEC no se hace responsable por los contenidos (publicaciones y/o datos) accesibles a través del Repositorio Nacional Digital de Ciencia, Tecnología e Innovación de Acceso Abierto (ALICIA).