Демин Максим Ростиславович
Национальный Исследовательский Университет «Высшая школа экономики»
Рандомизированные тесты по философии: опыт использования и статистический анализ
Аннотация. В статье описывается опыт применения рандомизированных онлайн-тестов в курсе философии. На основе двух контрольных тестов, выполненных 172 студентами, демонстрируется эффективность методов статистического анализа для измерения успеваемости, а также оценки качества самих тестовых заданий.
Рассматривается четыре критерия: валидность полученных результатов на основе гипотезы нормальности распределения правильных ответов; расчет надежности теста (коэффициент Спирмена-Брауна); индекс трудности и индекс дискриминативности, рассчитываемые для каждого конкретного задания. В ходе постэкзаменационного анализа на примере четырех заданий теста показано, какие вопросы оказались эффективными, а какие требуют дальнейшей доработки. Делается вывод, что тестовые задания не только значимы для оценивания студентов, но и должны рассматриваться как важный элемент обратной связи, а именно – данные, полученные в ходе решения студентами теста, могут быть использованы для последующей корректировки заданий.
Ключевые слова: философия, анализ заданий (item analysis), вопросы с множественным выбором, постэкзаменационный анализ (post-hoc review), рандомизированные тесты
DOI: 10.5840/dspl20203329
Список литературы:
- Аванесов В. С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. 3 изд., доп. М.: Центр тестирования, 2002. 238 c.
- Давыдова О. В., Михалева Т. Г. Разработка педагогических тестов по истории. М.: ВАКО, 2013. 189 c.
- Дюпре Б. Философия. 50 идей, о которых нужно знать / пер. с англ. М. Александровой. М.: Phantom press, 2014. 207 с.
- Кейс С. М., Свенсон Д. Б. Создание письменных тестовых вопросов по базисным и клиническим дисциплинам / пер. с англ. Э. Боровик. Национальный Совет Медицинских Экзаменаторов. Филадельфия, 1996. URL: https://www.testcentr.org.ua/books/sozdaniye-pismennykh-testovykh-voprosov.pdf (дата обращения: 04.09.2020)
- Крокер Л., Алгина Д. Введение в классическую и современную теорию тестов: Учебник / пер. с англ. под общ. ред. В.И. Звонникова, М.Б. Челышковой. М.: Логос, 2010. 668 с.
- Лоу С. Философский Тренинг / пер. с англ. А.Л. Никифорова. М.: Аст, 2007. 350 с.
- Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. 351 c.
- Нагель Т. Что все это значит? Очень краткое введение в философию / пер. с англ. А. Толстова. М.: Идея-Пресс, 2000. 83 c.
- Сэндел М. Справедливость. Как поступать правильно? / пер. с англ. А. Калинина. М.: Манн, Иванов и Фербер, 2013. 338 c.
- Burke B. L., Sears S. R., Kraus S., Roberts-Cady S. Critical analysis: a comparison of critical thinking changes in psychology and philosophy classes // Teaching of Psychology. 2014. Vol. 41. No 1. P. 28–36. doi: 10.1177/0098628313514175
- Erickson B. L., Peters C. B., Strommer D. W., Erickson B. L. Teaching First-year College Students / rev. and expanded ed. San Francisco, CA: Jossey-Bass, 2006. 284 p.
- Haladyna T. M., Downing S. M., Rodriguez M. C. A review of multiple-choice item-writing guidelines for classroom assessment // Applied Measurement in Education. 2002. Vol. 15. No 3. P. 309–333. doi:10.1207/S15324818AME1503_5
- Impara J. C., Foster D. Item and test development strategies to minimize test fraud // Handbook of Test Development. L.: Routledge, 2013. P. 91–114.
- Lane S., Raymond M. R., Haladyna T. M. (eds.). Handbook of Test Development / 2nd ed. L.: Routledge, 2015. 659 p.
- Mertler C. A. The data-driven classroom: How do I use student data to improve my instruction? Alexandria, VA: ASCD, 2014. 42 p.
- Parkes J., Zimmaro D. Learning and Assessing with Multiple-choice Questions in College Classrooms. L.: Routledge, 2016. 138 p.
- Rudolph M. J., Daugherty K. K., Ray M. E., Shuford V. P., Lebovitz L., DiVall M. V. Best practices related to examination item construction and post-hoc review // American Journal of Pharmaceutical Education. 2019. Vol. 83. No 7. P. 1492–1503. doi: 10.5688/ajpe7204
- Secolsky C., Denison D. B. (eds.) Handbook on Measurement, Assessment, and Evaluation in Higher Education / 2nd ed. L.: Routledge, 2017. 680 p.