Рандомизированные тесты по философии: опыт использования и статистический анализ

Демин Максим Ростиславович
Национальный Исследовательский Университет «Высшая школа экономики»

Рандомизированные тесты по философии: опыт использования и статистический анализ

Аннотация. В статье описывается опыт применения рандомизированных онлайн-тестов в курсе философии. На основе двух контрольных тестов, выполненных 172 студентами, демонстрируется эффективность методов статистического анализа для измерения успеваемости, а также оценки качества самих тестовых заданий.
Рассматривается четыре критерия: валидность полученных результатов на основе гипотезы нормальности распределения правильных ответов; расчет надежности теста (коэффициент Спирмена-Брауна); индекс трудности и индекс дискриминативности, рассчитываемые для каждого конкретного задания. В ходе постэкзаменационного анализа на примере четырех заданий теста показано, какие вопросы оказались эффективными, а какие требуют дальнейшей доработки. Делается вывод, что тестовые задания не только значимы для оценивания студентов, но и должны рассматриваться как важный элемент обратной связи, а именно – данные, полученные в ходе решения студентами теста, могут быть использованы для последующей корректировки заданий.

Ключевые слова: философия, анализ заданий (item analy­sis), вопросы с множественным выбором, постэкзаменационный анализ (post-hoc review), рандомизированные тесты

DOI: 10.5840/dspl20203329

Список литературы:

  1. Аванесов В. С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. 3 изд., доп. М.: Центр тестирования, 2002. 238 c.
  2. Давыдова О. В., Михалева Т. Г. Разработка педагогических тестов по истории. М.: ВАКО, 2013. 189 c.
  3. Дюпре Б. Философия. 50 идей, о которых нужно знать / пер. с англ. М. Александровой. М.: Phan­tom press, 2014. 207 с.
  4. Кейс С. М., Свенсон Д. Б. Создание письменных тестовых вопросов по базисным и клиническим дисциплинам / пер. с англ. Э. Боровик. Национальный Совет Медицинских Экзаменаторов. Филадельфия, 1996. URL: https://www.testcentr.org.ua/books/sozdaniye-pismennykh-testovykh-voprosov.pdf (дата обращения: 04.09.2020)
  5. Крокер Л., Алгина Д. Введение в классическую и современную теорию тестов: Учебник / пер. с англ. под общ. ред. В.И. Звонникова, М.Б. Челышковой. М.: Логос, 2010. 668 с.
  6. Лоу С. Философский Тренинг / пер. с англ. А.Л. Никифорова. М.: Аст, 2007. 350 с.
  7. Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. 351 c.
  8. Нагель Т. Что все это значит? Очень краткое введение в философию / пер. с англ. А. Толстова. М.: Идея-Пресс, 2000. 83 c.
  9. Сэндел М. Справедливость. Как поступать правильно? / пер. с англ. А. Калинина. М.: Манн, Иванов и Фербер, 2013. 338 c.
  10. Burke B. L., Sears S. R., Kraus S., Roberts-Cady S. Crit­i­cal analy­sis: a com­par­i­son of crit­i­cal think­ing changes in psy­chol­o­gy and phi­los­o­phy class­es // Teach­ing of Psy­chol­o­gy. 2014. Vol. 41. No 1. P. 28–36. doi: 10.1177/0098628313514175
  11. Erick­son B. L., Peters C. B., Strom­mer D. W., Erick­son B. L. Teach­ing First-year Col­lege Stu­dents / rev. and expand­ed ed. San Fran­cis­co, CA: Jossey-Bass, 2006. 284 p.
  12. Hal­a­dy­na T. M., Down­ing S. M., Rodriguez M. C. A review of mul­ti­ple-choice item-writ­ing guide­lines for class­room assess­ment // Applied Mea­sure­ment in Edu­ca­tion. 2002. Vol. 15. No 3. P. 309–333. doi:10.1207/S15324818AME1503_5
  13. Impara J. C., Fos­ter D. Item and test devel­op­ment strate­gies to min­i­mize test fraud // Hand­book of Test Devel­op­ment. L.: Rout­ledge, 2013. P. 91–114.
  14. Lane S., Ray­mond M. R., Hal­a­dy­na T. M. (eds.). Hand­book of Test Devel­op­ment / 2nd ed. L.: Rout­ledge, 2015. 659 p.
  15. Mertler C. A. The data-dri­ven class­room: How do I use stu­dent data to improve my instruc­tion? Alexan­dria, VA: ASCD, 2014. 42 p.
  16. Parkes J., Zim­maro D. Learn­ing and Assess­ing with Mul­ti­ple-choice Ques­tions in Col­lege Class­rooms. L.: Rout­ledge, 2016. 138 p.
  17. Rudolph M. J., Daugh­er­ty K. K., Ray M. E., Shu­ford V. P., Lebovitz L., DiVall M. V. Best prac­tices relat­ed to exam­i­na­tion item con­struc­tion and post-hoc review // Amer­i­can Jour­nal of Phar­ma­ceu­ti­cal Edu­ca­tion. 2019. Vol. 83. No 7. P. 1492–1503. doi: 10.5688/ajpe7204
  18. Sec­ol­sky C., Deni­son D. B. (eds.) Hand­book on Mea­sure­ment, Assess­ment, and Eval­u­a­tion in High­er Edu­ca­tion / 2nd ed. L.: Rout­ledge, 2017. 680 p.

Комментарии запрещены.