Анализ результатов тестирования и качества тестов при сертификации специалистов по неразрушающему контролю

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Анализируются результаты квалификационных экзаменов при сертификации персонала по неразрушающему контролю акустическими, магнитным и вихретоковым методами объектов железнодорожного транспорта. Проанализировано влияние уровня образования, стажа работы, возраста кандидатов на результат прохождения квалификационных экзаменов. Проведен анализ результатов общего и специального экзамена по неразрушающему контролю вихретоковым методом за 2021 и 2022 годы на выявление экстремальных вопросов теста. По методу Раша проведен анализ соответствия трудности тестовых заданий уровню подготовленности кандидатов на сертификацию. Построены характеристические кривые трудности тестовых заданий и характеристические кривые обученности тестируемых. По результатам анализа выявлены тестовые задания с завышенным и заниженным логитами трудности задания по сравнению с логитом обученности кандидатов. Оценено соответствие трудности теста уровню подготовленности персонала и равномерность распределения заданий по трудности. Рассчитан требуемый логит обученности кандидата на сертификацию для успешного прохождения тестов общего и специального экзамена.

Полный текст

Доступ закрыт

Об авторах

В. В. Муравьев

ФГБОУ ВО ИжГТУ имени М.Т. Калашникова; ФГБУН «УдмФИЦ УрО РАН»

Автор, ответственный за переписку.
Email: vmuraviev@mail.ru
Россия, 426069 Ижевск, ул. Студенческая, 7; 426067 Ижевск, ул. им. Татьяны Барамзиной, 34

Л. В. Волкова

ФГБОУ ВО ИжГТУ имени М.Т. Калашникова

Email: vmuraviev@mail.ru
Россия, 426069 Ижевск, ул. Студенческая, 7

О. В. Муравьева

ФГБОУ ВО ИжГТУ имени М.Т. Калашникова; ФГБУН «УдмФИЦ УрО РАН»

Email: vmuraviev@mail.ru
Россия, 426069 Ижевск, ул. Студенческая, 7; 426067 Ижевск, ул. им. Татьяны Барамзиной, 34

С. А. Мурашов

ФГБОУ ВО ИжГТУ имени М.Т. Калашникова

Email: vmuraviev@mail.ru
Россия, 426069 Ижевск, ул. Студенческая, 7

Список литературы

  1. Berrío Angela I., Gomez-Benito J., Arias E.M. Developments and Trends in Research on Methods of Detecting Differential Item Functioning // Educational Research Review. 2020. V. 31. P. 100340. doi: 10.1016/j.edurev.2020.100340
  2. Boon H.J., Lewthwaite B. Development of an Instrument to Measure a Facet of Quality Teaching: Culturally Responsive Pedagogy // International Journal of Educational Research. 2015. V. 72. P. 38—58. doi: 10.1016/j.ijer.2015.05.002
  3. Aghekyan R. Validation of the SIEVEA Instrument Using the Rasch Analysis // International Journal of Educational Research. 2020. V. 103. P. 101619. doi: 10.1016/j.ijer.2020.101619
  4. Kruit P., Oostdam R., van den Berg E., Schuitema J. Performance Assessment as a Diagnostic Tool for Science Teachers // Research in Science Education. 2020. V. 50. No. 3. P. 1093—117. doi: 10.1007/s11165-018-9724-9
  5. Vaughan B. A Rasch Analysis of the Revised Study Process Questionnaire in an Australian Osteopathy Student Cohort // Studies in Educational Evaluation. 2018. V. 56. P. 144—53. doi: 10.1016/j.stueduc.2017.12.003
  6. Ehrich J.F., Woodcock S., West C. The Effect of Gender on Teaching Dispositions: A Rasch Measurement Approach // International Journal of Educational Research. 2020. V. 99. P. 101510. doi: 10.1016/j.ijer.2019.101510
  7. Zhao Yue, Huen J.M., Chan Y.W. Measuring Longitudinal Gains in Student Learning: A Comparison of Rasch Scoring and Summative Scoring Approaches // Research in Higher Education. 2017. V. 58. No. 6. P. 605—16. doi: 10.1007/s11162-016-9441-z
  8. Sabetova T.V. The use of latent variable method in human resource management // Russian Journal of Agricultural and Socio-Economic Sciences. 2017. V. 66. No. 6. P. 123—29. doi: 10.18551/rjoas.2017-06.14
  9. Van Zile-Tamsen C. Using Rasch Analysis to Inform Rating Scale Development // Research in Higher Education. 2017. V. 58. No. 8. P. 922—33. doi: 10.1007/s11162-017-9448-0
  10. Jääskä E., Aaltonen K. Teachers’ Experiences of Using Game-Based Learning Methods in Project Management Higher Education // Project Leadership and Society. 2022. V. 3. P. 100041. doi: 10.1016/j.plas.2022.100041
  11. Chang W.-Ch., Ludlow L., Grudnoff L., Ell F., Haigh M., Hill M. Measuring the Complexity of Teaching Practice for Equity: Development of a Scenario-Format Scale // Teaching and Teacher Education. 2019. V. 82. P. 69—85. doi: 10.1016/j.tate.2019.03.004
  12. Красова Н.А., Алейникова Н.Е. Математическое моделирование задачи определения набора контрольных мероприятий с помощью нечеткого метода анализа иерархий и метода, основанного на измерении латентных переменных // Моделирование, Оптимизация и Информационные Технологии. 2019. Т. 7. № 3 (26). С. 33. doi: 10.26102/2310-6018/2019.26.3.024
  13. Корыпаева Ю.В., Красова Н.Е., Пешков В.В., Рябов С.В. Методика организации и оценки качества научно-исследовательских работ курсантов военно-научного общества на основе математической модели Раша // Вестник Воронежского Государственного Технического Университета. 2020. Т. 16. № 2. С. 65—70. doi: 10.25987/VSTU.2020.16.2.010
  14. Муравьев В.В., Волкова Л.В., Платунов А.В., Булатова Е.Г., Байкалова Т.Н. Анализ результатов тестирования специалистов по магнитному виду неразрушающего контроля при сертификации // Контроль. Диагностика. 2015. № 10. С. 36—42. EDN UJZFEL. doi: 10.14489/td.2015.010.pp.036-042
  15. Муравьев В.В., Муравьева О.В., Волкова Л.В., Богдан О.П., Платунов А.В., Байкалова Т.Н. Анализ качества тестов при сертификации специалистов по акустико-эмиссионному методу контроля объектов железнодорожного транспорта // В мире неразрушающего контроля. 2015. Т. 18. № 3. С. 66—71. EDN UDJSQX.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Результаты присвоения уровней сертификации (а) и II уровня сертификация по различным видам неразрушающего контроля (б)

Скачать (384KB)
Метаданные
3. Рис. 2. Результат прохождения общего и специального экзаменов в зависимости от стажа работы (а) и сертификации специалистов в зависимости от стажа работы (б)

Скачать (449KB)
Метаданные
4. Рис. 3. Распределение кандидатов на сертификацию по уровню образования

Скачать (168KB)
Метаданные
5. Рис. 4. Результат сдачи квалификационных экзаменов в зависимости от уровня образования

Скачать (239KB)
Метаданные
6. Рис. 5. Результат прохождения квалификационных экзаменов в зависимости от возраста испытуемых

Скачать (267KB)
Метаданные
7. Рис. 6. Результаты тестирования по общему экзамену вихретокового контроля в 2021 (а) и 2022 (б) гг.

Скачать (661KB)
Метаданные
8. Рис. 7. Распределение правильных ответов по отдельным вопросам теста общего экзамена в 2021 (а) и 2022 (б) гг.

Скачать (308KB)
Метаданные
9. Рис. 8. Результаты распределения уровня подготовленности кандидатов и трудности заданий общего экзамена в 2021 (а) и в 2022 (б) гг.

Скачать (413KB)
Метаданные
10. Рис. 9. Результаты тестирования кандидатов на сертификацию по специальному экзамену вихретокового контроля в 2021 (а) и 2022 (б) гг.

Скачать (745KB)
Метаданные
11. Рис. 10. Распределение правильных ответов по отдельным вопросам теста специального экзамена по вихретоковому контролю в 2021 (а) и 2022 (б) гг.

Скачать (294KB)
Метаданные
12. Рис. 11. Распределение уровня подготовленности кандидатов на сертификацию и трудности заданий специального экзамена по вихретоковому контролю в 2021 (а) и 2022 (б) гг.

Скачать (386KB)
Метаданные
13. Рис. 12. Характеристические кривые теста общего экзамена (а) и подготовленности кандидатов на сертификацию (б) в 2021—2022 гг.

Скачать (1016KB)
Метаданные
14. Рис. 13. Характеристические кривые тестовых заданий общего экзамена (а) и испытуемых (б)

Скачать (1MB)
Метаданные
15. Рис. 14. Характеристические кривые теста специального экзамена (а) и испытуемых (б)

Скачать (1020KB)
Метаданные

© Российская академия наук, 2024