Вид тестирования имеет два значения - зачетное или экзаменационное. Результаты зачетного тестирования представляются в двоичном формате: “зачет” или “незачет”. В ходе зачетного тестирования оценка “зачет” выставляется в случае, если обучаемый демонстрирует знания, превышающие некоторое априори заданное пороговое значение.
При экзаменационном тестировании по сумме баллов, набранной обучаемым при выполнении теста, рассчитывается итоговая оценка знаний обучаемого (имеющая в общем случае более двух допустимых значений), для чего сумма баллов проецируется на применяемую оценочную шкалу.
Сложность теста характеризуется уровнем знаний, которые должен продемонстрировать обучаемый при его выполнении. Она определяется степенью сложности тестовых заданий, которые могут предъявляться обучаемому. Исследования позволяют говорить о как минимум трех уровнях сложности тестов - стандартной, повышенной и пониженной.
Уровень контроля определяет степень строгости проверки глубины знаний. Изучение методик проведения зачетных и экзаменационных опросов показывает, что можно говорить о четырех различных уровнях строгости оценивания ответов на тестовые задания (строгий контроль; выявление наиболее важных знаний; выявление простейших знаний; выявление любых имеющихся знаний).
И, наконец, отслеживание условия раннего прекращения тестирования предполагает досрочное завершение теста в ситуации, когда продолжение тестирования становится нецелесообразным. В качестве первого из этих условий рассматривается превышение предельной длительности тестирования. Второе условие - прекращение тестирования и выставление неудовлетворительной оценки при получении априори заданного количества неправильных ответов.
Разнообразие возможных сочетаний значений пяти предложенных характеристик позволяет говорить о существовании весьма обширного семейства алгоритмов прямого тестирования знаний (например, экзаменационного оценивания глубины знаний с повышенной сложностью и строгим контролем, либо зачетного оценивания широты знаний со стандартной сложностью и контролем предельной длительности тестирования и т.п.).
Подсчет показывает, что в состав этого семейства входят, по крайней мере, 24 алгоритма оценивания широты знаний и 78 алгоритмов оценивания глубины знаний, что позволяет организатору тестирования выбирать в конкретной ситуации именно тот алгоритм, который наилучшим образом соответствует требованиям действующих инструктивно-методических документов, либо который он считает наиболее адекватным собственному представлению об организации контроля знаний [27].
Рис. 1 - Свойства алгоритмов прямого тестирования
Адаптивным тестированием знаний будем называть способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на (t+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. Математическую основу такого учета составляет предложенная в [2] модель объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных заданий, так и целых последовательностей и выведением итоговой оценки за тест с учетом нормированной суммы баллов, накапливаемой за выбранные обучаемым варианты ответов.
Пусть V = {vj}, - множество тестовых заданий, которые могут использоваться для формирования теста, VT = {vi}, VT Н V, - тестовые задания, отобранные для проверки знаний конкретного тестируемого, причем N << Nmax. Обозначим St нормированную относительно количества заданных вопросов сумму баллов, накопленную обучаемым за ответы на 1, 2, …, t-м шагах теста, причем t Ј N, а 0 Ј-- St----Ј 1. Шкалу итогового оценивания знаний ZI упрощенно представим в виде
ZI = [0; I1/O1; I2/O2; …; In/On; 1/On+1]
где 0 < I1 < I2 < …< In < 1 - границы оценочных интервалов; Oi, - оценка, которой характеризуются знания тестируемого в случае, когда накопленная им сумма баллов St попадает в интервал (Ii-1,Ii].
Поскольку N << Nmax, то согласно теории вероятностей сумма баллов St может использоваться для оценивания знаний обучаемого с доверительной вероятностью Pt < 1 и, следовательно, при выведении итоговой оценки знаний по результатам t Ј--N шагов тестирования необходимо учитывать ненулевой интервал неопределенности ±DI>0, в котором с вероятностью Pt находится истинное значение Stи: StиО[St-DI;St+DI]. C практической точки зрения это означает, что при проецировании значения St на шкалу ZI следует принимать во внимание не только сегмент этой шкалы (Ii,Ii+1], в который попадает значение St, но и его зонирование с учетом интервала неопределенности DI.
При попадании суммы баллов в интервал Ii+DI<SN<Ii+1-DI сумма баллов SNи, соответствующая истинной оценке знаний, ни при каких условиях не попадает в зоны неопределенности (Ii±DI) и (Ii+1±DI). В этой ситуации имеется достаточно оснований для выставления оценки Oi+1 сразу по завершении первого этапа тестирования, поэтому дальнейшее предъявление дополнительных или уточняющих вопросов нецелесообразно [28].
Начавшееся в нашей стране с начала 80-х годов внедрение в учебных заведениях новых информационных технологий - обучение при помощи педагогических программных средств, а также использование тестирующих программ - дало более чем скромные результаты. Среди многих известных причин этого (финансовые, технические, организационные, методические трудности) отметим одну: психологическое неприятие учителями “компьютерных” методов обучения и контроля знаний, особенно высококвалифицированными, творчески работающими. У них для этого есть основания: налицо большое количество плохих программ, не отвечающих главным психолого-педагогическим принципам обучения, неудачно реализующих основные этапы процесса усвоения знаний; как правило, отсутствует методическое сопровождение; оказываются непомерно большими затраты времени и сил на освоение компьютеров, изучение программы, поддержку соответствующей инфраструктуры; при использовании даже хороших систем нивелируется роль учителя в учебно-воспитательном процессе, исчезает творческий характер его труда; отсутствует система поощрения педагогов-новаторов, осваивающих новые информационные технологии.
Эту ситуацию, на мой взгляд, можно и хочется изменить. Технический прогресс стремительно продвинулся вперед, современная вычислительная техника и системы телекоммуникаций достигли огромных результатов за последние несколько лет в плане быстродействия, объемов обрабатываемой и хранимой информации. Развитие систем проектирования программ (объектно-ориентированные системы визуального программирования, СУБД, системы моделирования нейронных сетей, и т.п.) дало в руки инженеров и системных аналитиков мощнейшие средства разработки и внедрения в жизнь самых фантастических проектов. Отсутствие финансирования в области образования в нашей стране тормозит, как мне кажется, процессы создания качественных программных продуктов общего применения, смещая акцент в сторону коммерческих интеллектуальных мультимедийных курсов, создание которых могут себе позволить только крупные «софтверные» компании.
В данной работе частично были проанализированы существующие методы и модели, позволяющие построить так называемую интеллектуальную автоматизированную систему контроля знаний. Практические реализации собственных теоретических разработок в этой области уже есть: на сегодняшний день готова демонстрационная версия программы, проводящей тестирование по методу цепочек вопросов. Этот метод не является «интеллектуализацией» процесса контроля знаний, а является первым шагом к созданию системы, позволяющей преподавателю проводить текущий и финальный контроль более быстро, объективно и эффективно. Реализация методов адаптивного тестирования, использование нечеткой логики и инженерии знаний позволит достичь больших результатов в этой области.
1. Касьянова Н. В. «Cоздание системы компьютерного контроля как результат новых информационных технологий в обучении», Восточноукраинский Национальный Университет (ВНУ), Украина, г.Луганск // материалы конференции ИТО-2001;
2. Бренич С.Г. «Проблема искусственного интеллекта. Кибернетика.» // реферат;
3. Иващенко А.И. «Контроль знаний и умений учащихся по математике в школе» // дипломная работа;
4. Ваньков Е.А. «Технологии компьютерного тестирования» // реферат;
5. Кузнецов А. А. «Универсальная автоматизированная обучающая система. Подсистема контроля знаний.» // дипломный проект;
6. Соловей Е.В. «Автоматизированная система контроля знаний «Цепь знаний». Сетевая версия» // дипломный проект;
7. http://ito.edu.ru/2001/ito/VI/VI-0-28.html;
8. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Информационный подход к выбору решений в системах адаптивного тестирования». Материалы конференции «Анализ качества образования и тестирование». 22.03.2001, Москва, МО РФ, МЭСИ
9. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Распознавание образа обучаемых по уровням их знаний в компьютерном тестировании». Сборник материалов Интернет-конференции «Проблемы перехода классических университетов в систему открытого образования». Москва. МЭСИ, 2001
10. http://ito.edu.ru/2001/ito/VI/VI-0-19.html;
11. http://ito.edu.ru/2001/ito/VI/VI-0-27.html;
12. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. «Оценивание результатов тестирования на основе экспертно-аналитических методов». Журнал «Открытое образование», №3, 2001, с.32-36.;
13. http://ito.edu.ru/2001/ito/VI/VI-0-12.html;
14. http://ito.edu.ru/2001/ito/VI/VI-0-1.html;
15. http://ito.edu.ru/2001/ito/VI/VI-0-32.html;
16. http://ito.edu.ru/2001/ito/VI/VI-0-2.html;
17. http://ito.edu.ru/2001/ito/VI/VI-0-17.html;
18. http://www.tl.ru/~gimn13/ped/doclad/shuhard.html;
19. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов. 2 изд., испр.. и доп. М.: Адепт;
20. Границкая А.С. Научить думать и действовать: Адаптивная система обучения в школе: Кн. для учителя. М.: Просвещение;
21. Казаринов А.С., Култышева А.Ю., Мирошниченко А.А. Технология адаптивной валидности тестовых заданий: Учебное пособие. Глазов: ГГПИ, 1999;
22. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. Издание второе - СПб.: Образование и культура, 1997;
23. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в системе “учитель-ученик”: Методическое пособие для учителя. М.: Педагогическое общество России, 1999;
24. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч.пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995;
25. П.Ю. Шалимов, В.И. Попоков «Технология рейтинговых исследований качества образования с применением нейронных сетей»
26. И.Д. Рудинский, Е.В. Соловей «Автоматизированный контроль знаний по методике уточняющих вопросов». Сборник материалов конференции, 2001
27. И.Д. Рудинский, Е.В. Соловей «реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний». Сборник материалов конференции, 2001
28. И.Д. Рудинский «Метод адаптивного автоматизированного контроля знаний». Сборник материалов конференции, 2001
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9
