Мониторинг отличается от обычной оценки знаний тем, что обеспечивает учителя оперативной обратной связью об уровне усвоения учащимися обязательного учебного материала. Система мониторинга включает в себя создание непосредственно инструментов контроля знаний и умений и корректирующую методику, ориентированную непосредственно на личность школьника с учетом его индивидуальных достижений в учебном процессе [18].
Основными компонентами процесса оценки качества образования являются[ сбор исходных данных и получение результирующей информации о состоянии системы образования. Ежегодный аналитический доклад «Качество образования в выявим учебном заведении» предполагает получение данных по более чем десяти направлениям. Для выполнения аналитических отчетов и мер по повышению качества образования необходимо проведение результирующих «интеллектуальных» обработок исходных данных Задача определения качественного уровня вуза (его рейтинга) является одним из основных направлений таких обработок.
В информационной системе мониторинга качества образования (ИСМО), создаваемой в Брянском государственном техническом университете, разрабатывается информационная технология рейтинговых исследований качества образования на основе применения нейронных сетей. Программный комплекс нейрокомпьютерной обработки применяется в качестве одного из модулей финишной обработки информации. Выходная информация работа! такого мо-дуля - вычисленные «рейтинги качества» для каждого вуза.
Исследования проводятся по следующим основным направлениям:
классификация - определение принадлежности каждого вуза к конкрет-ной группе качества.
На первом этапе выявляются основные тенденции в образовании, такие, как уровень разрыва в качестве образования, плотность распределения объектов мониторинга по группам качества. При этом возможны следующие варианты реализации первого этапа:
· глобальная кластеризация -- предполагает наличие в исходной выборке данных по отечественным и зарубежным вузам;
· федеральная кластеризация - наличие в выборке данных по вузам из подчинения Министерства образования Российской Федерации;
· отраслевая кластеризация - выборка состоит из данных по однотипным вузам (техническим, педагогическим, медицинским, и т. д.);
· региональная кластеризация - выборка по вузам определенного региона.
Для адекватности кластерных исследований периодичность их проведе-ния должна быть достаточно большой.
На этапе классификации исходные данные но каждому вузу подаются на входы обученной нейронной сети, после чего определяется «рейтинг качества» данного вуза. Многие параметры, по которым происходит опенка качества об-разования, подвержены динамическим изменениям. Поэтому определение рейтинга качества образования в информационной системе будет выполняться ежеквартально.
Ряд последовательных операций на каждом этапе определяет облик соот-ветствующей информационной технологии. Информационная технология эта-па кластерных исследований определяется следующими операциями:
· получение исходных данных для проведения исследований с сервера ин-формационной системы (отдельно для каждого этапа реализация);
· проведение кластерных исследований посредством самоорганизующейся карты Кохонена;
· идентификация «групп качества образования», на которые было разбито исходное множество учебных заведений;
· присвоение «рейтингов качества» каждой «группе качества».
Завершающая операция на данном этапе может дать заключение о глобальных тенденциях в качестве образования и являться основанием для проведения мероприятий организационно-управленческого плана. Такой тенденцией может быть, например, резкое увеличение количества объектов в группах с низким рейтингом качества
В ИСМО в основу технологии классификации положено использование многослойной нейронной сети, обучаемой по методу обратного распростране-ния ошибки. В данном случае технологический облик этапа определяется осо-бенностями процесса обучения нейронной сети и состоит из следующих опе-раций:
· формирование исходной выборки для обучения нейронной сети, в которой на входы нейронной сети подаются параметры качества образова-ния, а на выходы-рейтинги качества;
· подача на входы сети нового примера, соответствующего вузу, рейтинг которого определяется;
· выполнение предыдущей процедуры для всех вузов, включенных в систему мониторинга.
Выполнение первого этапа, на котором генерируются примеры для обу-чения нейронной сети, может основываться на методе экспертных оценок. Функционирование информационной системы происходит в полуавтоматическом режиме. На персонал информационной системы возлагается обязанность пополнения базы данных параметров оценки качества образования.
Текущая обработка по этапу классификации может изменять рейтинг качества конкретного вуза, но не меняет картину качества в целом. Этим опреде-ляется небольшой период проведения итоговых обработок по этому этапу. Итоговые обработки; проводимые в рамках кластерных исследований, спо-собны изменить общую картину качества [25].
В результате трехлетней работы были разработаны некоторые методы автоматизированного контроля совместно с преподавателями кафедры «СУ и ВТ» Калининградского Технического Университета, созданы реализации теоретических выкладок, о которых хотелось бы рассказать в этой работе.
Автоматизированная система контроля знаний, созданная как результат выпускной квалификационной работы и дипломного проектирования в подсистеме «Создание теста» предлагает преподавателю использовать цепочную систему вопросов, когда несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем, а каждому вопросу в цепочке присваивается некоторый коэффициент важности данного вопроса в данной цепочке. Этот коэффициент изменяется от 0 и сумма коэффициентов вопросов в цепочке принимается равной 1. Смысл коэффициента раскрывается при обработке результатов тестирования: оценка за ответы на вопросы, объединенные в цепочку, выставляется в зависимости от важности вопросов, на которые были даны правильные ответы . Цепочка может содержать неограниченное число вопросов, объединенных по семантическому признаку внутри выбранной темы тестирования. Вырожденным случаем цепочной структуры является наличие в цепочке всего лишь одного вопроса. В этом случае коэффициент его важности, очевидно, устанавливается равным единице.
Хочется отметить, что тест, как правило, создается по отдельной теме конкретной дисциплины, должен иметь небольшой объем, что обуславливается неразделяемостью ресурсов персонального компьютера и необходимостью проводить тестирование большого количества обучаемых в течение ограниченного времени.
Концепция базируется на автоматизации методики уточняющих вопросов, широко используемой в педагогической практике для выявления глубины знаний обучаемого. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса, устанавливать объем теста N, задавать время, отводимое экзаменуемому на демонстрацию своих знаний, и настраивать оценочную шкалу, по которой суммарный балл, набранный в ходе тестирования, переводится в итоговую оценку.
В ходе автоматизированного тестирования экзаменуемому предъявляется конечное множество т.н. цепочек вопросов. Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения знаний экзаменуемого. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки (“строгий” преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.
Каждому j-му вопросу в i-й цепочке присваивается весовой коэффициент Кij, характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так, чтобы их сумма внутри каждой цепочки была равна 1. В цепочку может объединяться неограниченное количество тематически близких вопросов. В вырожденном случае цепочка состоит из единственного вопроса, коэффициент важности которого устанавливается равным 1.
Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов. На первом рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности:
,
где Si - балл, выставляемый за ответы на i-ю тематическую последовательность; Кij - весовой коэффициент j-го вопроса в i-й цепочке; Zij =1, если на j-й вопрос в i-й цепочке получен правильный ответ и Zij=0 - в противном случае; Li - количество вопросов в i-й цепочке.
На втором этапе рассчитывается суммарный балл S за ответы на все вопросы теста с учетом количества цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время:
2 ,
где N -объем теста; Кt - количество цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время t.
На третьем этапе определяется итоговая оценка знаний экзаменуемого. Для этого набранный им суммарный балл S проецируется на оценочную шкалу, имеющую вид
[0; I1; I2; I3; 1] ,
где 0< I1< I2< I3< 1 - границы интервальных диапазонов оценок, задаваемые преподавателем при организации тестирования.
Итоговая оценка за тест ОT выводится по следующим правилам:
После необходимой доработки и полного документирования демонстрационная версия программы и информация об условиях ее поставки будет опубликована на Веб-сайте Калининградского государственного технического университета [26].
Прямым тестированием будем называть способ контроля знаний обучаемого, при котором структура теста (т.е. набор и порядок предъявления тестовых заданий) не зависит от фактических ответов обучаемого. Практически все существующие в настоящее время АСКЗ функционируют в режиме прямого тестирования, однако чаще всего они реализуют лишь простейшие и далеко не самые эффективные методики оценивания знаний.
Детальный анализ педагогических приемов и способов “живого” диалогового общения преподавателя и тестируемого показал, что можно выделить по крайней мере пять параметров, значения которых влияют на организацию процесса контроля и оценивания знаний.
Цель тестирования определяется основным вопросом, ответ на который должен быть получен в результате тестирования - а) обладает ли обучаемый равномерным уровнем знаний по всему материалу (проверка широты знаний) или б) обладает ли обучаемый систематическими знаниями по темам предъявляемых ему тестовых заданий (проверка глубины знаний).
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9
