Будем обозначать гипотезу о приемлемом уровне знаний H0, а гипотезу о неприемлемом уровне знаний H1. Пусть в результате последовательного поступления заданий теста в объеме n получены неправильные ответы d1, d2, d3…dn. При известной функции оценивания знаний по закону Пуассона последовательный критерий Вальда позволяет по выборке объемом n классифицировать обучаемых по уровню знаний на три подобраза по количеству областей принятия решений. Для того, чтобы иметь четыре образа необходимо произвести для каждой из трех областей повторное последовательное тестирование [7].
В предлагаемой процедуре рекомендуется использовать два способа распознавания образа уровня знаний: нормальный и усиленный. При этом задаются только четыре исходные характеристики теста q1, q0, a и b.
По нормальному способу по первой выборке заданий теста n1 производится классификация обучаемых на три предварительные области (уровни): низкая, нормальная и высокая. По второй выборке заданий теста n2=n1 или n2<n1 для уровня низкий ужесточаются исходные характеристики q0 и q1 и обучаемые аттестуются по трем образам D,C и B. Для нормального уровня ужесточаются характеристики a и b и обучаемые аттестуются по трем образам C,B и A. Для высокого уровня тестирование осуществляется без изменения исходным q0, q1, a и b и обучаемые аттестуются на два образа B и A. К достоинствам нормального способа относится то, что обучаемые по второй выборке могут существенно улучшить свои образовательные достижения, что отвечает требованиям закона «О защите прав потребителей продукции и услуг».
По усиленному способу по первой выборке обучаемые классифицируются только на два уровня: низкий и высокий. По второй выборке для низкого уровня ужесточаются характеристики q0 и q1 и обучаемые аттестуются только на два образа D и C. По второй выборке для высокого уровня ужесточаются характеристики a и b и обучаемые аттестуются только на два образа B и A. Достоинством усиленного способа является более уверенное распознавание образа уровня знаний и поэтому его рекомендуется использовать в тех случаях, когда снижено доверие к реализуемой образовательной услуге.
Существенным отличием предлагаемых методов распознавания образа уровня знаний при тестировании от известных является заранее заданная погрешность распознавания, заложенная в рисках принятия решений a и b, использование наиболее мощного критерия Вальда и достаточно простые и апробированные в статистическом приемочном контроле способы ужесточения планов тестирования, что позволяет использовать для решения практических задач распознавания образа уровня знаний международный стандарт ИСО 8423-91 «Статистические методы. Последовательные планы выборочного контроля по альтернативному признаку». Это способствует повышению достоверности компьютерного тестирования, что позволяет использовать предложенные теоретические разработки для обоснования методов оценивания знаний в предлагаемом едином экзамене довузовского образования, в процессе реформирования Российской системы образования [7].
В каждом курсе есть ключевые моменты, особенно важные темы, без знания которых невозможно усвоение более сложного материала в процессе учебы или которые будут необходимы в работе по специальности. На устном экзамене при личном контакте со студентом преподаватель обязательно оценивает понимание студентом этих тем. При автоматизированном тестировании можно учесть важность каких-либо разделов курса, увеличив долю вопросов по этим разделам в общем количестве вопросов. Но это не всегда удобно для составителя теста, потому что не всегда наиболее важные разделы содержат больше всего материала.
Предлагаемая методика предусматривает учет таких параметров, как степень важности и объем изучаемого материала в разделах курса.
При составлении теста преподаватель делит курс на темы Т1, T2, … , Tk и оценивает степень важности Si и объем изучаемого материала Vi по каждой теме Ti. Количество вопросов ni по каждой теме Ti должно соответствовать (быть пропорционально) объему изучаемого материала Vi.
Минимальное количество вопросов ni по каждой теме Ti определяется в соответствии с методикой с учетом параметра Vi.
Знания по каждому разделу курса оцениваются по пятибалльной (а фактически по четырехбалльной) системе. Оценке «отлично» (5) соответствует вероятность правильного ответа от p3 до 1; оценке «хорошо» (4) соответствует вероятность правильного ответа от p2 до p3; оценке «удовлетворительно» (3) соответствует вероятность правильного ответа от p1 до p2; оценке «неудовлетворительно» (2) соответствует вероятность правильного ответа менее p1. Следует отметить, что вероятности р1, р2 и р3 (0< p1Ј p2Ј p3<1) задаются преподавателем с учетом структуры теста и могут быть изменены. Абсолютное количество (или доля) правильных ответов, достаточное для получения соответствующей оценки, определяется по специальной методике.
Итак, преподаватель:
· разбивает курс на темы (разделы) Т1, Т2, … , Тк;
· определяет их объемы V1, V2, … , Vk и степень важности S1, S2, … , Sk;
· определяет структуру теста - количество m вариантов ответов на каждый вопрос;
· задает р1, р2, р3 - уровни знаний студента (или вероятности выбора правильного ответа), соответствующие оценкам: “2” - 0Ј p< p1 , “3” -- p1<pЈ p2 , “4” -- p1< pЈ p3 , “5” -- p3<pЈ1 .
р1 должно быть заметно больше 1/m - вероятности выбора правильного ответа наугад.
После этого вычисляется минимальное количество вопросов n, необходимое для того, чтобы при заданных параметрах m, p1, p2, p3 и заданном уровне значимости e на основании испытания статистических гипотез можно было поставить оценку «5», «4», «3» или «2» за определенный раздел курса.
Минимальное количество вопросов n будет содержать тест по теме с минимальным значением Vj = min{V1,V2, … , Vk}; nj=n.
Минимальное количество вопросов по темам Т1, Т2, … , Тк определяется пропорционально их объемам, V1,V2, … , Vk.
По ответам студента вычисляется оценка Oi по каждой теме Ti (1 Ј i Јk ) как результат испытания статистических гипотез
При вычислении итоговой отметки за тест (курс) O учитывается степень важности Si каждого раздела Ti. Получившаяся итоговая оценка О округляется до целых.
Следует отметить, что описанная выше методика позволяет давать студентам тест поэтапно, по мере изучения и усвоения материала отдельных разделов курса, и выводить итоговую оценку с учетом результатов промежуточного тестирования [10].
Теория образовательного тестирования должна формироваться на частных законах и закономерностях таких научных направлений как информациология, общая статистика, статистический приемочный контроль, квалиметрия, педагогика, психология, исследование операций, теория принятия решений и др. Прямое применение теоретических разработок из указанных научных направлений не дает заметных практических результатов по оцениванию знаний по причине нематериальности знаний, как объекта исследований. Задачу формирования теории образовательного тестирования можно сформулировать как задачу поиска оптимальной структуры специфических законов и закономерностей тестологии, позволяющую оценить знания с заданной погрешностью.
Для решения задач подобного класса наиболее успешно используются генетические методы, основанные на реализации генетических алгоритмов, позволяющих осуществить направленный перебор частных законов и закономерностей по наиболее приемлемым направлениям для формирования отечественной теории образовательного тестирования.
В отличие от традиционного случайного поиска приемлемых решений, алгоритмы генетического поиска используют аналоги или близость имеющихся решений во многих областях знаний к поиску оптимального набора специфических законов, обеспечивающих объективность, достоверность и точность оценивания уровня знаний, воспроизведенных обучаемыми в процедурах тестирования. Такой направленный перебор частных законов является эволюционным и имеет очень много сходств с операторами, применяемыми в генетических алгоритмах и процедурах, происходящих с живыми организмами в природе.
Рассмотрим применение генетических алгоритмов для формирования специфического закона о количестве образовательной информации. Исходные популяции: Государственный образовательный стандарт, учебная программа, специфическая совокупность учебной информации, банк тестовых заданий. Репродукция: образовательная совокупность. Скрещивание: образовательная совокупность, статистическая совокупность. Мутация: образовательная совокупность информации.
Следующий генетический алгоритм направлен на поиск единицы образовательной информации. Исходные популяции: единица статистической совокупности, единица допуска, информацион. Репродукция: единица образовательной совокупности. Скрещивание: единица образовательной совокупности, единица допуска, информацион. Мутация: условная единица образовательной информации конкретной дисциплины.
Формирование специфического закона тестологии об образовательной информации: образовательная информация является первичной, поскольку независимо от образовательной услуги, формы теста, процедур тестирования и уровня подготовки обучаемых знания по конкретной дисциплине оцениваются только по их соответствию «образу знаний». Вся остальная информация является вторичной и третичной и не может претендовать на такую же роль как образовательная информация.
Любая информация, и в том числе образовательная, для ее последующего применения в заданиях теста должна быть представлена определенным количеством, рассчитанным с использованием условной единицы образовательной информации.
Следующий закон о сохранении образовательной информации определяет, что количество образовательной информации HQ и количество ее энтропии IQ величина всегда постоянная для всех процедур тестирования. Вычисление количества информации и количества энтропии производится по одной и той же формуле. При этом HQ вычисляют только после создания тестов, а IQ до их создания, что позволяет погрешности тестирования определить априорно. Такие вычисления невозможны без условной единицы образовательной информации, под которой понимается наиболее типичное и применяемое понятие в конкретной учебной дисциплине, поскольку обобщенного понятия пока получить не удается. Например, в материаловедении это «свойство материала», в технологии машиностроения это «операция». В последующем количество образовательной информации пересчитывается по аналогии.
Реализация указанных законов об образовательной информации позволяет с достаточной для практической цели точностью определять количество информации в банке тестовых заданий, в одном задании теста, в выборке заданий теста и в выборке выполненных тестов и обеспечивать соблюдение минимально необходимого соотношения между объемом выборки и банком тестовых заданий, соответствующего выбранной погрешности оценивания уровня знаний по образовательным тестам [11].
Основные свойства образовательных тестов предлагается формировать на популяциях частных законов таких научных отраслей как: информациология; психология, педагогика и психодиагностика; логика; теория вероятностей; теория поиска; теория нечетких множеств; теория игр; теория статистических решений; приемочный выборочный контроль.
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9
