Но суждения носят оценочный характер и отражают ценностные установки самого эксперта. Здесь велик соблазн для эксперта принять (самому) и представить (другим) свои внутренние критерии в качестве объективных [11, с. 78]. На оценки и суждения экспертов обычно оказывают влияние факторы, которые нельзя отнести к числу научных аргументов: авторитет и заслуги коллег, ранее высказавших суждение; эмоциональная окраска утверждений оппонента и т.п. [20, с. 56]. Поэтому, прежде чем работать с матрицей дальше, следует провести проверку на согласованность экспертных оценок внутри рабочей группы. Для этого найдем суммы Ri по каждой строке:

Ri= ri1+…+ riк+…+ riп

Выберем среди этих сумм наибольшую Rmax и наименьшую Rmin. Вычислим размах: ?R=Rmax - Rmin. Согласованность экспертных оценок считается достаточно высокой, если ?R= m >. В противном случае требуется более точная и трудоемкая дополнительная проверка по дисперсии. С вероятностью 90% между экспертными оценками имеется достаточная согласованность, если

D>(0,22m+0,50),

где = - среднее арифметическое, а D=- дисперсия.

Формула применима для количества оцениваемых объектов от трех до двадцати.

Если согласованность экспертов достигнута, то дальнейшая процедура проста: объекту с наименьшей суммой рангов присваивается ранг 1, следующему - ранг 2 и т.д. Объект с наименьшей суммой рангов получает итоговый ранг m.

Рассмотрим это в конкретных числах. Предположим, что в конкурсе на оригинальное решение логических задач претендуют на победу 4 ученика: А, Б, В, Г. Жюри из пяти учителей-математиков должно присудить им места и награды. Для этого каждый член жюри указывает место, которое он считает нужным присудить каждому из победителей. В итоге получены следующие оценки:

Находим теперь:

Rmax = R2 =18;

Rmin= R3=8;

?R=Rmax - Rmin=10.

Условие ?R= m > в нашем случае имеет вид 10> и не выполняется. Значит, нужна более точная оценка, для чего вычислим нужные значения параметров:

===12,5;

D===23.

Условие согласованности в числах имеет вид 23>(0,22·4+0,50)·12,5 и выполняется (23>17,25). Следовательно, согласованность оценок жюри обеспечена. Поэтому можно ранжировать победителей по суммарным рангам.

Таким образом, первое место присуждено ученику В, второе - ученику Г и так далее:

Если экспертные оценки в группе не согласованны (не выполняется критерий по дисперсии), то следует переформировать группу экспертов и повторить процедуру. При этом может меняться число экспертов. Заметим, что критерий по размаху очень жесткий. Например, если 3 эксперта по 4 объектам дали одинаковые оценки, то Rmax =12, Rmin=3, ?R=9 и условие 9> не выполняется, то есть оценки не согласованны. Но если то же самое сделали 4 эксперта, то Rmax =16, Rmin=4, ?R=12 и 12>, следовательно, их оценки согласованны [3, с. 43].

Вернемся к рейтинговой системе. Независимо от того, какой вариант выбран - общая шкала или попредметная, необходимо составить список всех оцениваемых учебных действий, то есть от того, за счет чего ученик сможет набирать очки. Задача составления такого списка не так проста, как может показаться на первый взгляд. Ее можно совместить с процедурой ранжирования, когда каждый эксперт приводит оцениваемые действия уже упорядоченным списком, но при таком варианте будет слишком много элементов списка, не имеющих полного комплекта оценок. В результате невозможно применить процедуры проверки на согласованность. Поэтому сначала надо получить максимально полный список, опросив учителей и добавив новые предложения к уже имеющимся. Затем следует ранжировать полученный список, применяя полученную выше процедуру. Для этого создается экспертная группа из наиболее профессионально компетентных, опытных учителей. В случае, если не удается добиться согласованности оценок, можно изменить ее состав либо исключить из списка оцениваемых действий те, по которым разброс экспертных оценок слишком велик.

Предположим, что мы получили какой-либо ранжированный список учебной деятельности. Чтобы превратить этот список в рейтинговую шкалу, необходимо договориться, сколько баллов будет присуждаться за каждый вид работы. Можно, в частности, оставить в качестве цены каждой работы ее номер в списке. С другой стороны, многие учителя предпочли бы заложить в шкалу еще и качество выполненной работы. Тогда цена каждого вида деятельности может нарастать с некоторым шагом. Оба случая иллюстрируют равномерную шкалу. Но можно использовать в некоторых случаях и неравномерную шкалу. Соответственно очередной шаг построения рейтинговой системы состоит в оценке всех элементов списка, расстановке весовых коэффициентов.

Теперь рассмотрим пример построения балльно-рейтинговой системы для оценочной шкалы. Для составления исходного списка видов деятельности экспертная группа из 16 человек была довольно произвольно разделена на 4 равные подгруппы, каждая из которых составила свой вариант списка. Из этих вариантов был составлен сводный список, но после обсуждения и корректировки он приобрел такой вид:

1. Сочинение, эссе.

2. Реферат, изложение, обзор.

3. Добавление, реплика.

4. Постановка вопроса, задачи.

5. Ответ на вопрос.

6. Рецензия на выступление.

7. Выступление с решением задачи.

8. Изготовление наглядного материала.

9. Выполнение домашнего задания.

10. Выступление по обязательной литературе.

11. Выступление по дополнительной литературе.

12. Письменное решение задачи в классе.

13. Участие в конкурсе по предмету.

14. Победа в конкурсе по предмету.

15. Ассистирование учителю.

Затем каждый из 16 экспертов ранжировал этот список в соответствии со своими представлениями о ценностях (см. приложение 1). Применив алгоритм, находим средний ранг каждого вида деятельности. В первом столбце матрицы - номера видов деятельности согласно списка, приведенного выше. Проверка по критерию на размах (?R=214-57=157; 157>) позволяет признать эти экспертные оценки согласованными, несмотря на очевидный разброс мнений экспертов по весу тех или иных параметров. В результате получается ранжированный список видов деятельности:

1. Победа в конкурсе по предмету.

2. Сочинение, эссе.

3. Выступление по дополнительной литературе.

4. Реферат, изложение, обзор.

5. Письменное решение задачи в классе.

6. Выступление с решением задачи.

7. Выступление по обязательной литературе.

8. Рецензия на выступление.

9. Ассистирование учителю.

10. Постановка вопроса.

11. Ответ на вопрос.

12. Выполнение домашнего задания.

13. Изготовление наглядного материала.

14. Участие в конкурсе по предмету.

15. Добавление, дополнение, реплика.

Полученный список уже можно считать оценочной шкалой. Однако очевидно, что эта равномерная шкала недостаточно стимулирует ученика на деятельность высокого порядка. Поэтому каждому виду деятельности можно присвоить рейтинговое число, совокупность которых и делает шкалу неравномерной, но более рациональной. Соответствие видов деятельности (параметров) и их рейтинговых чисел (баллов) приведено в следующей таблице:

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10