При анализе оценок, полученных от экспертов, часто возникает необходимость выявить конкордацию - согласованность их мнений по нескольким факторам. Для этого используют коэффициент конкордации, который является числовым критерием согласованности мнений экспертов в рассматриваемой группе. Коэффициент конкордации определяется по формуле
V=S/Smax,
где S - сумма квадратов разностей рангов (отклонений от среднего), определяемая по формуле
Smax-максимальное значение S, которое имеет место в случае, когда все эксперты дают одинаковые оценки.
Можно показать, что суммарное квадратичное отклонение от их среднего значения для суммарных (по всем экспертам) рангов факторов при наилучшей согласованности будет определяться значением
В приведенных формулах, как и ранее, m - число экспертов в группе, n - число факторов. Величина коэффициента конкордации может меняться в пределах от 0 до 1, причем его равенство единице означает, что все эксперты дали одинаковые оценки, а равенство нулю означает, что связи между оценками, полученными от разных экспертов, не существует. Коэффициент конкордации удобно рассчитывать по формуле, предложенной Кендаллом:
В случае V < 0.2 - 0.4 говорят о слабой согласованности экспертов, а большие величины V > 0.6 - 0.8 свидетельствуют о сильной согласованности экспертов. Слабая согласованность обычно является следствием следующих причин:
· - в рассматриваемой группе экспертов действительно отсутствует общность мнений;
· - внутри группы существуют коалиции с высокой согласованностью мнений, однако, обобщенные мнения коалиций противоположны.
В рассмотренном выше примере для m=4, n=3 (таблица 7.4) найдем сумму квадратов отклонений в соответствии с приведенной выше формулой:
S = (11 - 8)2 + (8 - 8)2 + (5 - 8)2 = 18,
в этой формуле среднее значение определяется как m(n+1)/2 = 8.
Полученная величина коэффициента конкордации V = 0.56 показывает среднюю степень согласованности мнений экспертов.
Для определения степени согласованности мнений двух экспертов удобно пользоваться коэффициентом ранговой корреляции (по Спирмену):
где xj и yj - ранги, установленные двумя экспертами; n - число факторов.
Величина коэффициента ранговой корреляции принимает значения в интервале от -1 до 1. В случае наименьшей зависимости между двумя рядами номеров рангов величина коэффициента корреляции будет малой (близкой к нулю).
Метод нормирования. Метод нормирования или последовательного сравнения сводится к следующему. Факторы Ф1 - Фn, подлежащие экспертной оценке, выписываются напротив шкалы, размеченной в процентах или относительных величинах от 0 до 1. Эксперту предлагается соединить линией каждый фактор с требуемой (по мнению эксперта) точкой шкалы. Допускается проводить к одной точке шкалы несколько линий (см. рис. 7.1)
Результаты опроса нескольких экспертов сводятся в матрицу опроса (таблица 7.6), на основании которой производятся вычисления следующих величин:
· сумма весов, даваемых i-м экспертом всем факторам,
· относительный вес j-го фактора на основании оценки i-го эксперта
wij=bij/Bi;
· результирующий вес j-го фактора
Рассмотрим расчет результирующих весов на небольшом примере. В таблице 7.7 приведены результаты опроса четырех экспертов по двум факторам.
После расчета сумм весов, даваемых i-м экспертом всем факторам получим таблицу 7.8
Далее рассчитываем относительные веса всех факторов по всем экспертам и результирующие веса каждого фактора. Все расчеты сведены в таблицу 7.9
Метод Дельфы является одним из наиболее перспективных методов формирования групповой оценки экспертов. Этот метод получил название от древнегреческого города Дельфы и мудрецов, славившихся предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения экспертов. Для этого метода характерны следующие три основные черты:
· - анонимность;
· - регулируемая обратная связь;
· - групповой ответ.
Анонимность предполагает использование специальных вопросников и других средств индивидуального опроса, в частности диалоговых средств персональных компьютеров.
Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса, причем обработка результатов каждого тура осуществляется с помощью статистических методов и результаты ее сообщаются экспертам.
Применение статистических методов обработки группового ответа позволяет уменьшить статистический разброс индивидуальных оценок (снижение в знаниях неопределенности вероятностного характера) и получить групповой ответ, в котором наиболее верно отражено мнение каждого эксперта.
Следовательно, анонимность опроса позволяет ослабить влияние отдельных "доминирующих" экспертов, а регулируемая обратная связь снижает влияние индивидуальных и групповых интересов, не связанных с решаемыми задачами, т.е. обратная связь повышает объективность и надежность групповой оценки. Таким образом, итеративная процедура проведения опросов в несколько туров (с информированием экспертов о результатах предыдущих этапов опроса и предложениями, в ряде случаев, обосновать свое мнение) приводит к уменьшению разброса в индивидуальных ответах и создает несомненные преимущества дельфийского метода по сравнению с "простым" статистическим объединением индивидуальных мнений при обработке экспертных данных анкетными методами.
При обработке результатов опроса на каждом туре полученные экспертные оценки Ki (i=1,2,...,n) упорядочиваются, например, в порядке убывания и определяются характеристики положения и разброса. При этом в связи с тем, что обычно используют незначительное число экспертов, вместо традиционных числовых характеристик в виде математического ожидания и среднеквадратического отклонения предпочтительно в качестве характеристик положения и разброса использовать более устойчивые - медиану и квартили.
Медиана служит характеристикой группового ответа, предпочтительный интервал квартилей - показателем разброса индивидуальных оценок. За медиану Me принимается член ряда, по отношению к которому число экспертных оценок с начала и конца ряда (справа и слева от медианного значения) будет одинаковым (см. рис. 7.2). Затем определяется верхний и нижний квартили, представляющие собой интервалы, в каждый из которых попадает 25% значений ряда. Средние квартили, расположенные слева и справа от медианы, считаются предпочтительными как характеристики разброса. (Qн-Qв).
Qн Ме Qв
K1 K2 K3 K4 K5 K6 K7 K8 K9 К
Рис. 7.2
На следующем туре каждому эксперту сообщаются значения полученных характеристик. Экспертов, чьи оценки оказались в крайних квартилях (справа от Qв или слева от Qн), просят обосновать их мнения и причины расхождения с групповым мнением. Так как ответы экспертов анонимны, они имеют возможность пересмотреть свои мнения, данные на предыдущем туре, и при желании исправить оценки. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми они пренебрегли в предыдущих турах. После получения новых оценок определяются новые медиана и квартили. Процедура может повторяться 3-4 раза.
Такая итеративная процедура позволяет после каждого тура эффективно уменьшать разброс индивидуальных экспертных оценок. При этом средняя оценка экспертов, изменивших свое мнение, сдвигается по направлению средней оценки группы (медианы), а эксперты, не изменившие свои оценки, дают более точное и строгое их обоснование.
Экспериментально установлено, что при использовании метода Дельфы наличие в группе менее знающих экспертов оказывает более слабое влияние их на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим специалистам улучшить свои оценки за счет использования информации от более компетентных специалистов.
1. Какое место занимает экспертное оценивание в методах системного анализа? Какие оценки называются экспертными?
2. В каких случаях используются экспертные оценки?
3. Какие методы экспертного оценивания используются наиболее часто ? Достоинства и недостатки анкетных методов экспертного оценивания.
4. Основные этапы экспертного оценивания методом ранжирования.
5. Основные расчетные соотношения, используемые при обработке экспертных оценок в методе ранжирования.
6. Как производится оценивание степени согласованности мнений группы экспертов?
7. Основные соотношения метода нормирования в экспертном оценивании.
8. Основные отличительные черты метода Дельфы.
9. Технология экспертного оценивания в методе Дельфы.
10. Понятие медианы и квартилей в методе Дельфы.
8. КОЛИЧЕСТВЕННЫЙ АНАЛИЗ ДЕРЕВЬЕВ ВЗАИМОСВЯЗЕЙ
Целью данной главы является демонстрация на конкретных примерах методов количественной оценки компонент различных деревьев взаимосвязей. Наличие таких численных оценок (коэффициентов относительной важности) позволяет проводить достаточно полный количественный анализ как деревьев взаимосвязей, так и проблем и задач, которые эти деревья представляют в структурированном виде.
В отличие от предыдущих глав рассмотрим построение и расчет деревьев взаимосвязей на простых и достаточно понятных примерах.
Допустим, перед нами стоит приятная проблема (бывают и такие) связанная с планированием и организацией своих действий на период рождественских праздников (каникул). Хотя, таковое понятие только входит в наш обиход, мы, тем не менее, должны ничего не забыть и учесть все, что необходимо сделать в этот период. Для этого мы вначале построим и проанализируем дерево целей. На рисунке 8.1 представлен один уровень такого дерева. При построении этого уровня использовался принцип полного охвата всех сторон данной проблемы. Мы исходили из того, что период рождественских праздников включает три основных этапа, отраженных в виде подцелей.
Первая подцель требует для своей реализации наших действий связанных с поздравлением друзей и знакомых католиков (приобретение подарков, отправление почтовых и других поздравлений, возможные посещения друзей и праздничных мероприятий и т.п.).
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
