7. МЕТОДЫ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ
Основной целью данной главы является рассмотрение методов количественной оценки локальных подпроблем (подпроцессов), полученных в результате структуризации проблем. Поскольку речь идет об анализе компонент сложных проблем (систем), имеющих, как правило, качественное описание, то для количественной оценки этих компонент используются методы и технологии экспертного оценивания. Рассматриваемые в главе процедуры экспертного оценивания могут быть использованы и непосредственно на этапах структуризации проблемы (формирование локальных проблем и их качественное описание).
Практический опыт использования методов системного анализа показал, что предпочтение, где такое возможно, следует отдавать достаточно простым методам. Это положение относится и к экспертным методам. Экспертные методы широко используются при определении коэффициентов относительной важности (КОВ) в деревьях взаимосвязей и, вообще, когда необходимо из указанного множества свойств и взаимосвязей отобрать лишь существенные, наиболее важные. Приходиться также прибегать к помощи экспертов, чтобы проранжировать рассматриваемые свойства и взаимосвязи по степени их важности и существенности. В данной главе будут рассмотрены некоторые из методов экспертных оценок, которые могут быть использованы как при построении деревьев взаимосвязей и выборе предпочтительных управленческих решений, так и при разрешении других проблем с помощью аппарата системного анализа.
Следует отметить, что при анализе сложных систем некоторые из существенных свойств и взаимосвязей либо вообще не допускают количественного описания, либо не представляется возможным в рассматриваемый момент времени получить о них количественные данные. Поэтому в этих случаях необходимо с помощью экспертов получить информацию качественного характера, основанную на опыте и интуиции специалистов. Такие качественные оценки носят название экспертных оценок.
Более того, выработка сложных решений в ситуациях неопределенности требует участия не одного эксперта, а группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество групповой оценки как раз и заключается в возможности разностороннего анализа количественных и качественных аспектов таких проблем. Кроме того, существуют проблемы, где без участия группы специалистов просто невозможно обойтись. Таковы прогнозы в области политики, науки и техники, а также задачи выбора предпочтительной альтернативы с учетом комплекса качественно различных факторов.
При использовании мнений группы экспертов предполагается, что организованное взаимодействие между специалистами позволит компенсировать смещения оценок отдельных членов группы и что сумма информации, имеющейся в распоряжении группы экспертов, будет больше, чем информация любого члена группы. Кроме того, очевидно, что сумма факторов, которые имеют отношение к данной проблеме и могут быть рассмотрены группой специалистов, как правило, больше или, по крайней мере, так же велика, как сумма факторов, которые может учесть отдельный эксперт. Анализ прогнозов, выполненных отдельными специалистами и оказавшихся неверными, показал, что одна из наиболее распространенных ошибок заключалась в том, что принимались во внимание факторы, которые впоследствии оказались малозначащими, и, наоборот, упускались наиболее существенные факторы.
В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы на ряд вопросов, чем два индивидуума. Предполагается, что коллективная ответственность позволяет специалистам принимать более рискованные решения и что интервал оценок, полученных от группы экспертов, включает в себя “истинную” оценку.
Однако групповым оценкам присущи известные недостатки. Xотя правило “ум хорошо, а два лучше” и служит одной из основных предпосылок организации групповых экспертиз, существует много трудностей, припятствующих получению надежной и согласованной групповой оценки.
Существенные затруднения связаны с решением проблемы соизмерения и объединения оценок экспертов, входящих в группу. Вопрос о возможности соизмерения и объединения индивидуальных оценок правомерен даже в тех случаях, когда все признаки, характеризующие рассматриваемые объекты, измерены с помощью одной и той же шкалы. Традиционные способы получения групповой оценки с помощью средних величин оказываются применимы только тогда, когда коллектив экспертов однороден в смысле характера ответов. В случае неоднородности коллектива средние оценки теряют содержательный смысл и могут оказаться в определенном смысле “хуже”, чем индивидуальные оценки, на основе которых они получены. Значительные трудности возникают и из-за различной “чувствительности” экспертов к предпочтениям. Имеются и другие проблемы при групповой экспертизе. И все же практика показывает, что экспертные методы дают более надежные результаты, чем любые другие методы групповых решений.
Для рационального использования информации, полученной от экспертов, необходимо преобразовать ее в форму, удобную для дальнейшего анализа. Возможности формализации информации зависят от особенностей объекта анализа, надежности и полноты имеющихся данных.
Важным для формализации информации является наличие у эксперта системы предпочтений, что означает способность эксперта сравнивать и оценивать возможные значения признаков объекта анализа путем приписывания каждому признаку определенного числа. В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации.
При использовании экспертов для анализа предметной области вводится понятие фактора, которым определяются свойства, характеристики и признаки объектов или взаимосвязи между ними. Условно факторы можно разделить на дискретные и непрерывные. Под дискретными понимают факторы с определенным (обычно небольшим) числом уровней. Если уровни образуют непрерывное множество, такие факторы рассматриваются как непрерывные. При формализации экспертной информации используются различные шкалы: порядковые, шкалы отношений, номинальные и др.
Наиболее распространенными в практике экспертных оценок являются анкетные методы и методы групповой экспертизы. К анкетным методам относятся ранжирование и нормирование, а также метод парных сравнений. Наиболее перспективными при групповой экспертизе являются метод Дельфы и некоторые его модификации.
Достоинством этих методов является простота, относительно малая стоимость, возможность одновременного охвата больших групп экспертов, возможность получения количественных результатов на основе статистического анализа экспертных данных. Недостатки этих методов следующие:
* незнание отношения опрашиваемого (серьезное или нет, заинтересованность в результатах и т.п.);
* неуверенность в том, правильно ли были поняты вопросы, поставленные в анкете;
* субъективность интерпретации вопросов;
* неполнота и возможность частичных ответов на вопросы.
Применительно к построению дерева взаимосвязей анкетными методами можно оценить коэффициенты относительной важности (КОВ) одного уровня дерева, так как по существу нужно упорядочить элементы (цели, подцели) по важности с точки зрения обеспечения цели верхнего уровня.
Метод ранжирования. Наиболее распространенными из анкетных методов являются ранжирование и нормирование. Метод ранжирования состоит в том, что эксперту предлагается присвоить числовые ранги каждому из приведенных в анкете факторов. Ранг, равный единице, приписывается наиболее важному, по мнению эксперта, фактору, ранг, равный двум, присваивается следующему по важности фактору и т.д.
Порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых элементов. Иногда возникает ситуация, когда эксперт затрудняется провести четкое разграничение между некоторыми элементами. В этом случае вводятся так называемые стандартизованные или связанные ранги (Rсв).
Например, эксперту предлагается проранжировать по важности факторы, используемые в отделе труда и заработной платы предприятия (см. таблицу 7.1). Факторам 3 и 5, поделившим между собой второе и третье места приписывается связанный ранг
Rсв = (2 + 3)/2 = 2.5,
а факторам 2,4 и 6, поделившим соответственно 4,5 и 6 места, приписывается
Rсв = (4 + 5 + 6)/3 = 5.
В итоге получается следующая ранжировка (последний столбец таблицы).
Сумма рангов Sn, полученная в результате ранжирования n факторов, равна сумме чисел натурального ряда:
Sn = n * (n + 1)/2.
При большом числе оцениваемых факторов их “различимость”, с точки зрения эксперта, уменьшается. Поэтому число факторов не должно быть более 20, а наибольшая надежность процедуры ранжирования обеспечивается при n < 10.
Известно, что одним из недостатков анкетных методов является значительная субъективность экспертной оценки, поэтому для повышения степени ее объективности обычно проводят анкетирование нескольких экспертов. В случае, если ранжирование производится несколькими экспертами, то наивысший ранг присваивается фактору, получившему наименьшую сумму рангов, и наоборот, фактор, собравший наибольшую сумму рангов, получает самый низкий ранг N. Для формализации этой процедуры удобно воспользоваться относительными весами факторов, которые можно вычислить путем следующей обработки анкет.
Результаты опроса m экспертов относительно n факторов сводятся в матрицу размерности m*n (см. таблицу 7.2), которая называется матрицей опроса. Здесь Aij - ранг j-го фактора, данный i-м экспертом. При обработке матриц опроса переходят к преобразованным рангам по формуле
Sij = Amax - Aij.
При этом матрица опроса преобразуется в матрицу преобразованных рангов (Таблица 7.3), для каждого столбца которой определяется сумма
По данным таблицы 7.3 определяется относительный вес каждого фактора по всем экспертам:
, где
Для примера рассмотрим ситуацию: четыре эксперта проранжировали по важности три фактора из таблицы 5.1. Матрица опроса приведена в таблице 7.4.
Таким образом, самый большой относительный вес имеет третий фактор (0.317), который и получает наивысший ранг R=1, а наименьший ранг R=6 получит шестой фактор с самым низким весом (0.033).
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
