После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные,
выражающие предпочтения экспертов и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.
Как уже отмечалось, все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т.е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. В случае получения результатов измерения, близких к истинным, суждения экспертов группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.
Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к серьёзным ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться не на методах, использующих принципы осреднения, а на методах качественного анализа.
Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание мы уделим методам обработки результатов экспертизы для этого класса проблем.
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
· построения обобщенной оценки, объектов на основе индивидуальных оценок экспертов;
· построения обобщенной оценки на основе парного сравнения объектов каждым экспертом;
· определения относительных весов объектов;
· определения согласованного мнения экспертов;
· определение зависимостей между ранжировками;
· оценки надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и, тем саамы, устанавливать единство, и различие в мнениях экспертов. Важно установить зависимость между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами – средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение
одной цели при данных средствах способствует достижению других целей.
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.
Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.
Групповая оценка объектов
Рассмотрим алгоритмы обработки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объектов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i – номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.
Рассмотрим вначале случай, когда величины
(i = 1, …, n; j = 1, 2, …, m; h = 1, 2, …, l)
получены методами непосредственной оценки или последовательного сравнения, т.е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта:
(i = 1, 2,…, n), (12.12)
где q hj – коэффициенты весов показателей сравнения объектов, k j – коэффициенты компетентности экспертов.
Коэффициенты весов показателей и компетентности объектов являются нормативными величинами:
Коэффициенты весов показателей могут быть определены экспертным путем. Если q hj – коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен:
(h = 1, 2, …, l). (12.14)
Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т.е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.
Способ сумм рангов
Способ сумм рангов заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок ||r ij || составляются суммы:
r 1 < r 2 < …< r n .
Например, результаты ранжировки пяти объектов пятью экспертами представлены в таблице 12.2.
Таблица 12.2 Результаты ранжировки пяти объектов пятью экспертами
Результаты вычисления сумм рангов для всех объектов приведены в последней строке таблицы 12.2.
Из сравнения сумм рангов получаем цепочку неравенств:
r 2 < r 1 < r 3 < r 4 < r 5 .
Отсюда следует обобщенная ранжировка:
O 2 O 1 O 3 O 4 O 5 . (12.16)
В данном примере рассмотрен случай, когда отношение между объектами является отношением строгого порядка. Если имеется и отношение эквивалентности, то процедура построения обобщенной ранжировки по сумме рангов не изменяется.
Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент компетентности j-го эксперта:
В этом случае вычисление суммы рангов для i-гo объекта производится по следующей формуле:
(i = 1, 2, …, n). (12.17)
Обобщенная ранжировка с учетом компетентности экспертов строится на основе упорядочения сумм рангов для всех объектов.
Следует отметить, что построение обобщенной ранжировки по суммам рангов является корректной процедурой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, …, n. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие монотонности преобразования и, следовательно, можно получать различные обобщенные ранжировки при различных отображениях объектов на числовую систему. Нумерация мест объектов может быть произведена единственным образом с помощью натуральных чисел.
Обработка парных сравнений объектов
При решении задачи оценки большого числа объектов (при ранжировании, определении относительных весов, балльной оценке) возникают трудности психологического характера, обусловленные восприятием экспертами множества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокупности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть т экспертов производят оценку всех пар объектов, давая числовую оценку:
(12.18)
Если при оценке пары О i , О j в пользу предпочтения О i О j высказались m i экспертов, в пользу предпочтения О j О i высказались m j экспертов и m h экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины (r ij) равна:
. (12.19)
Общее количество экспертов равно:
m = m i + m h + m j .
Определяя отсюда m h и подставляя его в формулу (12.19), получим:
(i, j = 1, 2, …, n). (12.20)
Очевидно, что
x ij + x ji = 1.
Совокупность величин x ij образует матрицу n × m, на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов.
Коэффициенты относительной важности позволяют определить, во сколько раз один объект превосходит другой объект по сравниваемым показателям. Коэффициент важности может быть вычислен по формуле.
В квалиметрии экспертный метод применяется:
1) для измерения показателей качества;
2) для определения значений весовых коэффициентов.
Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.
Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:
экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;
в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;
вопросы, поставленные перед экспертами, не должны допускать различного толкования;
эксперты должны быть компетентны в решаемых вопросах;
количество экспертов должно быть оптимальным;
ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.
Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.
Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.
При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.
Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.
При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.
где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.
Решение.1. Среднее арифметическое рангов
2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.
3. Коэффициент конкордации
Степень согласованности мнений экспертов можно считать удовлетворительной.
Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:
анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;
многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;
контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.
При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.
* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.
Количество экспертов тоже играет важную роль.
С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n,
обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n.
Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n,
при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.
В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором различия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.
По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:
непосредственное измерение;
ранжирование;
сопоставление.
При непосредственных измерениях экспертным методом значения физических величин или показателей качества определяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле
где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.
По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.
Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.
Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.
Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:
лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование проводилось с целью определения весовых коэффициентов g i для семи показателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75
Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.
1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).
2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.
3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.
4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.
5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.
Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.
Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае
где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, связанное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением
Пример 76. Предположим для простоты, что пять экспертов, выразили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.
Решение 1. Частоты предпочтений
Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.
5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.
Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).
Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.
Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмотрения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.
Что можно сказать о результате измерения в третьем приближении? Решение.
1. В первом приближении
G 1 (1) = 1+2+2+1+2= 8;
G 2 (1) = 0+1+2+2+2= 7;
G 3 (1) = 0+0+1+0+0= 1;
G 4 (1) = 1+0+2+1+2= 6;
G 5 (1) = 0+0+2+0+1= 3.
2. Во втором приближении
G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;
G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;
G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;
G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;
G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.
3. В третьем приближении
G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;
G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;
G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;
G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;
G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.
4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).
5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.
Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным методом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где
После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .
После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным .
Если отношение близко к единице, задача считается решенной. В противном случае корректируется 
и расчет повторяется.
Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,
Мнения эксперта об объектах представлены табл. 48.
Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.
6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.
Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.
| По вопросам : klubok@сайт |
При проведении анализа собранных экспертных данных в соответствии с це-лями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласован-ность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска - в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распростра-ненными из них являются: ранжирование, непосредственная оценка, последова-тельное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности дей-ствий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экс-пертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками раз-личных экспертов отсутствует. При W = 1 - согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше за-данного (нормативного) значения Wн (W > Wн).
Можно принять Wн = 0,5. Считается, что при W > 0,5 действия экспер-тов в большей степени согласованы, чем не согласованы.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выяв-лены пять видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
При полностью согласованном мнении экспертов каждый из них перво-му виду риска дал два балла, второму - один, третьему - четыре, четвертому - три, пятому - пять. В этом случае суммарный ранг важ-ности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.
Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 n (m+1) и в рассматрива-емом примере среднее значение составляет - 12.
Таким образом, мнения экспертов можно считать в достаточной степени согласованным.
Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.
Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и исполь-зуются в процессе подготовки и реализации управленческих решений.
Если полученные оценки нельзя считать достоверными, следует повто-рить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.
Здесь следует отметить важную роль организаторов экспертизы, в за-дачи которых входят:
постановка проблемы, определение целей и задач экспертизы, ее гра-ниц и основных этапов;
разработка процедур экспертизы, в наибольшей степени соот-ветствующей характеру решаемой проблемы; отбор экспертов, провер-ка их компетентности и формирование групп экспертов;
проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.
От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оце-нок, в т.ч. и достоверность этих оценок.
Еще по теме Анализ и обработка экспертных оценок:
- Экспертные процедуры и методы субъективных оценок при измерении риска
Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.
В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений).
Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.
Применение методов осреднения, допустимых для «хороших измерителей», в данном случае может привести к значительным ошибкам, так как мнение одного эксперта, существенно отличающееся от мнения других экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка результатов экспертного оценивания.
Подбор экспертов
Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.
Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:
- уяснение решаемой проблемы;
- определение перечня областей деятельности, связанных с решаемой проблемой;
- определение долевого состава экспертов по каждой области деятельности;
- определение количества и предварительного состава экспертов в группе;
- анализ квалификации экспертов и уточнение списка экспертов в группе;
- получение согласия экспертов на участие в работе;
- составление окончательного списка состава экспертов.
При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.
Компетентность - степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.
Креативность - это способность решать творческие задачи.
Конформизм - это подверженность влиянию авторитетов.
Конструктивность мышления - это способность формировать решения, обладающие свойством практичности (прагматизм).
Коллективизм - этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.
Самокритичность эксперта проявляется при самооценке своей компетентности.
Отношение к экспертизе - негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.
Опрос экспертов
Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: анкетирование и интервьюирование, дискуссии, метод «мозгового штурма» («мозговой атаки»), метод Дельфы.
Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.
Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.
Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.
АНКЕТИРОВАНИЕ
Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.
- объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т. п.);
- основные вопросы по сути анализируемой проблемы;
- дополнительные вопросы, позволяющие выяснить источники ин-формации, аргументацию ответов, самооценку компетентности эксперта и т. п.
По типу вопросы делятся на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Это позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.
Закрытые вопросы - это вопросы, на которые возможны следующие варианты ответов: «да», « нет», « не знаю». Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется определить степень большинства мнений по этим альтернативам.
Вопрос с веером ответов дает возможность эксперту выбрать один из предлагаемых ответов. Их целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы.
ИНТЕРВЬЮИРОВАНИЕ
Это устный опрос, проводимый в форме беседы-интервью. Интервью с экспертом проводится членом группы управления и является по сути беседой, в которой ответы на заранее разработанные вопросы даются в устной форме. Естественно, качество ответов в этом случае снижается, ибо у эксперта меньше времени на их обдумывание, хотя при такой форме общения может быть получен оригинальный взгляд на решаемую проблему. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.
МЕТОД ДЕЛЬФЫ
Представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. В первом туре опроса дельфийским методом экспертам предлагаются вопросы, на которые они дают ответы без аргументации. Полученные от экспертов данные обрабатываются с целью выделения среднего и крайних значений оценок. Результаты обработки первого тура сообщаются экспертам. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.
Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров - по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.
При проведении опроса по методу Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение подавления мнений экспертов за счет научного авторитета или должностного положения других экспертов.
ДИСКУССИЯ
Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.
Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.
Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.
МОЗГОВАЯ АТАКА (ШТУРМ)
Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.
Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.
Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.
Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.
На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.
Обработка экспертных оценок
После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:
- определение компетентности экспертов и обобщенной оценки объектов,
- построение обобщенной ранжировки объектов;
- определение согласованности мнений экспертов;
- определение зависимостей между ранжировками.
Основные этапы обработки экспертных оценок:
· определение компетенции экспертов;
· определение обобщенной оценки;
· построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);
· определение зависимостей между ранжировками;
· оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
· оценка ошибки исследования;
· построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
· подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).
26. Подбор экспертов и их опрос.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" , при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
27. Обработка информации, получаемой от экспертов, проверка ее согласованности и достоверности.
Экспертными оценками называют методы общей группы методов научного исследования, используемых для оценивания сложных систем на качественном уровне.
При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.
Алгоритм организации экспертных опросов включает этапы, на которых рассматриваются следующие вопросы:
· проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
· формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.);
· подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
· методы обработки экспертных оценок;
· способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса;
· варианты интерпретации полученных результатов.
Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.
Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок с использованием шкал и кончая более тонкими методами последовательного сравнения, например, Черчмена-Акоффа.
Процедуры экспертизы
В процессе экспертиз могут возникать погрешности – смещения оценок, вносимые самой процедурой сбора и анализа мнений экспертов. Поэтому специалисты в области экспертных методов большое внимание уделяют разработке надежных правил подготовки и проведения экспертиз. Ниже рассмотрены наиболее существенные правила и этапы проведения экспертиз.
Для подготовки экспертизы должна быть сформирована группа специалистов-организаторов. Эта группа призвана обеспечить условия для эффективной деятельности экспертов, разработать процедуру экспертизы, наиболее соответствующую характеру рассматриваемой проблемы. В задачи группы входит:
· Постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов;
· Разработка процедуры экспертизы;
· Отбор экспертов, проверка их компетентности и формирование групп экспертов:
· Проведение опроса и согласование оценок;
· Формализация полученной информации, ее обработка, анализ и интерпретация.
Численность группы экспертов не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок. Кроме того, на групповые оценки в значительной степени влияла бы оценка каждого эксперта. В то же время при очень большом количестве экспертов оценка каждого из них почти не влияет на групповую оценку. Рост численности экспертной группы не всегда повышает достоверность оценок, потому что зачастую расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов. С ростом числа экспертов, кроме того, увеличиваются трудности, связанные с обработкой результатов опроса и координацией работы группы.
Перед экспертным опросом должны быть разработаны правила его проведения и организации, содержащие ряд положений, обязательных для всех экспертов. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. К таким условиям относятся:
· Независимость формирования экспертами собственного мнения об оцениваемых событиях;
· Сохранение анонимности ответов;
· Возможность проведения коллективных обсуждений оцениваемых событий;
· Предоставление экспертам требуемой информации.
В зависимости от важности и сложности проблемы и соответственно задач, возлагаемых на группу организаторов, в ее состав включают до пяти – семи человек – специалистов в данной области (областях) знаний, а также специалистов по экспертным методам (социологов, психологов, математиков).
Подготовку экспертизы начинают с постановки проблемы . Для этого, прежде всего, знакомятся с предысторией и состоянием проблемы, устанавливают ее место и значение. После этого проводится предварительный анализ проблемы, уточняются все внешние и внутренние связи, определяются границы включаемого в рассмотрение материала. Для этого организаторы экспертизы выдвигают центральный вопрос, составляющий существо проблемы, а затем «расщепляют» его на подвопросы, при этом ограничивают «поле» рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос.
При решении сложных социально-экономических и научно-технических проблем эксперты, представляющие разные отрасли знаний, обращаются к понятиям разных дисциплин. Поэтому необходимо сформулировать основные понятия,. используемые при проведении экспертизы.
В зависимости от целей и задач экспертизы, от подбора участвующих в ней специалистов организаторы экспертизы выбирают метод опроса: индивидуальный или групповой (коллективный), личный (очный) или заочный, устный или письменный.
Независимо от того, идет ли речь об анкете или интервью, в основе опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации. Перевод цели и задачи экспертизы на язык вопросов требует от организаторов экспертизы сложной и кропотливой работы, знания различных типов вопросов, умения точно сформулировать их, расположить в определенной последовательности.
Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы. Все вопросы анкеты в зависимости от их содержания можно подразделить на три группы: данные о самом эксперте (его возрасте, должности, стаже работы, образовании, научном звании, узкой специализации и т.п.); вопросы по существу исследуемой проблемы; вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.
По форме различают вопросы открытые, закрытые и полузакрытые; прямые и косвенные. Вопрос считается открытым (свободным), если ответ на него может быть дан в любой форме и ничем не регламентирован, закрытым – если в его формулировке содержатся варианты возможных ответов, а эксперт должен выбрать один или несколько; полузакрытым, если перечнем предусмотрена возможность любых дополнительных замечаний.
Различают три вида вопросов, по которым дается экспертная оценка, - вопросы, ответы на которые содержат количественную оценку (1), требующие содержательного ответа в сжатой (2) и развернутой (3) форме.
Работа по отбору экспертов, участвующих в экспертизе, обычно начинается с составления списка компетентных в исследуемой области лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Различаются четыре основные группы таких методов: самооценки; оценки группой каждого специалиста; оценка на основе результатов прошлой деятельности эксперта; методы оценки компетентности кандидатов в эксперты.
©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-04-27