Задачи прогнозирова-ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож-ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб-лемной ситуации. Наличие обратной связи позволяет концентриро-вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис-кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен-ку вариантов, не ограничивая при этом их числа.
Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле-дующих шести этапов.
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен-ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников при-своением ему номера с последующим обращением к участнику по но-меру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обя-зательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладаю-щие высоким уровнем общей эрудиции и понимающие смысл проблем-ной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб-лемной ситуации и включает описание этого метода и описание проб-лемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причи-ны возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гипер-болизировать последствия, с тем чтобы острее ощущалась необходи-мость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуа-ции, формулировку проблемной ситуации в виде центрального вопро-са с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер-жание проблемной ситуации, ведущий концентрирует внимание участ-ников на основном вопросе. Свое выступление ведущий должен стро-ить таким образом, чтобы пробудить психологическую восприимчи-вость участников, заставить их почувствовать потребность сде-лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем-ной ситуации.
Активная деятельность ведущего предполагается только в на-чале «мозговой атаки». После того как участники достаточно воз-будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб-же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
Сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;
Не объявлять ложной, не осуждать и не прекращать исследова-ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
Приветствовать усовершенствование или комбинацию идей, пре-доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;
Оказывать поддержку и поощрение участникам, столь необходи-мые для того, чтобы освободить их от скованности;
Создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.
Четвертый этап - систематизация идей, выска-занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп-лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при-знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част-ным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж-дая из них подвергается всесторонней критике со стороны участ-ников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово-ды, опровергающие систематизированную идею. Особенно ценным яв-ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен-ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни-тофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:
1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.
2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.
3. Оценивается каждое критическое замечание и контридея:
а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.
Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп-ромиссов, когда единое мнение нельзя считать результатом беспри-страстного анализа проблемы.
Дельфийский метод . В последние два де-сятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мне-ния. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспер-тов в согласованное групповое мнение. Ему присущи все недостат-ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про-гнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс-пертов. К таким особенностям относятся: а) анонимность экспер-тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения про-цедуры экспертной оценки прогнозируемого явления, объекта участ-ники экспертной группы неизвестны друг другу. При этом взаимо-действие членов группы при заполнении анкет, полностью устраня-ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключа-ется в следующем: поскольку групповое взаимодействие осуществля-ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле-кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони-рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож-ность группе специалистов концентрировать свои усилия на перво-начальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зре-ния, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени разли-чия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характерис-тики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квар-тилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оцен-ки которого одной половиной членов группы были больше этого чис-ла, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преиму-ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос-тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя-занных и переходящих друг в друга путей развития.
Представив прогноз научно-технических сдвигов как Д 1 , Д 2 , …, Д n , а соответствующие им вероятности как Р 1 , Р 2 , …, Р n и по-лагая Р 1 =100% , находят изменения значений Р 2 , …, Р i , …, Р n .
При введении перекрестной корреляции значения каждого собы-тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со-ответствия модели реальным условиям в модель могут быть введены элементы случайности.
Сущность методов экспертных оценок для разра-ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог-нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз-вития данной отрасли. Количество экспертов, привлекаемых для раз-работки прогноза, может колебаться от 10 до 150 человек, в зави-симости от сложности объекта.
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не-обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред-ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости-жения цели. При этом направления научных исследований и разрабо-ток не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в раз-работке вопросов, которые будут предложены экспертам. Форма воп-роса может быть разработана в виде таблиц, но содержание их долж-но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур-но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обес-печить однозначность понимания отдельных вопросов, а также неза-висимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс-пертных оценок, которые характеризуют обобщенное мнение и сте-пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1)метод простой ранжировки (или метод предпочтения);
2)метод задания весовых коэффициентов;
3)метод парных сравнений;
4)метод последовательных сравнений.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два - следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
Таблица 2.1 Экспертные оценки признаков (направлений исследований)
Порядок предпочтения данного признака перед другими.
Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S j j-го признака:
где m kj - количество экспертов, оценивающих j-й признак (m k m);
i - номер эксперта; i = 1,…,m;
j - номер признака, j = 1,2,…,n.
Определяется средний ранг каждого признака. Чем меньше величина S j , тем больше важность этого признака.
Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.
Определяется средний ранг совокупности признаков:
Вычисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:
Определяется число одинаковых рангов, назначенных экспертами j-му признаку - t q .
Определяется количество групп одинаковых рангов - Q. Определяется коэффициент конкордации по формуле:
,(2.4)
,(2.5)
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии - нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.
По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти - противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.
Достоинства метода простой ранжировки:
1) сравнительная простота процедуры получения оценок;
2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.
Недостаток же его в том, что:
1) заведомо считают распределение оценок равномерным;
2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.
Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:
1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.
Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 - 2.5).
Метод последовательных сравнений заключается в следующем:
1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А 1 > A 2 >…> A n ;
2) присваивает первому признаку значение, равное единице: A 1 =1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3) сравнивает значение первого признака с суммой всех последующих.
Возможны три варианта:
A 1 >A 2 + A 3 + … + A n
A 1 = A 2 + A 3 + … + A n
A 1 < A 2 + A 3 + …+ A n
Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;
4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.
Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:
A 1 > A 2 + A 3 + … + A n-1
A 1 = A 2 + A 3 + … + A n-1
A 1 < A 2 + A 3 + … + A n-1
5) процедура повторяется до сравнения A 1 с A 2 + A 3.
После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:
A 1 > A 2 + A 3
A 1 < A 2 + A 3
он переходит к уточнению оценки второго признака A 2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.
Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.
Недостатки метода таковы:
1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;
2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).
Метод парных сравнений
Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.
Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.
Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй - результат сравнения первого признака со вторым, в третьей - результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором - единицу, в третьей - сравнение второго признака с третьим и т.д.
Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:
После ряда математических преобразований мы получаем оценки каждого признака А 1 , А 2 , … ,А n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.
Суммарная матрица имеет вид
m - число экспертов, оценивающих данный набор признаков;
- оценки соответственно 1, 2, …, j, …, m экспертов;
Суммарные оценки, данные всеми экспертами.
Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.
Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.
В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:
, (2.6)
где- коэффициент компетентности эксперта;
Коэффициент степени знакомства эксперта с обсуждаемой проблемой;
Коэффициент аргументированности.
Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:
0 - эксперт не знаком с вопросом;
1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;
4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;
7,8,9 - эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;
10 - вопрос входит в круг узкой специализации эксперта.
Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.
Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.
Определив коэффициент компетентности, умножают на него значение оценок экспертов.
Таблица 2.2 Значения коэффициента аргументированности
После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:
Определение компетентности экспертов и обобщенной оценки объектов;
Построение обобщенной ранжировки объектов;
Определение согласованности мнений экспертов;
Определение зависимостей между ранжировками.
2.4.1 Определение компетентности экспертов и обобщенной оценки объектов
Пусть m экспертов произвели оценку n объектов. Результаты оценки представлены в виде величин x ij , где j- номер эксперта, i- номер объекта. Эти величины могут быть заданы с использованием баллов либо чисел, принадлежащих некоторому отрезку числовой оси.
Коэффициент компетентности экспертов и обобщенные оценки объектов для тех случаев, когда проводится непосредственное числовое оценивание альтернатив можно вычислить по апостериорным данным, т.е. по результатам оценки объектов. При этом компетентность экспертов оценивается по степени согласованности их оценок с групповой оценкой объектов.
Алгоритм вычисления коэффициентов компетентности экспертов и обобщенной оценки объектов сводится к расчетам по следующим рекуррентным формулам:
Вычисления начинаются с t=1. Начальные значения компетентности принимаются одинаковыми и равными
В работе были исследованы вопросы сходимости рассматриваемой рекуррентной процедуры. Для этого из уравнений (1) и (3) были исключены переменные k j (t-1) и x i t . Указанные уравнения (после данного преобразования) в векторно-матричной форме примут вид
(4)
где матрицы B и C имеют соответственно размерности (n*n) и (m*m):
Из теоремы Перроны-Фробениуса следует, что если матрицы B, C неотрицательны и неразложимы, то при t®¥ векторы сходятся к собственным векторам матриц B и C , соответствующим максимальным собственным числам этих матриц. Предельные значения векторов вычисляются при решении следующих уравнений:
(5)
(6)
где l B , l C - максимальные собственные числа матриц B, C .
На практике условия неразложимости и неотрицательности B, C практически всегда выполняются.
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
| Твитнуть |
Все темы данного раздела:
С о д е р ж а н и е
стр.
Предисловие……………………………………………….….
1.
Цель р
Цель работы
Целью работы является изучение методов обработки экспертной информации.
Выполнение работы предполагает закрепление курсантами знаний по материалу дисциплины “Военная систем
Сущность метода экспертных оценок
Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.
В процессе ре
Подбор экспертов
В зависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение, (ЛПР) или назначаемая им группа управления. Подбор колич
Опрос экспертов
Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: ан
Построение обобщенной ранжировки объектов
Рассмотрим теперь случай, когда эксперты производят измерение объектов в порядковой шкале методом ранжирования, так что xij есть ранги. Задачей обработки является построение обобщенной
Определение согласованности мнений экспертов
При оценке объектов эксперты обычно расходятся во мнениях по решаемому вопросу. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Оценка согласованности мнени
Определение зависимостей между ранжировками
При обработке результатов ранжирования нередко возникает необходимость определения зависимости между результатами ранжирования, полученными от двух экспертов. Принято меру взаимосвязи оценивать ко
Формула Спирмена верна лишь при отсутствии в ранжироваках связанных (повторяющихся) рангов ообъектов
Пусть ранжировки двух экспертов, тогда оценки взаимного корреляционного момента и дисперсии этих ранжировок вычисляются по формулам:
Произведем расчет коэффициентов компетентности экспертов и коэффициентов обобщенной оценки объектов
Для расчета коэффициентов компетентности экспертов и обобщенной оценки объектов воспользуемся формулами (5), (6)
Произведем расчет обобщенной ранжировки объектов
Построим матрицы ранжировок экспертов (y1, y2, y3 ,y4)
y1=
О1
Произведем расчет дисперсионного коэффициента конкордации экспертов
Матрица ранжировок А имеет связанные ранги, поэтому для определения коэффициента конкордации экспертов воспользуемся формулами (15), (16).
Подготовим исходные данные для расчета ранговой корреляции пар экспертов. По оценкам объектов произведем их ранжировку
Э О
О1
О2
О3
О4
Hn
hk
T
13.4. Обработка экспертных оценок
Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:
определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
оценки согласованности и зависимости мнений экспертов;
оценки достоверности полученных расчетных величин.
Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.
Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.
Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта. Частота максимально возможных оценок дляj -го объекта определяется по формуле:
где – количество максимально возможных оценок, полученных j -тым объектом;
–количество экспертов, оценивающих j -ый объект исследования.
Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.
Сумма рангов объекта исследования определяется по формуле:
где – ранг оценкиj -м экспертом j - го объекта.
Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.
Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.
В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).
Коэффициент вариации (V j ) оценок, данных j - му объекту определяется по формуле:
где – оценка в баллахi -м экспертом j -гo объекта;
– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:
где m j – количество экспертов, оценивающих j - ый объект.
Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.
Коэффициент парной ранговой корреляции Спирмена для двух экспертовα и β определяется по
где – ранговые оценкиj - гo объекта экспертов α и β;
п – количество оцениваемых объектов;
– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:
если все n рангов оценок, назначенных i -м экспертом различны, то Т i = 0, иначе для равных рангов:
где L – количество групп связанных рангов;
t 1 – количество связанных рангов в 1- й. группе.
Значение коэффициента указывает на полную согласованность мнений экспертовα и β; значение – о полной противоположности мнений экспертов; значение– об отсутствии связи между мнениями экспертов.
Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:
затем вычисляются отклонения d j суммы рангов оценок, полученных j - м объектом от :
после этого подсчитываются показатели T i связных (равных) рангов ранговых оценок, назначенных i -м экспертом; в конечном итоге рассчитывается коэффициент конкордации:
где m 1 – количество экспертов, оценивших хотя бы один объект.
Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.
Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:
рассчитывается значение по формуле:
где т – количество экспертов,
затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).
По таблице значений для определенного числа степеней свободы и найденного значенияопределяется вероятностьР случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – P o (обычно Р o = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Р o , тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.
Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.
В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i -ой локальной АИСУ, ведущий специалист по разработке i -ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.
Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i -x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:
получены количественно определенные ответы на предлагаемые вопросы;
получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;
получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.
В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.
Таблица 9
При проведении анализа собранных экспертных данных в соответствии с це-лями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласован-ность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска - в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распростра-ненными из них являются: ранжирование, непосредственная оценка, последова-тельное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности дей-ствий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экс-пертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками раз-личных экспертов отсутствует. При W = 1 - согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше за-данного (нормативного) значения Wн (W > Wн).
Можно принять Wн = 0,5. Считается, что при W > 0,5 действия экспер-тов в большей степени согласованы, чем не согласованы.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выяв-лены пять видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
При полностью согласованном мнении экспертов каждый из них перво-му виду риска дал два балла, второму - один, третьему - четыре, четвертому - три, пятому - пять. В этом случае суммарный ранг важ-ности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.
Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 n (m+1) и в рассматрива-емом примере среднее значение составляет - 12.
Таким образом, мнения экспертов можно считать в достаточной степени согласованным.
Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.
Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и исполь-зуются в процессе подготовки и реализации управленческих решений.
Если полученные оценки нельзя считать достоверными, следует повто-рить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.
Здесь следует отметить важную роль организаторов экспертизы, в за-дачи которых входят:
постановка проблемы, определение целей и задач экспертизы, ее гра-ниц и основных этапов;
разработка процедур экспертизы, в наибольшей степени соот-ветствующей характеру решаемой проблемы; отбор экспертов, провер-ка их компетентности и формирование групп экспертов;
проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.
От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оце-нок, в т.ч. и достоверность этих оценок.
Еще по теме Анализ и обработка экспертных оценок:
- Экспертные процедуры и методы субъективных оценок при измерении риска
Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:
· определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
· оценки согласованности и зависимости мнений экспертов;
· оценки достоверности полученных расчетных величин.
Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.
Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.
Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта j - k maxj , сумма рангов объекта j - S rj . Частота максимально возможных оценок для j - го объекта определяется по формуле:
где m maxj - количество максимально возможных оценок, полученных
j - тым объектом;
m j - количество экспертов, оценивающих j-ый объект исследования.
Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.
Сумма рангов объекта исследования определяется по формуле:
где R ij - ранг оценки j-м экспертом j - го объекта.
Если среди оценок данных j - м экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов по S rj наиболее важным следует считать объект, характеризующийся его наименьшим значением.
Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то есть если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т.д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.
В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирмена или Кендалла), коэффициент конкордации (дисперсионный или энтропийный).
Коэффициент вариации (v j) оценок, данных j- му объекту определяется по формуле:
, (13.3)
где C ij - оценка в баллах i -м экспертом j -го объекта;
M j - среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:
где m j - количество экспертов, оценивающих j - ый объект.
Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.
Коэффициент парной ранговой корреляции Спирмена (Pab) для двух экспертов a и b определяется по формуле:
, (13.5)
где R a j , R b j - ранговые оценки j -го объекта экспертов a и b;
n - количество оцениваемых объектов;
T a ,Tb - показатели связанных (равных) рангов оценок экспертов a и b, вычисляемые следующим образом: если все n рангов оценок, назначенных i-м экспертом различны, то T i =0, иначе для равных рангов:
, (13.6)
где L - количество групп связанных рангов;
t l - количество связанных рангов в l - й группе.
Значение коэффициента P a b = +1 указывает на полную согласованность мнений экспертов a и b; значение P a b = -1 - о полной противоположности мнений экспертов; значение P a b = 0 – об отсутствии связи между мнениями экспертов.
Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности:
вначале вычисляется среднее арифметическое M сумм рангов оценок всех объектов:
, (13.7)
затем вычисляются отклонения d j суммы рангов оценок, полученных j-м объектом от M:
, (13.8)
после этого подсчитываются показатели T i связных (равных) рангов ранговых оценок, назначенных i - м экспертом;
в конечном итоге рассчитывается коэффициент конкордации:
, (13.9)
где m 1 - количество экспертов, оценивших хотя бы один объект.
Коэффициент конкордации изменяется в передлах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.
Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат»c 2 R . Последовательность определения уровня значимости по данному критерию состоит в следующем:
рассчитывается значение c 2 R по формуле
, (13.10)
где m- количество экспертов,
затем вычисляется количество степеней свободы (r= n-1 , где n - количество исследуемых объектов).
По таблице значений c 2 R для определенного числа степеней свободы и найденного значения c 2 R определяется вероятность P случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – P o (обычно P o = 0,05 или 0,01), называемое уровнем значимости. Если P оказывается меньше P o , тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.
Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.
В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i - ой локальной АИСУ, ведущий специалист по разработке i - ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т.п. В свою очередь от специалистов, занимающиихся эксплуатизацией системы, должно быть не менее шести экспертов.
Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i - х локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:
· получены количественно определенные ответы на предлагаемые вопросы;
· получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;
· получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.
В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния i -х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции (C 1t , C 2t ,…., C nt), на часть из которых они могут повлиять.
В качестве примера в табл. 9 приведен перечень пяти задач АИС ОУ по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов,после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.
Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.
Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл.10.
После этого в клетки табл. 10, отмеченные экспертами знаком «+» заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (K ai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:
· значение коэффициента аргументированности K ai < 1.;
· значению K ai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;
· значению K ai = 0,5 соответствует низкая степень влияния на мнение эксперта всех источников аргументации.