ГЛАВА 23. МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

Метод экспертных оценок как самостоятельный научный инструмент для решения неформализуемых проблем начал развиваться с конца 40-х годов ХХ века. Разработка и использование метода для решения задач долгосрочного прогнозирования впервые была осуществлено сотрудниками РЭНД Корпорейшн (США) Д. Гордона и О. Хелмера. Ими была разработана одна из первых разновидностей метода экспертных оценок, известной под названием «Дельфы». В 1963 г. в США, на основе этого метода проводилось прогнозирование развития широкого круга социетальных проблем на ближайшие десятилетия. В результате 4-х этапной экспертизы с участием 82-х высоко квалифицированных специалистов был построен прогноз научных достижений человечества на период до 2000 года. В 1964 г. фирмой Хониуэлл (США) была разработана методика «Паттерн», целью которой являлось обоснование направления деятельности фирмы в стратегической перспективе. Эта методика в дальнейшем использовалась для стратегического планирования и управления научными исследованиями и разработками крупных программ в общегосударственном масштабе. В 1965 г. в США осуществлялся еще один тип экспертного проекта «Форекаст», который предусматривал разработку долгосрочного прогноза развития систем и средств вооруженной борьбы и планирования оперативной военной деятельности. К разработке этого проекта привлекались огромное число экспертов (ученые и инженеры) 26 университетов и колледжей, 70 корпораций, 10 некоммерческих организаций. Экспертная процедура проводилась в 7 этапов:

1) оценка состояния науки и техники и прогноз ее развития на 10 лет;

2) оценка политических целей США, влияющих на разработку проекта;

3) определение научно-технического потенциала и его развития на 10 лет у вероятного противника;

4) оценка возможности использования научно-технических достижений, признанных реальными в будущем;

5) анализ и оценка предыдущих этапов;

6) анализ вариантов использования прогнозируемых научно-технических достижений;

7) выбор наиболее перспективных вариантов систем оружия с точки зрения стратегических и тактических критериев.

Метод экспертных оценок, несмотря на кажующуюся организационную простоту использования в социологических исследованиях, с точки зрения вовлекаемых ресурсов, требует тщательного выбора системы измерения объектв, доступа к специализированным банкам данных, отбора спецалистов-профессионалов, и самое главное – наличия специализированных программ обработки данных экспертизы. Без этого анкетные бланки, на которых написано «Анкета эксперта» и обработанных простым подсчетом частот ответов, обычно являются ни чем иным как срезом общественного мнения определенной профессиональной или социальной группы.

Экспертиза хорошо зарекомендовала себя в социологических исследованиях самого разного проблемного профиля. Прежде всего, в исследовании проблем управления и научного прогнозирования, где скапливается большое число неформализуемых социально-экономических, социокультурных, технологических и иных проблем.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых предполагается наличие достаточного информационного потенциала, позволяющего успешно решать эти проблемы. Основные трудности в решении проблем этого класса при экспертной оценке заключаются в реализации наличного информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом, методы экспертизы обработки основываются на использовании принципа «хорошего измерителя».Данный принцип означает, что исследователь придерживается следующих гипотез: А) эксперт является хранилищем большого объема рациональносистематизированной информации; И поэтому, Б) он может рассматриваться как качественный источник информации (своего рода «информационный измеритель» с небольшими погрешностями); В) групповое мнение экспертов близко к истинному решению проблемы. Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал имеющихся знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень тщательно проводить набор экспертов, подготовки инстументария и обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должен применяться качественный анализ обработки результатов экспертизы. В данном разделе основное внимание уделяется вопросам экспертного оценивания для решения проблем первого класса.

В наше время возможная область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1 составление перечня возможных событий в различных областях за определенный промежуток времени;

2 определение наиболее вероятных интервалов времени свершения совокупности событий;

3 определение целей и задач управления с упорядочением их по степени важности;

4 определение альтернативных вариантов решения задачи с оценкой их предпочтения;

5 альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6 альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности и т.п.

Для решения перечисленных типовых задач применяются различные разновидности метода экспертного оценивания. К основным их видам относятся: анкетирование и интервьюирование, мозговой штурм, дискуссия, совещание, оперативная и деловая игры, сценарный метод, метод «Дельфы». Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область их применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарный метод предполагают индивидуальную работу эксперта. Интервьюирование может проводиться как индивидуально, так и с группой экспертов. Остальные виды предполагают коллективное участие экспертов в работе. Независимо от индивидуального или группового участия экспертов в работе, принципиальным моментом является формирование выборки экспертов, как источников информации, повышенной надежности. На этой основе получаются более значимые и новые в научном плане результаты, чем это бывает при использовании других методов исследования.

Программа (стратегический план) групповой экспертизы.Организация экспертного оценивания осуществляется на тех же принципах, что и проведение любого социологического исследования. Основа организации - разработка программы исследования, в которой формулируется цель работы и основные методические и организационные положения по ее выполнению, с указанием сроков, этапов, ресурсов, с определением руководителя экспертизы и членов группы ее проведения. Основными процедурами исследования являются: подбор экспертов, организация процедур экспертизы, проведение опроса экспертов, обработка результатов опроса, представление результатов. Каждая из них, в свою очередь, может содержать ряд отдельных этапов.

Стратегический план групповой экспертизы включает следующие компоненты:

· Четкое формулирование проблемы.

· Выбор формы опроса (метод фиксации мнений экспертов) – от телефонного опроса до формализованного интервью.

· Выработка принципов и методов получения группового суждения - перечень альтернатив, бальных оценок, полных парных сравнений, и т.п.;

· Выбор способов выявления и учета индивидуальных мнений (техника опроса).

· Формирование экспертной группы.

· Проведение опроса экспертов

· Обработка результатов (получение группового суждения).

· Анализ результатов.

Пожалуй, основная проблема при разработке программы экспертизы — выбор формы проведения экспертизы (метода опроса), поскольку результат работы должен быть отражен в соответствующем документе, как и способ(ы) решения проблемы.

Вторая задача этого этапа — выбор способа оценивания (формы выражения индивидуального мнения).Мнение — это отношение эксперта к изучаемой проблеме. Исследователь может работать только с суждениями - объективизированными мнениями. От того, насколько правильно выбрана форма выражения мнения, зависит точность его «передачи», следовательно, качество всей экспертизы. Предположим, что аттестационной комиссии (группе экспертов) надо выбрать одного из нескольких кандидатов на вакантную должность. Возможны, по крайней мере, три способа выражения мнений членов комиссии: перечисление кандидатов в порядке их пригодности на эту должность (полное упорядочение), попарное сравнение с указанием наиболее пригодного и указание одного, наиболее пригодного из всех. Каждый имеет свои достоинства и недостатки: ошибка, транзитивность мнений и искажении мнений. Выбор конкретный формы индивидуальных суждений зависит от многих факторов, в частности, от количества оцениваемых вариантов, от формы группового суждения, числа объектов оценок и т.д.

Большое влияние на результаты экспертизы оказывает принцип учета индивидуальных мнений при выработке группового суждения. Исследователь должен решить, равнозначны ли будут мнения экспертов, или на мнения одних надо полагаться больше, чем на мнения других. Первому случаю соответствует эгалитарный (уравнительный) принцип учета мнений, второму - «весовой».Суть«весового» принципа в том, что исследователь определяет компетентность каждого эксперта и в соответствии с ней приписывает его суждениям «вес» — индекс компетентности. Можно указать две группы методов определения весов — априорные, основанные, как правило, на оценке компетентности эксперта другими экспертами и апостериорные, основанные на результатах экспертизы. Последние строятся на предположении, что от компетентности эксперта зависит точность его суждений, понимаемая либо как соответствие его суждений последующим событиям, либо как совпадение его суждения с групповым. Использование этого варианта, как критерия точности сомнительно, так как, с одной стороны, мы получаем лишь сравнительную оценку компетентности, а с другой,— оценку скорее конформизма, а не компетентности эксперта. Исследователь обязан заранее решить,какстроить процедуру экспертизы: ориентироваться на единство мнений или же на их разнообразие. Возможен и третий вариант, когда решение проблемы зависит от общего характера экспертизы и от устойчивости установок экспертов. Иногда специально вводят в процедуру этап «раскачки» установок экспертов с тем, чтобы впоследствии снять эту проблему.

На втором этапе организации экспертизы решающим является назначение конкретных экспертов (когоиз них привлекать к экспертизе). На практике очень трудно, а зачастую и невозможно измерить количество специальных знаний, которыми обладает тот или иной человек. Существует формальные процедуры определения авторитетности эксперта, например, по итогам проведенных экспертиз, но если такого опыта нет, приходится полагаться на общие соображения, интуицию либо разрабатывать соответствующие методы.

Формирование группы экспертов.Существует немало утвердившихся методов выявления и обработки мнений экспертов. Однако до сих пор самый первый шаг ее проведения — формирование и оценка экспертов обычно делается на основании весьма общих соображений о том, что «список» специалистов должен состоять из достойных людей, и он не должен быть ни слишком мал (соображения репрезентативности), ни слишком велик (соображения трудоемкости). Каким бы благими намерениями при этом ни руководствовались руководители экспертизы, первый неверный шаг может оказаться роковым. Вопрос «А судьи кто?» всегда витает в атмосфере экспертизы и в результате возникает сомнение или недоверие к ней. Опыт показывает, что ортодоксальность, методичность – основа точности.

Отбор методом «снежного кома». Первое - необходим предварительный список ведущих специалистов в данной области. Затем, каждому из них предлагается назвать десять специалистов, наиболее сведущих в изучаемом вопросе. Получив ответы, убедились, что в круг экспертов попали новые лица. «Новенькие», в свою очередь, могут назвать еще по десять экспертов. На этот раз доля повторно названных экспертов увеличилась, но опять появилось несколько "новеньких». Процедура повторяется до тех пор, пока в ответах перестают появляться новые фамилии и перечень закрывается. Мы получили полный список экспертов, сформированный самими экспертами. Процедуру опроса можно оборвать несколько раньше, когда накопится 90—95% повторений. Доказано, что ошибка в этом случае несущественна для дальнейших оценок.

Учет неравноценности мнений.Составив коллектив экспертов, нужно предусмотреть учет неравноценности мнений его членов, поскольку существует объективная проблема разного уровня знаний и опыта специалиста, попавшего в список. Но этот учет не должен быть произвольным. Каковы здесь могут быть критерии авторитетности экспертов? Прежде всего, это частота перекрестных упоминаний одних специалистов другими (своеобразный индекс цитирования). На первый взгляд, она и является единственно правильной. Однако это не совсем так. Само по себе число повторений не даст объективной оценки. Предположим специалист А назван 6 раз, специалист Б—5 раз. Но 6 экспертов, назвавших А, сами были названы (в сумме) 20 раз, а 5 специалистов, назвавших Б — 40 раз. Отсюда возникает вопрос уже об авторитетности самих «оценщиков». Однако метод позволяет существенно уточнить первоначальную оценку, основанную частоте упоминаний. Процесс может быть продолжен и, очевидно, что на каждой последующей итерации (приближении) будет получаться все более уточненная оценка авторитетности экспертов.

Как практически решить эту задачу? Составим таблицу по типу социоматрицы, в вертикальные столбцы которой поместим фамилии (или номера) тех экспертов, «кто назвал», а в горизонтальные строчки — тех «кого назвали» (табл. 1).

Таблица 1.

Учет неравноценности мнений экспертов.

Для простоты возьмем список, состоящий из 10 экспертов, каждый из которых мог назвать пятерых ведущих специалистов. Поскольку на первой итерации оценки одинаковы, всем названным специалистам в соответствующих местах матрицы ставим единицы. По диагонали расположились нули, так как сам себя никто не называл. Как видно из итогов, каждый специалист израсходовал, как ему и полагалось, по 5 голосов, и набрал от 2 до 8 голосов. Правый итоговый столбец в первом приближении и представляет собой оценку авторитетности экспертов. Далее, предварительные оценки авторитетности (итоговый столбец), можно подставить в таблицу в соответствующие столбцы.

Получим новую матрицу (табл. 2).

Таблица 2.

Уточнение «весовых коэффициентов» авторитетности экспертов

Теперь оценки уточнились: нет одинаковых оценок, специалист, занимавший ранее третье место, оказался на втором, а специалист, занимавший восьмое место — на девятом. Обычно трех-четырех итераций вполне достаточно для получения приемлемых результатов. Существует и специальный математический метод нахождения в подобных матрицах абсолютно точных оценок, то есть таких оценок, подстановка которых в клетки матрицы не приводит к изменению мест экспертов. Можно сказать, что такой метод позволяет оценивать экспертов с бесконечным числом шагов.

Элемент оценки может быть заложен в самих ответах специалистов, на сформулированные вопросы. Один из возможных приемов: предлагается не просто назвать 10 ведущих специалистов, а расположить их в списке по степени авторитетности, либо оценить их авторитетность в баллах. В этом суть решения задачи не меняется, но на первой итерации вместо единиц (означающих, что все эксперты условно равны) подставляются коэффициенты — баллы, проценты и т. п. Данный метод целесообразен для формирования любых экспертных, ученых и научных комиссий

Традиционное формирование группы экспертовзаключается в том, чтобы в нее были включены лица, способные провести экспертизу с учетом самых разнообразных сторон оцениваемого объекта. Проводя, например, экспертизу внешнего вида нового товара, необходимо включать в группу дизайнеров и инженеров в равной пропорции. Опасностью при подборе экспертов следует считать завышение доли какой-либо подгруппы экспертов, заведомо единой (или близкой) в своем мнении. Дело здесь не только в усилении односторонности экспертизы, но и в том, что при обработке экспертных мнений (по большинству существующих методик) все прочие оценки потеряют свою значимость.

По этой же причине нежелательно включать в экспертную группу людей, авторитет которых, резко отличается (пусть даже в лучшую сторону!) от «среднего» авторитета членов группы. Если авторитет одного из членов группы очень высок — прочие эксперты будут склоняться к его мнению, если он крайне низок — возникнут противоречия. И в том, и в другом случае неудачно подобранный состав группы будет искажать конечный результат, влияя на индивидуальные мнения. Устраняется такое влияние можно с помощью анонимной экспертизы, что не всегда желательно, а иногда и просто невозможно.

Таким образом, классически, процесс формирования группы руководителями экспертизы осуществляется в такой последовательности:

1) уяснение и формализация решаемой проблемы (постановка задач);

2) определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности;

3) определение количества экспертов в подгруппах;

4) составление предварительного списка экспертов с учетом их местонахождения;

5) анализ качеств экспертов и уточнение списка экспертов в группе;

6) получение согласия экспертов на участие в работе;

7) составление окончательного списка экспертной группы.

Таким образом, обеспечение привлечения компетентных экспертов для решения соответствующих проблем, задача столь же важная, как и «минимизация» влияния группы на индивидуальные мнения.

Надежность экспертизы зависит и от следующего этапа — опроса экспертов. В современной экспертизе, как мы уже отмечали выше, используютсяразличные методики опроса -от заочного почтового до групповой дискуссии. Для выбора эффективного для данной конкретной проблемы формы опроса следует представлять достоинства и недостатки этих методик. Например, при заочном почтовом опросе эксперты не знают об оценках коллег, что способствует выработке самостоятельного мнения. Однако в этом случае обоснование экспертных мнений существенно слабее. При групповой дискуссии обоснование экспертных оценок становится более аргументированным, хотя возникает опасность, что мнение каждого эксперта не является независимым и т.п.

Одновременно с процессом формирования группы экспертов группа управления реализует план организации экспертизы. При этом решаются следующие вопросы: место и время проведения; методики проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом стратегического плана является организация и проведение обработки данных опроса. Понятно, что отбор процедур обработки планируется еще на этапе разработки программы экспертизы, начиная с проблем выявления уровня компетентности специалистов, процедур получения коллективного мнения, выбора способов оценки экспертами возможных альтернатив с помощью наиболее простых и надежных методов упорядочения: ранжирование, бальных оценок, последовательных и парных сравнения и т, п.). Их использование позволяет упростить процедуры опроса и значительно сократить время работы экспертов с анкетой. В зависимости от выбора формы экспертизы выбирается и методика анализа этого результата. До недавнего времени наиболее распространенным приемом являлось простое усреднение баллов, выражающих индивидуальные оценки экспертов группы. Основное достоинство использования баллов как числовых характеристик экспертных оценок — в удобстве ручной обработки. Однако сейчас существует множество методов обработки нечисловой информации, поэтому данное преимущество стало менее существенным. Недостаток этого приема, в том, что не всегда упорядочение оцениваемых объектов по средним баллам совпадает со средними индивидуальными упорядочениями. Разработанный в настоящее время математический аппарат в программах обработки данных дает возможность получать интервальные шкалы предпочтимости при обработке экспертной информации, полученной методами парных сравнений и последовательных интервалов. Давайте рассмотрим один из них – метод парных сравнений.

Метод парных сравнений.Метод парных сравнений— один из основных методов изучения предпочтений (наряду с методом балльных оценок, ранжирования, множественных сравнений) при проведении экспертизы. Он состоит в том, что респондентам предъявляются все возможные сочетания по два объекта (из числа всех объектов, подлежащих упорядочению) и, предлагается в каждой паре указать предпочтительный (в соответствии с заданным критерием) объект. Результатом опроса является так называемая матрица парных сравнений: если респондент предпочел Аj объект Bj то на пересечении Аj строки Bj-го столбца этой матрицы стоит +1, если наоборот — стоит -1, если респондент оценивает эту пару объектов как равно предпочтительные — 0. Исходя из полученных данных, исследователь упорядочивает объекты. Считая предпочтение некоторой случайной величиной, отражающей соотношение характеристик сравниваемых объектов, можно ставить задачу определения вероятности истинного соотношения сравниваемых объектов. Метод парных сравнений позволяет определить значимость различий положения тех или иных объектов в иерархии и решать другие исходные задачи. При небольшом числе объектов метод парных сравнений считается наиболее точным и надежным методом выявления предпочтений. Увеличение числа пар ограничивается только информационной «мощностью» человеческого мозга для точности измерения. Былая трудоемкость процедуры счета при увеличении числа объектов при наличии программ обработки исчезла. Кроме того, возможна проблема валидности измерения. поскольку разные пары объектов эксперты иногда сопоставляют по разным основаниям (признакам), что приводит к уже упомянутой несравнимости (нетранзитивности)предпочтений. Приведем простой пример процедуры парного сравнения из трех объектов A, B, C. На бланке экспертизы мы получим следующее сочетание пар:

A – B

A – C

B – A

B – C

Понятно, что каждый объект характеризуется, причем ее длина должна лексически быть равновелика для каждого объекта. Отметим, что ручная обработка затруднительна, поклольку при увеличении экспертизы, на пример, хотя бы до 10 объектов, число сравниваемых пар возрастает до 45. Формула их вычислений достаточно проста (n число объектов).

n

2x (n -2)

Для получения первичных эмпирических данных используется также простое упорядочение значений, последовательное сравнение, ранжирование,а также другие процедуры, обеспечивающие четкую оценку переменных. Часто эта оценка осуществляется с помощью соответствующих шкал, поэтому при их обработке приходится использовать достаточно сложные статистические методы, в том числе, специально предназначенные для анализа нечисловой информации.

Одна из основных проблем математического обеспечения экспертизы – это достижение устойчивости группового выбора. Чем нормативнее требуемый результат, например, чем категоричнее требуемая рекомендация, тем большее значение имеет анализ устойчивости группового экспертного суждения. Проверка на устойчивость проводится, как правило, путем исключения из экспертной группы некоторого числа случайно отобранных экспертов (крайние оценки) и выработки группового суждения без учета мнений этих экспертов. Однако, если исключение одного эксперта влияет на содержание последующего этапа группового суждения, то устойчивость такого суждения следует признать неудовлетворительной.

Логико-математический анализ группового выбора.Групповым выбором считается принятие согласованного экспертного решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы. В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких, например, как эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат. В настоящее время, к сожалению, не существует достаточно точных концепций того, как происходит процесс группового выбора. Логико-математическому анализу поддается вопрос не о том, как происходит процесс группового выбора, а о том, каким должен быть результат этого процесса: какой выбор справедлив, какой – нет; какой – разумен, какой – нет и т.п. Такой подход в терминах «что такое хорошо и что такое плохо» обычно называют нормативным в отличие от описательного, дескриптивного подхода. Таковой являлась, например, оценка участников соревнования по фигурному катанию на коньках: групповая оценка выступления – это среднее арифметическое всех индивидуальных оценок (кроме двух крайних) членов жюри. Хотя, как мы знаем, после череды скандалов, на международных соревнованиях была введена компьютерная процедура оценивания. Чем, собственно, плох старый метод? Ситуация здесь весьма напоминает процедуру «согласования» результатов нескольких измерений длинны данного предмета расчетом среднего арифметического. К тому же, в реальных процессах группового выбора, особенно при экспертизе, редко присутствует разработанная система начисления «очков» объектам. В этом случае «метод среднего арифметического» может подвести. Например, члены группы могут придерживаться существенно разных, и даже противоположных точек зрения на оцениваемые объекты. В этом случае использование среднего балла может способствовать победе «серой лошадки». Если, например, один эксперт поставит трем объектам А, Б и В оценки 5, 3 и 0, а второй эксперт – 0, 3 и 5 соответственно, то побеждает средний объект Б, набравший в сумме 6 очков, тогда как остальные получили по 5 баллов. Еще одна причина затруднений при оценке по среднему баллу – необходимость соизмерения предпочтений разных индивидуумов в условиях, когда оценки делаются только на основе уверенности и темперамента, без каких-либо единственных «эталонных» норм. Пусть, например, три объекта А, Б, В оценены тремя экспертами одинаково: 3, 2, 1 соответственно, а оценки четвертого эксперта – 5, 10, и 1. Тогда «побеждает» объект Б, имеющий среднюю оценку 16/4, а не объект А (средний балл 14/4), хотя трое из четверых считают, что именно А – лучший.

Не всегда помогает избавиться от «неприятностей» переход к единому для всех масштабу – в этом случае оценка по среднему баллу очень чувствительна к изменениям набора рассматриваемых объектов. Если, например, переход к единому масштабу осуществляется приписыванием высшего балла (скажем, 10) наилучшему объекту и низшего балла (скажем, 1) наихудшему, с пропорциональным изменением оценок остальных объектов, то может получиться следующее. Пусть два эксперта оценивают объекты А, Б, и В одинаково: 10, 9 и 1 соответственно, а третий – 5, 10 и 1. Тогда «побеждает» Б, набравший 28/3. Если же изъять наихудший для всех объект В, то для А и Б оценки станут: 10 и 1 у первых двух экспертов, а у третьего – 1 и 10. теперь побеждает А с 21/3 очками, против 12/3 у Б. Аналогичные примеры можно привести и для других способов приведения оценок к единому масштабу.

Еще один часто применяемый метод согласования индивидуальных оценок, пригодный и в случае, когда предпочтения выражаются неколичественно, - по правилу большинства – который тоже имеет свои недостатки. Здесь возникает, в частности, так называемый парадокс голосования, состоящий в следующем. Пусть экспертная комиссия, оценивающая три проекта А, В и С, разбилась на три примерно равночисленные группы, каждая из которых поддерживается одного из порядков (А, В, С), (В, С, А), (С, А, В), получающихся друг из друга циклической перестановкой проектов. Тогда по правилу большинства А лучше В (так как этого мнения придерживаются члены первой и третьей групп – две трети голосов); и, аналогично, В лучше С. Казалось бы, А должен быть лучше С, но так считают только члены первой группы. Правило большинства диктует, что С лучше А, в нарушение свойства транзитивности предпочтений. Так что же лучше, - А, В или С? - правило большинства ответа не дает. Более того, если установлен последовательный порядок обсуждения по два проекта, то результат будет зависеть только от порядка их предъявления. Например, если сначала рассматривать А и В, то побеждает А, который затем побеждается проектом С. если же сначала рассматривать А и С, то победит С, который затем проиграет проекту В. Таким образом, при голосовании по правилу большинства многое зависит от порядка предъявления объектов. Все вышеперечисленные логические парадоксы необходимо учитывать при проведении экспертизы.

Форма предоставления результатов экспертизы. Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц. Выбор формы представления результатов конкретной экспертизы зависит от задачи, поставленной перед экспертами заказчиком, и, кроме того, от традиций разработки и принятия решений, сложившихся в данной сфере деятельности. Полезно заранее, еще на этапе разработки стратегического плана, обдумать его структуру, или, по крайней мере, указать, в какой форме он должен быть подготовлен. Возможны следующие варианты оформления итогов экспертизы: решение, рекомендация, перечень оценок, перечень альтернатив, перечень свойств или признаков.

Решение экспертов. Самым жестким вариантом оформления результатов экспертизы является решение о проведении в жизнь тех или иных мероприятий. Например, при экспертизе градостроительных решений эксперты могут выразить свое мнение таким образом: «Запретить строительство данного объекта в данном месте». Однако такая форма результатов экспертизы возможна лишь в том случае, когда экспертная группа обладает соответствующими полномочиями. Считается, что эксперты могут выносить лишь отрицательные решения (право «вето»), право же принимать позитивные решения, остается в компетенции лица обращающегося к экспертам.

Рекомендация— наиболее распространенная форма экспертного суждения. В ней указываются желательные (по мнению экспертов) черты будущего решения. Например, в экспертизе образцов новых товаров: «Следует начать массовое производство данного товара по результатам распродажи опытной партии». Рекомендации экспертов облегчают работу руководителя, оставляя за ним право принятия окончательного решения.

Данные формы ‑ рекомендация и решение, характерны для производственных проблем. Перечни альтернатив или иерархия свойств имеют более широкую сферу применения. Они связаны не с необходимостью принимать какие-то решения, как первые две, а скорее с задачей модельного описания изучаемого объекта. Например, экспертам предлагают составить список альтернативных критериев эффективности реконструкции предприятия, вывода предприятия на проектную мощность и т.п.