Основные понятия об экспертных оценках

Сложность производственных систем, разнообразие и во многих случаях неопределенный характер поступающей производственной информации придают задаче управления творческий характер, повышающий роль человеческого фактора.

Экспертные оценки в той или иной форме использовались во все времена Однако внимание к ним существенно возрастало по мере усложнения производственных технологий, а следовательно, и процесса разработки решений Официальным началом их становления считают 50 — 60-е годы XX в Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных рс}ульта- гов При этом обобщенное мнение экспертов принимается как возможное решение проблемы

Известны различные определения слова «эксперт» (от лат схрепич — опытный). Чаще всего под ним подразумевается высококвалифицированный специалист. В настоящее время известны факты формирования банков данных о специалистах в различных областях, однако систематическая оценка качества их деятельности практически отсутствует, поэтому наряду с характеристикой эксперта (его профессиональных знаний и опыта) полезно накапливать информацию об эффективности его работы.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов эксперти ы привлечь для работы высококвалифицированных специалистов, возможностей последних принять участие в работе экспертной комиссии

Применяют три основные группы методов оценки качеств эксперт, априорные, апостериорные, тестовые

Априорными называются методы оценки качеств эксперта, при ко 1 о- рых не используется информация о результатах его участия в предшес г ковавших экспертизах Эта группа включает в число прочих методы самооценивания, когда эксперт сам дает оценку своим качествам, исполь *\ я следующие способы- —

самооценка по одной из балльных шкал, —

самооценка с использованием числовых шкал, которые паря 1у с числовыми значениями градаций содержат их качественное описание —

самооценка по вербальной шкале, те эксперт дает словеспмо оценку своим знаниям, используя качественные градации заранее разработанной шкалы, —

самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия- характеризующий его знакомства с основными источниками информации в данной облш ш, характеризующий знакомство с объектом экспертизы.

Кк = (Ли + с х Аз): 2,

где Кк — комплексная самооценка эксперта,

Ки — коэффициент информированности, с — весовой коэффициент,

Кг — коэффициент знакомства с проблемой К другой группе априорных методов оценки качеств эксперта отно сятся методы взаимной оценки, использование которых предполагает, чт эксперты взаимно оценивают друг друга. Наиболее распространенны из них — метод списка экспертов

К числу априорных методов оценки качеств эксперта относится такж весьма распространенный документационный (анкетный) метод

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперт а использование результатов его участия в предыдущих опросах. С ИХ ПОМОЩЬЮ могут быть выявлены конформизм, КОНЪЮНК1ур- ность и компетентность эксперта Для оценки уровня компетентности I. пе- циалиста может быть применен метод парных сравнений

Апостериорные методы предполагают также оценку достоверности 1_\ а- дений эксперта. В качестве критерия используется коэффициент дос то- щтости — относительная частота случаев, в которых эксперт приписывал ииибольшую вероятность впоследствии подтвердившимся событиям

Еще одним методом апостериорной оценки является метод от/сюне- 1тн от резу1ьтир\’ющей групповой оценки Он основан на расчете коэффициента отклонения КО

Koi = Dot: Dmax,

uic Ао/ — коэффициент отклонения суждений ;-го эксперта,

Do; — отклонение индивидуальной оценки /-го эксперта от результирующей оценки,

?>тах — максимально возможное отклонение оценки эксперта от результи- I

рующей оценки

Тестовые методы оценки качества эксперта. Их суть — выполнение испытуемым экспертом заранее подготовленного задания Достоит гво тестовых методов состоит в том, что они позволяют НС только

шовить наличие у эксперта определенного профессионального уров-

о и выявить навыки и опыт, необходимые для эффективного участия >

| нютс экспертной комиссии.

ИССКОЛЬКО тестовых экспериментов, приближенных к условиям реаль- II

]КСПСрТИЗЫ. При этом интервал времени между ними должен быть I сточным для того, чтобы испытуемый успел забыть результаты пре- | . щего. После завершения эксперимента полученные оценки сравни-

Г'ллннымн задачами экспертных оценок являются 1

Определение целей. При принятии важных решении необходимо •и 1ко представлять цели, к достижению коюрых сфемигся JI1IP Для елож- N11 ситуаций рекомендуется применять дерево целей 2

Экспертный прогноз. Особую роль при принятии решении шраин проблемы, ciiHJ.HHH.ie с оценкой будущею р.нии1ня анали шруемыч

]ций, ожидаемых результатов альтернативных вариантов решений, и мертная информация содержит не только колпчесшеппыс, но и качсст- М1 иные оценки, поэтому может стать баюи для нрогнозо», н даже более I* I шетичной, чем тривиальная статистическая информация.

' Сценарии ожидаемого ра/вития ситуации. Наиболее часто для | | мпрования сценария применяют метод мозговой атаки в сочетании 10

специальными приемами использования аналитической информации.

4 Генерирование альтернативных вариантов. Подобные про- |ц 1\ры могут предусматривать проведение экспертиз с использованием '? I о тов типа мозговой атаки, а также создание в сложных случаях автома- ||| шрованных систем генерирования альтернативных вариантов. 5. Определение рейтингов. В последнее время они весьма популярны, позволяют оценивать сравнительную надежность банков, страховых компаний, качество различных услуг, сравнительную влиятельность политиков и т.д. 6.

Оценочные системы. Формируются при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели. Большое внимание при этом уделяется оценке сравнительной важности критериев. ' 7

Принятие коллективных решений.

Различают экспертизы однотуровые и многотуровые, анонимные| и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т д Характер экспертной информации, которую предполагается использовать при принятии- решений, налагает определенные требования на выбор конкретного метода экспертизы. При принятии важных управленческих решений целесообразно использование коллективных экспертиз, обеспечивающих большую обоснованность и, как правило, большую эффективность принимаемых решений Помимо того, что разрабатываемое управленческое решение в этом случае получает разностороннюю оценку и аргументированность, интересна также возможность сопоставить различные точки зрения специалистов на сравнительную эффективность выработанных альтернативных вариантов решений

Процедуры организации и проведения экспертиз в настоящее время достаточно детально разработаны и подробно описаны в специальной литературе Рассмотрим наиболее популярные методы экспертиз

Метод комиссий — это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов Коллективное мнение определяется в результате открытого или тайного голосования В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий- возможен роет1 информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Однако метод комиссий обладает и недостатками В частности, отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов, различная актив-1 ность экспертов, часто не совпадающая с их компетентностью, публич-« ность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения

Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом Состав экспертов делится на две группы.

Метод прогнозного графа. Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов Известным методом экспертиз сложных систем является метод прогнозного графа Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергаются уже не конечная, а промежуточные цели, сформированные экспертами на первом туре Последующие туры жепертизы аналогичны второму Процедура заканчивается на том туре, когда более не требуется дополнительных анализов и детализации.

Метод сценариев. Сценарий означает сюжетную схему, т.с. заранее подготовленный детальный план осуществления чет-либо Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состоянии, к которым может прийти ситуация под влиянием конкрешых воздействий При подготовке сценария большое внимание обращают па критические точки ветвления, т.с. точки, в которых малые воздействия оказывают заметное влияние на результат.

Каждый сценарий может быть реалнювлн п нескольких вариантах. Вариант— небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария Чем больше вариантов генерируется и анализируется, тем выше эффективность адресных опережающих воздействий на конкретные подсистемы объекта управления

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий Использование специальных компьютерных систем, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны метод «Дельфи» и метод мозговой атаки