Современные АСУ относятся к сложным человеко-машинным системам, надежность функционирования которых определяется совокупностью надежностных характеристик технических средств, программного обеспечения и человека-оператора. Если в отношении технических средств существует достаточно строгая теория, то определение надежности остальных компонентов автоматизированных систем находится в стадии становления.

Появление интеллектуальных систем дало новый толчок развитию методов оценки программного обеспечения (ПО) и счеловеческого фактора», однако в настоящее время пока известны лишь концептуальные подходы [I].

Экспертные системы (ЭС) как наиболее распространенный вид систем искусственного интеллекта нуждаются в первую очередь в разработке методик оценки правильности и устойчивости вырабатываемых ими рекомендаций. Опираясь на общепринятую характеристику надежности как свойства объекта выполнять заданные функции, сохраняя во времени значения установленных эксплуатационных показателей, определим семантическую надежность ЭС как свойство системы сохранять правильность своих рекомендаций при нарушении корректности вводимых экспертных знаний и процедур логического вывода. Другими словами, семантическая надежность характеризует способность ЭС противостоять ошибкам ввода и преобразования знаний. Показателем семантической надежности будем полагать вероятность правильного решения задачи при наличии ошибок ввода экспертных знаний и ошибок функционирования программ логического вывода. Учитывая независимый характер этих двух видов ошибок, показатель может быть представлен в виде произведения двух независимых вероятностей

Предлагаемый подход к оценке семантической надежности был доложен в 1987—1989 гг. на конференциях по проблемам качества и надежности человеко-машинных систем [2, 3].

ОЦЕНКА НАДЕЖНОСТИ РЕПРОДУКЦИИ ЭКСПЕРТНЫХ ЗНАНИЙ

Семантическая надежность во многом определяется качеством знаний, сообщенных экспертом. Для оценки надежности репродукции экспертных знаний воспользуемся методикой тестирования ПО традиционных автоматизированных систем, предложенной Т. Джилбом [4]. Этой методике отдано предпочтение перед другими известными метриками (Холстеда, Боэма) ввиду того, что в ней используется ограниченный набор понятий качества ПО (гибкость, структурируемость, производительность, ресурс и надежность) и учитываются психологические характеристики метрики различных групп программистов и пользователей. Итак, для вычисления вероятности правильной репродукции знаний Рр.з необходимо иметь в базе знаний прикладной ЭС психологические характеристики экспертов и указания, для какой группы пользователей предназначается система.

В оценке экспертов участвуют такие психологически значимые характеристики:

• уровень осознанности знаний (шкала от интуитивного до хорошо осознанного) ;
• уровень осмысленности знаний (градации богатства смысловых связей);
• уровень стабильности во времени (вероятность возникновения ошибок в работе эксперта);
• степень концептуальности знаний (отношение объективного содержания знаний к их личностному смыслу);
• способ приобретения знаний (контролируемое обучение, эмпирическое наблюдение, здравый смысл и др.). Перечень характеристик не является исчерпывающим и универсальным — он составляется для каждой предметной области.

Оценка показателя семантической надежности репродукции знаний эксперта находится путем решения системы канонических уравнений предикатов 1 порядка вида

В системах продукционного типа можно использовать готовые подпрограммы логического вывода на основе предикатов. Существенным является тот факт, что характеристики знаний изменяются в процессе работы эксперта: на этапе первичной репродукции знаний в параметрах знаний допускается известная бессистемность, фрагментарность, в конце работы значения показателей должны принимать законченную форму, а оценка надежности становится более строгой.

Перейдем к оценке надежности коллективных знаний. Задача заключается в надежной идентификации знаний, получаемых ЭС от нескольких экспертов. Здесь предлагается использовать подход, основанный на идее Д. Лената [5].

В программу оценки семантической надежности репродукции знаний вводятся блоки подпрограмм-аналогов экспертов, участвующих в передаче фрагмента знаний. Каждая подпрограмма должна:

распознавать ситуации, относящиеся к заданному фрагменту знаний;

делать альтернативный выбор, чтобы оказывать помощь подпрограмме другого эксперта, либо выдавать свой фрагмент знаний.

Должна быть также и результирующая подпрограмма (руководителя экспертов), которая начинает работу после того, как все подпрограммы экспертов внесут коррективы или выдадут свои законченные фрагменты знаний. Их синтез и будет решением на данном шаге моделирования «совещания» экспертов.

После определения правильных совокупных знаний подпрограмма руководителя экспертов выдает оценки репродукции знаний каждым из экспертов, на основании которых выявляется индивидуальный вклад и качество работы экспертов. В дальнейшем предполагается с помощью такой модели оценивать квалификацию экспертов, подбирать их оптимальный состав для различных классов задач и т. д.

ОЦЕНКА НАДЕЖНОСТИ ЛОГИЧЕСКОГО ВЫВОДА

Рассмотрим ЭС продукционного типа. Вероятность правильной выработки рекомендаций будем определять исходя из условий, что правила адекватны реальным процессам, а правильность логического вывода зависит от частоты ошибок в информации, длины цепочки выводов и характеристик истинности используемых правил. Следует повторить, что этот перечень ошибок может и должен быть расширен.

Для выработки рекомендаций в ЭС продукционного типа, как известно, используются правила продукции вида

Ошибки логического вывода, приводящие к искажению условий и заключений в правиле, могут быть двух родов. Ошибка 1 -го рода — сложное срабатывание», приводящее к выполнению условия при фактическом несовпадении истинного значения признака условия с заданным:

Ошибка 2-го рода — «пропуск решения», когда происходит невыполнение заключения при фактическом совпадении истинного значения признака условия с заданным:

Определим вероятность возникновения каждого из видов ошибок. Учитывая независимость событий появления ошибок, а также принимая во внимание названные условия, можно положить, что:

вероятность возникновения ошибки 1-го рода в i-м признаке условия

вероятность возникновения ошибки 2-го рода в i-м признаке заключения

При выводе с использованием цепочки из й-правил вероятности подсчитываются соответственно:

Тогда вероятность правильной выработки рекомендации определится выражением

Указанной оценкой целесообразно пользоваться, начиная с возможно более ранней стадии разработки ЭС (прототипа), когда невозможно собрать необходимые опытные данные и значения величин <у, и 5; задаются приближенно.

По мере накопления статистической информации и роста числа правил производится уточнение вероятности безошибочного срабатывания признаков в условиях и заключениях продукционных правил. Эта процедура может выполняться автоматически, таким образом в экспертной системе будет поддерживаться режим самооценки.

ЛИТЕРАТУРА

1. Шарахшане А. С. и др. Испытания программ сложных автоматизированных систем. — М.: Высшая школа. 1982.

2. Ш и л о в В. А. К вопросу идентификации знаний коллектива экспертов. Тезисы докла­дов Всесоюзной конференции «Проблемы разработки и внедрения экспертных систем»-М., 1989.

3. Ш и л о в В. А. Об одном способе оценки семантической надежности экспертных систем. Доклады Всесоюзной конференции «Проектирование, оценка и оптимизация функционирова­ния СЧТ». — Севастополь, 1989.

4. G i l b Т. Software metrics, Wilhrop Pablishers Cambridge, MA, 1977.
5. Л e н а т Д. БИИНГИ: знания как система взаимодействующих экспертов. / В сб. Тр.
IV Международной конференции по искусственному интеллекту. — М.: ВИНИТИ, 1975.

___________________________________

В. А. Шилов - кандидат технических наук