Инженерия знаний и получение знаний

Инженерия знаний

После проектирования базы знаний и разработки соответствующего программного обеспечения либо выбора удовлетворяющего требования готового решения необходимо сформировать базу знаний, наполнив ее знаниями о предметной области, и возможно необходимыми фактами. Этап формирования базы знаний интеллектуальной системы является критическим для функционирования всей системы в целом, так как если реализация влияет на возможные границы способностей системы, то знания системы определяют ее возможности в решении задач предметной области.

Этот этап разработки ИИС называют этапом приобретения знаний. Область деятельности, изучающая проблемы формирования и наполнения баз знаний, получила название инженерия знаний.

Инженерия знания - достаточно молодое направление искусственного интел­лекта, появившееся тогда, когда практические разработчики столкнулись с весь­ма нетривиальными проблемами трудности «добычи» и формализации знаний. В первых книгах по ИИ эти факты обычно только постулировались, в дальней­шем начались серьезные исследования по выявлению оптимальных стратегий выявления знаний . Исследования привели к возникновению дисциплины инженерии знаний, и появлению новой специальности - инженера по знаниям, или специалиста, владеющего теоретическими знаниями и практическими приемами построения интеллектуальных систем, а главное, обученного способам формирования баз знаний интеллектуальных систем.

Предметные знания интеллектуальной системы могут быть взяты из многих источников, ноо главный источник знаний современных ИИС - это специалист-эксперт в предметной области. Инженер знаний обычно получает зна­ния, непосредственно взаимодействуя с экспертом. Этот процесс состоит из продолжительной серии напряжен­ных, систематических интервью, обычно продолжающихся в те­чение многих месяцев. Во время бесед инженер знаний дает эксперту для решения задачи, близкие к реальным и того же типа, на решение которых ориентируется создаваемая эксперт­ная система. Инженер знаний должен работать с экспертом, наблюдая, как он решает конкретные задачи. Редко оказывается эффек­тивным подход, при котором эксперту напрямую задаются вопросы о его правилах или методах решения конкретного класса задач в его области компетентности. Эксперты обычно испытывают большие трудности при формулировании таких правил.

Представляется, что «эксперты» имеют тенденцию формулировать свои заключения и то, как они пришли к ним, в общих выражениях, которые слишком широки и расплывчаты для эффективного анализа на ЭВМ. Предпочтительнее, чтобы ЭВМ работала на более конкретном уровне, имея дело с четко определенными порциями исходной инфор­мации, которые могут быть встроены в более сложные суждения. Но эксперт редко работает на таком конкретном уровне. Он быстро делает сложные выводы, не утруждая себя тщательным анализом и формули­рованием каждого шага своего процесса рассуждения. Порции исходных знаний являются неявными допущениями, и они компонуются друг с другом так быстро, что эксперту трудно описать этот процесс. Когда он анализирует проблему, он не может легко описать каждый шаг и он может даже не иметь представления о тех отдельных шагах, которые были сделаны для нахождения решения. Он может приписать интуиции или назвать предчувствием то, что оказывается результатом очень слож­ного логического процесса, основанного на огромном количестве удер­живаемых в его памяти данных и богатой практике. В последующем, объясняя свое заключение или предчувствие, он будет повторять только основные шаги, часто опуская большинство мелких шагов, которые могли показаться ему очевидными в то время. Знание о том, что счи­тать основным и относящимся к делу и не требующим дальнейшей переоценки — вот что делает специалиста «экспертом». Этот аспект природы эксперта несколько необычен. На прак­тике он называется парадоксом экспертизы. В контек­сте разработки интеллектуальных систем мы будем называть его па­радоксом инженерии знаний:

Чем более компетентными становятся эксперты, тем менее способны они описать те знания, которые они используют для решения задач!

Хуже того, исследования показали, что когда эксперты пы­таются объяснить, как они пришли к заключению, они часто выстраивают правдоподобные линии рассуждения, которые, од­нако, мало похожи на их действительное поведение при реше­нии задач. Эта особенность имеет два важных следствия. Вот первое из них:

эксперты нуждаются в посторонней помощи, направленной на то, чтобы прояснить и сделать явным их способ мышления и решения задач. Высказанное можно сформулировать в виде следующего эмпирического правила - не будьте своим собственным экспертом!

Второе эв­ристическое правило, обращенное к инженеру знаний:

Не верьте всему, что говорят эксперты!

Опытные инженеры знаний развивают рабочие гипотезы, ос­нованные на том, что говорят эксперты, и проверяют эти гипо­тезы на правильность и непротиворечивость, предлагая экс­пертам решать новые проблемы, требующие предполагаемых (согласно гипотезе) знаний. Инженер знаний считает, что он или она получили законное экспертное правило не потому, что эксперт ручается за точность правила, а потому, что эксперт демонстрирует применение этого правила при решении задачи.

Иногда поведение экспертов выглядит скорее интуитивным, чем рассудочным. Дело в том, что значительный объем знаний является важнейшей пред­посылкой мастерства эксперта. Однако знания эксперта — не просто не­упорядоченный свод фактов. Большое число образцов-шаблонов ситуаций служат указателями, помогающими эксперту в долю секунды обратиться к нуж­ным частям его запасов знаний. Эта способность использовать шаблоны для управления процессом интерпретации и решения, возможно, и со­ставляет значительную часть того, что мы называем физической ин­туицией.

Более того, эксперт может применять совершенно разные методы работы и методики в разных нестандартных ситуациях, и сознательно выделить критерии использования различных методик необычайно трудно.

Терминология инженерии знаний

Поле знаний — это условное неформальное описание основных понятий и взаимосвя­зей между понятиями предметной области, выявленных из системы знаний эксперта, в виде графа, диаграммы, таблицы или текста [1,с.59].

Поле знаний, как первый шаг к формализации, представляет модель знаний о предметной области, в том виде, в каком ее сумел выразить эксперт на некотором «своем» языке. Проблемы адекватного формирования языка для описания предметной области мы в данном курсе рассматривать не будем. Хорошим источником специальной информации по этой теме служит [1].

Поле знаний служит ключевым средством для последующего построения модели предметной области в базе знаний.

Для названия процесса по­лучения знаний (вида выбираемой при этом стратегии) в литературе получило распространение несколько терминов: приобретение, добыча, извлечение, полу­чение, выявление, формирование знаний. В англоязычной специальной литера­туре в основном используются два: acquisition (приобретение) и elicitation (вы­явление, извлечение, установление).

Термин «приобретение» трактуется либо очень широко — тогда он включает весь процесс передачи знаний от эксперта к базе знаний ЭС, либо уже как способ автоматизированного построения базы знаний посредством диалога эксперта и специальной программы (при этом структура поля знаний заранее закладывает­ся в программу). В обоих случаях термин «приобретение» не касается самого та­инства экстрагирования структуры знаний из потока информации о предметной области. Этот процесс описывается понятием «извлечение».

Извлечение знаний (knowledge elicitation) — это процедура взаимодействия эксперта с источником знаний, в результате которой становятся явными процесс рассуждений спе­циалистов при принятии решения и структура их представлений о предметной области.

Приобретение знаний (knowledge acquisition) — процесс наполнения базы знаний экс­пертом с использованием специализированных программных средств (прямое взаимодействие ИИС с экспертом).

Термин формирование знаний традиционно закрепился за чрезвычайно перспек­тивной и активно развивающейся областью инженерии знаний, которая занима­ется разработкой моделей, методов и алгоритмов обучения. Она включает индук­тивные модели формирования знаний и автоматического порождения гипотез на основе обучающих выборок, обучение по аналогии и другие методы. Эти модели позволяют выявить причинно-следственные эмпирические зависимости в базах данных с неполной информацией, содержащих структурированные числовые и символьные объекты (часто в условиях неполноты информации).

Формирование знаний (machine learning) — процесс анализа данных и выявление скрытых закономерностей с использованием специального математического аппарата и программных средств.

Методы получения знаний

Инженерия знаний предлагает определенные методы (приемы, способы),работы с экспертами.

Классификация методов работы с экспертами

Под коммуникативными методами понимают все виды контактов инженера по знаниям с живым источником знаний — экспертом. Среди этих методов выделя­ют две большие группы: активные и пассивные.

Пассивные методы подразумевают, что ведущая роль в процедуре извлечения знаний принадлежит эксперту. При этом инженер по знаниям главным образом протоколирует рассуждения и действия эксперта.

В активных методах инициатива полностью в руках инженера по знаниям. Он ведет с экспертом беседу, предлагает различные «Игры», организует «круглый стол» и т. д.

Пассивные методы на первый взгляд просты. Вместе с тем, они требуют от ин­женера по знаниям умения анализировать «поток сознания» эксперта и выде­лять в нем ценные фрагменты знания.

Активные методы разделяют на две группы в зависимости от числа экспертов, участвующих в процедуре извлечения знаний - В групповых методах большое значение имеет дискуссия между экспертами, в которой нередко выявляются нетривиальные аспекты знаний. В то же время, ведущую роль на сегодняшний день играют индивидуальные методы. В значительной степени это связано с де­ликатностью процедуры «отъема знаний».

Рис. 1.31. Классификация методов работы с экспертами

Пассивные методы

Наблюдения

Метод наблюдения является единственным «чистым» методом, где инженер по знаниям не вмешивается в процесс работы эксперта и не навязывает ему какие-либо собственные представления. Выделяют две разновидности наблю­дений:

· Наблюдение за реальным процессом.

· Наблюдение за имитацией процесса.

Сначала обычно применяют первую разновидность и наблюдают за реальным процессом на рабочем месте эксперта. Это помогает глубже понять предметную область и отметить все внешние особенности процедуры принятия решений, необходимые для проектирования интерфейса пользователя.

На втором этапе эксперт имитирует процесс. В таком режиме он менее напря­жен и работает на «два фронта» — ведет профессиональную деятельность и од­новременно демонстрирует ее.

Сеансы наблюдений предъявляют к инженеру по знаниям следующие требования:

· Владение техникой стенографии.

· Знакомство с методиками хронометрирования для четкого структурирования производственного процесса во времени.

· Развитые навыки «чтения по глазам», то есть наблюдательность к жестам, мимике и другим невербальным компонентам общения.

· Предварительное знакомство с предметной областью.

Протоколы наблюдений после проведения сеансов тщательно расшифровываются, а затем обсуждаются с экспертом.

Анализ протоколов «мыслей вслух»

При протоколировании «мыслей вслух» эксперта просят раскрыть всю цепочку рассуждений, объясняющих его действия и решения. При таком протоколирова­нии считается важным зафиксировать не только весь «поток сознания» экспер­та, но даже паузы и междометия в речи эксперта. Иногда данный метод называ­ют «вербальными отчетами».

При протоколировании «мыслей вслух» эксперт может проявить себя максималь­но ярко. Он ничем не скован, ему никто не мешает, он как бы свободно парит в потоке собственных рассуждений и умозаключений, может блеснуть своей эру­дицией и продемонстрировать глубину познаний. Для большого числа экспер­тов это самый приятный и лестный способ извлечения знаний.

Вместе с тем, как отмечалось выше, далеко не каждый специалист, даже из числа умеющих произносить впечатляющие монологи о своей работе, оказывается в состоянии формализовать и структурировать рассуждения. Однако существуют люди, склонные к рефлексии, способные к конструктивному изложению мыслей. Такие люди — находка для инженера по знаниям.

Лекции

Лекторский дар встречается нечасто. Опытный лектор хорошо структурирует свои знания и ход рассуждений. Но бывает, некоторые люди обладают лекторским

даром, но не подозревают о его присутствии. В любом случае инженеру па зна­ниям стоит попробовать озадачить эксперта подготовкой лекции на интересую­щую тему. Если эксперт сумеет преодолеть специфический психологический барьер и войти в образ педагога, это может оказаться весьма эффективным для решения задачи извлечения знаний.

Хороший вопрос инженера по знаниям по ходу лекции имеет важное значение. Серьезные, глубокие и интересные вопросы, с одной стороны, стимулируют твор­ческое воображение лектора, и с другой — повышают авторитет инженера по знаниям.

Продолжительность лекций рекомендуется стандартная — от 40 до 50 минут, и через 5-10 минут — еще столько же. Весь курс должен занимать, как правило, от двух до пяти лекций.

Метод извлечения знаний в форме лекций, как и все пассивные методы, применя­ют в начале многоэтапной процедуры извлечения знаний из памяти эксперта. Он способствует быстрому погружению инженера по знаниям в предметную область.

Активные индивидуальные методы

Анкетирование

Анкетирование является наиболее стандартизированным методом. Составление анкеты — достаточно тонкий и ответственный момент. Вот несколько рекомендаций:

· анкета не должна быть монотонной и однообразной, чтобы не вызывать скуку и усталость. Для этого вопросы должны варьироваться, тематика меняться. Кроме того, нередко в анкету вставляют специальные вопросы-шутки и игровые вопросы;

· анкета должна быть приспособлена к языку экспертов;

· следует учитывать, что вопросы влияют друг на друга. Поэтому последовательность вопросов должна быть хорошо продумана;

· анкета должна иметь «хорошие манеры». Ее нужно излагать ясным, понят­ным и предельно вежливым языком. Методическим мастерством составления анкеты можно овладеть только на практике.

Процедура анкетирования может проводиться двумя способами, В первом ана­литик вслух задает вопросы и сам заполняет анкету по ответам эксперта. Во вто­ром эксперт заполняет анкету Самостоятельно после предварительного инструк­тирования.

Выбор способа зависит от ряда условий (в частности от оформления анкеты, ее понятности, готовности эксперта). Вместе с тем, второй способ представляется предпочтительным, так как у эксперта появляется неограниченное время на об­думывание вопросов и снижается так называемый эффект присутствия.

Интервью

Перед проведением интервью неплохо спросить себя: «А умеем ли мы задавать вопросы?» Рассмотрим клас­сификацию вопросов.

Рис.1.32. Классификация вопросов

Открытый вопрос обозначает тему или предмет, предоставляя эксперту свободу по форме и содержанию ответа.

При закрытом вопросе эксперту предлагается набор ответов, среди которых он должен сделать выбор.

Закрытые вопросы легче обрабатываются, но они в определенной мере «програм­мируют» ответ эксперта и «закрывают» ход его рассуждений. Поэтому при со­ставлении сценария интервью обычно чередуют открытые и закрытые вопросы и особенно тщательно продумывают «меню» и содержание закрытых вопросов.

Личный вопрос апеллирует к индивидуальному опыту эксперта. Личные вопро­сы обычно активизируют мышление эксперта, «играют» на его самолюбии, ук­рашают интервью.

Безличный вопрос нацелен на выявление наиболее распространенных и общепри­нятых закономерностей предметной области.

При подготовке вопросов учитывают, что языковые возможности эксперта, как правило, ограничены. Кроме того, имеют в виду, что из-за замкнутости, скован­ности и робости отдельные эксперты не могут сразу высказать свое мнение и предоставить требуемые знания. Поэтому часто используют не прямые вопросы, которые непосредственно указывают на предмет или тему, а косвенные, опосре­дованно направляющие внимание на актуальную проблему. Иногда в интересах дела приходится задавать несколько косвенных вопросов вместо одного прямого.

Вербальные вопросы — это традиционные устные вопросы.

Вопросы с использованием наглядного материала разнообразят интервью и сни­жают утомляемость эксперта. В качестве наглядного материала используют фо­тографии, рисунки и карточки.

Разделение вопросов по функции на основные, зондирующие и контрольные связано с тем, что нередко эксперт по каким-то причинам уходит в сторону от вопроса и основные вопросы интервью оказываются непродуктивными. Тогда аналитик применяет зондирующие вопросы, концентрирующие внимание эксперта в нужном направлении. Контрольные вопросы используют для проверки досто­верности и объективности полученной информации.

Нейтральные вопросы носят беспристрастный характер. В то же время, наводя­щие вопросы заставляют эксперта прислушаться или даже принять во внимание позицию интервьюера.

Кроме приведенных в классификации, полезно различать и вклю­чать в интервью следующие виды вопросов:

· контактные («ломающие лед» между аналитиком и экспертом); О буферные (для разграничения различных тем интервью);

· оживляющие память экспертов (для реконструкции отдельных случаев из практики);

· «провоцирующие» (для получения спонтанных, неподготовленных ответов).

Свободный диалог

При свободном диалоге инженера по знаниям с экспертом отсутствует какой-либо регламентированный план. Однако эта форма извлечения знаний требует самой серьезной предварительной подготовки.

Рис. 1.33. Схема подготовки к интервью и свободному диалогу

Квалифицированная подготовка к диалогу — подлинная драматургия. В ее сце­нарии предусматривают плавное развитие процедуры извлечения знаний от при­ятного впечатления в начале беседы к профессиональному контакту через про­буждение интереса и завоевание доверия эксперта.

Для обеспечения желания эксперта продолжать беседу обычно производят «по­глаживания» типа: «Я Вас понимаю...», «...Это очень интересно» и т. п. При этом поведение аналитика должно быть искренним, ведь давно известно, что лучшая уловка — избегать всяких уловок и относиться к собеседнику с истинным ува­жением и настоящим интересом.

Существует каталог свойств идеального интервьюера: «Он должен выглядеть здоровым, спокойным, уверенным, внушать доверие, быть искренним, веселым, проявлять интерес к беседе, быть опрятно одетым, ухоженным».

Игры с экспертом

В играх с экспертом инженер по знаниям берет на себя какую-либо роль в моде­лируемой ситуации. Например, это может быть роль Ученика, который на глазах у эксперта (Учителя), поправляющего Ученика, выполняет работу на заданную тему. Такая игра — хороший способ разговорить застенчивого эксперта.

Другой пример — игра в Специалиста (инженер по знаниям) и Консультанта (эксперт). Эта игра дает иногда впечатляющие результаты. приведем пример из классической литературы. Эксперт выступал в роли врача, хорошо знаю­щего больного, а консультант задавал вопросы и делал прогноз о целесообразно­сти применения того или иного вида лечения. Такая игра позволила установить, что требуется всего 30 вопросов для успешного прогноза, в то время как пер­воначальный вариант вопросника, составленного медиками, содержал 170 вопросов.

Для выявления скрытых пластов знания применяется игра, в которой специа­лист делает прогнозы в профессиональных ситуациях и дает им обоснования. Затем по истечении определенного времени специалисту предъявляют его соб­ственные обоснования и просят произвести по ним прогнозы. Как оказывается, такой простой прием нередко позволяет обнаружить пропущенные шаги в рас­суждениях эксперта.

В игре «фокусировка на контексте» эксперт выполняет роль экспертной систе­мы, а инженер по знаниям — роль пользователя. Моделируется ситуация кон­сультации. Первые реакции эксперта концентрируются вокруг наиболее значи­мых понятий и самых важных аспектов проблемы.

В целом по играм с экспертом даются следующие основные советы инженеру по знаниям:

· Играйте смелее, придумывайте игры сами.

· Не навязывайте игру эксперту, если он не расположен.

· Не «давите» на эксперта, не забывайте цели игры.

· Не забывайте о времени и о том, что игра утомительна для эксперта.

· Играйте весело, нешаблонно.

Активные групповые методы

Активные групповые методы сами по себе не могут служить источником более или менее полного, знания. Они выступают как дополнительные и служат хоро­шим дополнением к индивидуальным методам извлечения знаний, активизиру­ющим мышление и поведение экспертов.

«Круглый стол»

Метод круглого стола предполагает равноправное обсуждение интересующей проблемы несколькими экспертами. Задача дискуссии — коллективно, с разных точек зрения, под разными углами исследовать спорные проблемы предметной области. Для остроты на «круглый стол» приглашают представителей различ­ных научных направлений и поколений. Число участников дискуссии обычно колеблется от трех до пяти-семи.

Перед началом дискуссии ведущему (инженеру по знаниям) необходимо убедить­ся, что все участники правильно понимают задачу. Затем нужно установить рег­ламент и четко сформулировать тему.

По ходу дискуссии важно проследить, чтобы слишком эмоциональные и разговорчивые эксперты не подменяли тему и чтобы критика позиций друг друга была обоснованной. Определенные усилия ведущий должен приложить для уменьше­ния «эффекта фасада», когда у участников превалирует желание произвести впечатление на других и они говорят совсем не то, что сказали бы в нормальной обстановке.

«Мозговой штурм»

«Мозговой штурм» или «мозговая атака» - один из наиболее популярных методов раскрепощения и активизации человеческого мышления. Впервые этот метод был использован в 1939 году А. Осборном в США для генерации новых идей.

Основное положение штурма — отделение процедуры генерации идей в замкнутой группе специалистов от процесса их анализа и оценки. Обычная продолжительность штурма — порядка 40 минут. Количество участников — до 10 человек. Этим участникам предлагается высказать на заданную тему любые мысли, в том числе шутливые, фантастические и ошибочные. Критика запрещена. Регламент — до 2 минут на выступление.

Из опыта известно, что число высказанных идей Часто превышает 50. Наиболее существенный момент штурма — наступление пика (ажиотажа), когда идеи на­чинают буквально «фонтанировать». Последующий анализ, который проводит группа сторонних экспертов, как правило, показывает, что всего лишь 10-15 % идей разумны, но среди них встречаются весьма оригинальные.

Искусство инженера по знаниям, проводящего «мозговой штурм», заключается в способности задавать вопросы аудитории, «подогревая» аудиторию. Вопросы служат своеобразным «крючком», которым извлекаются идеи.

Ролевые игры в группе

В каждой групповой игре заранее составляется сценарий, распределяются роли, готовятся портреты-описания ролей и разрабатывается система оценивания иг­роков.

Известны различные способы проведения ролевых игр. В одних играх участни­ки придумывают себе новые имена и выступают под ними. В других все игроки переходят на «ты». В третьих роли выбирают игроки, в четвертых для распреде­ления ролей вытягивается жребий.

Обычно в игре, предназначенной для получения знания, принимают участие от трех до шести экспертов: В случае большего числа экспертов они разбиваются на группы, между которыми организуется состязание: чей диагноз окажется ближе к истинному, чей план рациональнее использует ресурсы, кто быстрее определит неисправность в техническом блоке и т. п.

Создание игровой обстановки требует фантазии и выдумки от инженера по зна­ниям. Главное, чтобы эксперты в игре максимально погрузилась в ситуацию, действительно «заиграли», раскрепостились и «раскрыли свои карты».

Требования и инженеру по знаниям

Завершая сжатое рассмотрение на самом деле обширной области инженерии знаний отметим ряд основных требований к инженеру по знаниям.

· Инженер по знаниям должен иметь хорошую теоретическую подготовку в области моделей представления знаний, с тем чтобы оптимально выбирать и спользовать возможности моделей представления знаний для решения посталенной задачи.

· Хотя это не было ранее сформулировано явно, но из изложения материала понятно, что инженер по знаниям должен обладать отличными коммуникационными навыками и иметь некоторые познания в области психологии общения с тем, чтобы продуктивно работать с экспертами.

· Инженер по знаниям должен обладать системным мышлением и владеть методами анализа предметной области, методами когнитивной психологии.

· Иметь комплексную общенаучную подготовку и свободно владеть методами научного исследования, формальными методами описания и документирования.

· Свободно ориентироваться в области информационных технологий.

Роль инженера по знаниям при разработке интеллектуальных информационных систем часто является ключевой для успеха проекта системы. Как правило инженерами по знаниям становятся специалисты – разработчики программного обеспечения и аналитики, обладающие необходимыми навыками и склонностями. Отметим в заключение, что роль инженера по знаниям во многом схожа с функциями аналитиков и специалистов по внедрению при разработке обычных информационных систем.

Стратегии поиска в СОЗ