Часть 2.

Индуктивный порог: рационалистское априори

Методы автоматического обучения, рассмотренные в главах 9-11, и, следовательно, большая часть методов ИИ отражают индуктивные пороги, присущие их создателям. Проблема индуктивных порогов в том, что получаемые в результате представления и стратегии поиска дают средство кодирования в уже интерпретированном мире. Они редко могут предоставить механизмы для исследования наших интерпретаций, рождения новых взглядов или отслеживания и изменения неэффективных перспектив. Такие неявные предпосылки приводят к ловушке рационалистской эпистемологии, когда исследуемую среду можно увидеть лишь так, как мы ожидаем или научены ее видеть.

Роль индуктивного порога должна быть явной в каждом обучающем алгоритме. (Альтернативное утверждение гласит, что незнание индуктивного порога вовсе не означает того, что он не существует и не влияет критически на параметры обучения.) В символьном обучении индуктивные пороги обычно очевидны, например, использование семантической сети для концептуального обучения. В обучающем алгоритме Уинстона [Winston, 1975a] пороги включают представление в виде конъюнктивных связей и использование "попаданий близ цели" для коррекции наложенных на систему ограничений. Подобные пороги используются при реализации поиска в пространстве версий (раздел 9.1), построении деревьев решений в алгоритме ID3 (раздел 9.3) или даже правилах Meta-DENDRAL (раздел 9.5).

Как упоминалось в главах 10 и 11, многие аспекты стратегий коннекционистского и генетического обучения также предполагают наличие индуктивных порогов. Например, ограничения персептронных сетей привели к появлению скрытых слоев. Уместен вопрос о том, какой вклад вносят скрытые узлы в получение решения. Одна из функций скрытых узлов состоит в том, что они добавляют новые измерения в пространство представлений. На простом примере из подраздела 10.3.3 было видно, что данные в задаче "исключающего ИЛИ" не были линейно разделимы в двухмерном пространстве. Однако получаемые в процессе обучения весовые коэффициенты добавляют к представлению еще одно измерение. В трехмерном пространстве точки можно разделить двухмерной плоскостью. Выходной слой этой сети можно рассматривать как персептрон, находящий плоскость в трехмерном пространстве.

Глава 16. Искусственный интеллект как эмпирическая проблема 797

Стоит отметить, что многие из "различных" парадигм обучения используют (иногда неявно) общие индуктивные пороги. Примером подобной ситуации является взаимосвязь между кластеризацией в системе CLUSTER/2 (раздел 9.5), персептроном (раздел 10.2) и сетями прототипов (раздел 10.3). Было отмечено, что встречное распространение информации в дуальной сети, использующей обучение без учителя с коррекцией весов по выходу в слое Кохонена наряду с обучением с учителем в слое Гроссберга, во многом подобно обучению с обратным распространением ошибки.

Рассмотренные средства схожи во многих важных аспектах. Фактически даже задача кластеризации данных является дополнением к методу аппроксимации функций. В первом случае мы пытаемся классифицировать наборы данных; во втором строим функции, которые однозначно отделяют кластеры данных друг от друга. Это можно наблюдать, когда используемый персептроном алгоритм классификации на основе минимального расстояния находит также параметры, задающие линейное разделение.

Даже задачи обобщения или построения функций можно рассматривать с различных позиций. Например, статистические методы используются для обнаружения корреляции данных. Итеративный вариант рядов Тейлора позволяет аппроксимировать большинство функций. Алгоритмы полиномиальной аппроксимации на протяжении более столетия используются для аппроксимации функций по заданным точкам.

Итак, результат обучения (символьного, коннекционистского или эволюционного) во многом определяется принятыми предположениями о характере решения. Принимая в расчет этот синергетический эффект в процессе разработки вычислительных решателей задач, зачастую можно улучшить шансы на успех и более осмысленно интерпретировать результаты.

Дилемма эмпирика

Если в сегодняшних подходах к машинному обучению, особенно обучению с учителем, главную роль играет индуктивный порог, то обучение без учителя, которое используется во многих генетических и эволюционных подходах, сталкивается с противоположной проблемой, которую иногда называют дилеммой эмпирика. В таких подходах считается, что решения сложатся сами на основе эволюционирующих альтернатив, в процессе "выживания" наиболее подходящих особей популяции. Это мощный метод, особенно в контексте параллельных и распределенных средств поиска. Но возникает вопрос: откуда можно узнать, что система пришла к правильному решению, если мы не знали, куда идем?

Давным-давно Платон сформулировал эту проблему словами Менона из знаменитого диалога:

"Но каким же образом, Сократ, ты будешь искать вещь, не зная даже, что она такое? Какую из неизвестных тебе вещей изберешь ты предметом исследования? Или, если в лучшем случае ты даже натолкнешься на нее, откуда ты узнаешь, что она именно то, чего ты не знал?"

Несколько исследователей подтверждают слова Менона [Mitchell, 1997] и теорему "о бесплатном сыре" Вольперта и Макреди [Wolpert, Macready, 1995]. Эмпирик фактически нуждается в какой-то доле рационалистского априорного знания для придания научности своим рассуждениям.

Тем не менее продолжается множество увлекательных разработок в обучении без учителя и эволюционном обучении. Примером служит создание сетей, основанных на моделях или минимизации энергии, которые можно рассматривать в качестве аттракторов для сложных инвариантностей. Наблюдая, как данные "выстраиваются" к точкам притяжения, исследователь начинает рассматривать эти архитектуры как средства моделирования динамических явлений. Возникает вопрос: каковы ограничения этих методов?

798 Часть VII. Эпилог

Фактически исследователи показали [Siegelman и Sontag, 1991], что рекуррентные сети полны в смысле вычислений, т.е. эквивалентны классу машин Тьюринга. Эта эквивалентность обобщает более ранние результаты. Колмогоров [Kolmogorov, 1957] показал, что для каждой непрерывной функции существует нейронная сеть, реализующая ее вычисление. Также было показано, что сеть обратного распространения ошибки с одним скрытым слоем может аппроксимировать любую непрерывную на компакте функцию [Necht-Nielsen, 1989]. В разделе 11.3 было указано, что фон Нейман построил полные, по Тьюрингу, конечные автоматы. Таким образом, сети связей и конечные автоматы оказались еще двумя классами алгоритмов, способных аппроксимировать практически любую функцию. Кроме того, индуктивные пороги применимы к обучению без учителя, а также к эволюционным моделям; пороги представлений применимы к построению узлов, сетей и геномов, а алгоритмические пороги - к механизмам поиска, подкрепления и селекции.

Что в таком случае могут нам предложить коннекционистские, генетические или эволюционные конечные автоматы в их разнообразных формах? .

Одна из наиболее привлекательных черт нейросетевого обучения - это возмож

ность адаптации на основе входных данных или примеров. Таким образом, хотя их

архитектуры точно проектируются, они обучаются на примерах, обобщая данные в

конкретной предметной области. Но возникает вопрос о том, хватает ли данных и

достаточно они ли "чисты", чтобы не исказить результат решения. И может ли это

знать конструктор?

Генетические алгоритмы также обеспечивают мощный и гибкий механизм поиска

в пространстве параметров задачи. Генетический поиск управляется как мутация

ми, так и специальными операторами (например, скрещивания или инверсии), ко

торые сохраняют важные аспекты родительской информации для последующих

поколений. Каким образом проектировщик программы может найти и сохранить в

нужной мере компромисс между разнообразием и постоянством?

Генетические алгоритмы и коннекционистские архитектуры можно рассматривать

как примеры параллельной и асинхронной обработки. Но действительно ли они

обеспечивают результаты, недостижимые в последовательном программировании?

Хотя нейросетевые и социологические корни не имеют принципиального значе

ния для многих современных практиков коннекционистского и генетического

обучения, эти методы отражают многие важные стороны естественного отбора и

эволюции. В главе 10 были рассмотрены модели обучения с уменьшением

ошибки- персептронные сети, сети с обратным распространением ошибки и

модели Хебба. В подразделе 10.3.4 описаны сети Хопфилда, предназначенные

для решения задач ассоциативной памяти. Разнообразные эволюционные модели

рассматривались в главе 11.

И, наконец, все методики обучения являются эмпирическими средствами. Доста

точно ли мощны и выразительны эти средства, чтобы по мере выявления инвари-

антностей нашего мира ставить дальнейшие вопросы о природе восприятия, обу

чения и понимания?

В следующем разделе будет обоснован вывод о том, что конструктивистская эпистемология, объединенная с экспериментальными методами современного искусственного интеллекта, предлагает средства и технологии для дальнейшего построения и исследования теории интеллектуальных систем.

Глава 16. Искусственный интеллект как эмпирическая проблема 799

Примирение с конструктивистами

Теории, как сети: кто их закидывает, у того и улов... - Л. Виттгенштейн (L. Wittgenstein)

Конструктивисты выдвигают гипотезу о том, что всякое понимание является результатом взаимодействия между энергетическими образами мира и ментальными категориями, наложенными на мир разумным агентом [Piaget, 1954, 1970], [von Glasesfeld, 1978]. В терминах Пиагета (Piaget), мы ассимилируем (assimilate) явления внешней среды в соответствии с нашим текущим пониманием и приспосабливаем (accommodate) наше понимание к "требованиям" явления.

Конструктивисты часто используют термин схемы (schemata)