Как учится машина: Революция в области нейронных сетей и глубокого обучения

Перед нами одна из величайших загадок интеллекта: как разумное поведение возникает из сети очень простых взаимодействующих единиц, меняя связи между ними.

Воспроизведение мышления — цель исследования машинного обучения на основе искусственных нейронных сетей. Обучение путем корректировки эффективности синапсов является примером того, что статистики с середины XX в. называют «идентификацией параметров модели».

Я изучал математические работы по теории алгоритмической сложности Колмогорова, Соломонова и Чайтина. Книга Дуды и Харта [17], о которой я уже упоминал, стала для меня настольной. Я читал журнал «Биологическая кибернетика» («Biological Cybernetics. Advances in Computational Neuroscience and in Control and Information Theory for Biological Systems», издательство Springer), посвященный математическим моделям работы мозга или живых систем.

Фрэнк Розенблатт, вдохновленный когнитивной теорией Дональда Хебба, построил перцептрон — первую обучающуюся машину

В отличие от Deep Blue, AlphaGo была «обучена». Она тренировалась, играя против самой себя, сочетая при этом несколько хорошо известных методов: сверточные сети, усиленное обучение и метод Монте-Карло для поиска в дереве, метод «рандомизированных деревьев поиска». В

Алгоритм — это последовательность инструкций. Вот и все

В мозге 8,6·1010 нейронов, связанных между собой примерно 1,5·1014 синапсами. Каждый синапс может выполнять «вычисление» сотни раз в секунду. Данный синаптический расчет эквивалентен сотне цифровых операций на компьютере (умножение, сложение и т.д.) или 1,5·1018 операций в секунду для всего мозга, хотя в действительности лишь часть нейронов активна в любой момент времени. Для сравнения, карта GPU (графического процессора) может выполнять 1013 операций в секунду. Чтобы приблизиться к мощности мозга, потребуется 100 000 видеокарт. И тут есть одна загвоздка: человеческий мозг потребляет мощность, эквивалентную 25 Вт. Карта с одним GPU (графического процессора) потребляет в десять раз больше, т.е. 250 Вт. Электронные цепи в

Это называется способностью к обобщению.

нцертном зале Cadogan Hall 66 музыкантов английского оркестра «English Session Orchestra» публично исполнили новую версию Симфонии № 8 Шуберта, известную как «неоконченная». В тот вечер она стала законченной. После анализа двух существующих частей система искусственного интеллекта, разработанная компанией Huawei, создала две недостающие части музыкального произведения (впрочем, композитору Лукасу Кантору все-таки пришлось написать партитуру для оркестра).

В истории науки технологические изобретения зачатую предшествуют теории и науке. Примеры приведены в таблице 10.1.

Объектив, телескоп и микроскоп были изобретены задолго до того, как Ньютон разработал теорию оптики. Паровая машина работала более века, прежде чем Сади Карно ввел понятие теплового цикла и заложил основы термодинамики. Первые самолеты взлетели до того, как были разработаны аэродинамика, теории крыла и устойчивости полета. Первые программируемые компьютеры породили науку о вычислениях и алгоритмах, которую называют информатикой. Теория информации, предложенная Клодом Шенноном в Bell Labs в 1948 г., появилась лишь спустя десятилетия после появления первых удаленных коммуникаций и зарождения цифровых сетей.

Таблица 10.1. Изобретение и лежащая в его основе теория

Исследования в области ИИ все еще находятся на стадии разработки. Еще нет отдельной науки, связанной с ИИ. У нас нет единой теории интеллекта. Есть теория обучения, но она касается только контролируемого обучения и устанавливает для нас границы возможного, но не раскрывает секреты механизмов мозга или правильного подхода к самоконтролируемому обучению, которое характерно для биологических систем.

Можем ли мы представить себе теорию интеллекта? Возникнет ли наука об интеллекте благодаря изобретению машин, способных к обучению? Эти вопросы составляют мою исследовательскую программу на ближайшие десятилетия. Открыть для себя основные механизмы и принципы работы интеллекта, независимо от того, естественный он или искусственный.