Версия 0.2.1 от 12 сентября 2011г.Иерархическая темпоральная память (HTM) И ее кортикальные алгоритмы обучения
Версия 0.2.1 от 12 сентября 2011г. (С) Numenta, Inc. 2011
Использование программного обеспечения и интеллектуальной собственности компании Numenta, включая все идеи, содержащиеся в данном документе, может осуществляться свободно (бесплатно) только для некоммерческих целей. Подробнее смотри (на английском языке): http://www.numenta.com/software-overview/licensing.php
Сначала прочтите это! Это предварительная версия данного документа. Некоторые вещи в ней пока просто отсутствуют, и мы должны четко уведомить вас об этом. Что ЕСТЬ в этом документе: Этот документ детально описывает новые алгоритмы обучения и предсказания состояний, разработанные в компании Numenta в 2010 году. Эти новые алгоритмы описаны здесь достаточно детально, чтобы программисты смогли их полностью понять и, по желанию, самостоятельно имплементировать. Документ начинается с водной (теоретической) главы [после предисловия]. Если вы и до этого следили за работами компании Numenta и читали некоторые из наших предыдущих документов, то эта вводная глава будет для вас знакомой. Остальной материал является новым. Чего НЕТ в этом документе: Есть несколько тем, относящихся к имплементации описанных новых алгоритмов, которые не вошли в эту предварительную версию документа: - Хотя большинство аспектов описанных алгоритмов было нами уже имплементировано и протестировано в виде программных приложений, результаты этих тестов пока не были включены в данный документ. - Отсутствуют описания, как эти алгоритмы могут быть применены к решению практических задач. Отсутствует описание, как вы могли бы конвертировать исходные данные с сенсоров или из базы данных в разреженные представления, подходящие для этих алгоритмов. - Эти алгоритмы самообучения могут работать в режиме on-line поступления данных. Однако, ряд деталей, необходимых для полной имплементации этого режима (для некоторых редких случаев), здесь не описаны. - Нами запланировано несколько дополнительных разделов, которые пока не включены в данный документ. Туда должны войти приложения с обсуждением свойств разреженных пространственных представлений, разделы о практических приложениях и примерах, а также ссылки на первоисточники. Мы решили опубликовать данный документ в его текущем виде, поскольку мы считаем, что описанные в нем алгоритмы могут быть интересны и для других людей. Отсутствующие части данной версии документа не должны затруднить понимание и эксперименты с описанными алгоритмами для заинтересованных исследователей. Мы будем регулярно обновлять данный документ, отражая в нем наши достижения. Дополнительно: ссылки на оригинал документа Данный документ был взят с официального сайта компания Numenta (www.numenta.com). Его оригинальное название – «Hierarchical Temporal Memory including HTM Cortical Learning Algorithms»; текущая ссылка на него (формат PDF): http://numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf
Дополнительно: обращение переводчика Автор перевода будет благодарен за все присланные замечания и предложения направленные на улучшение качества и удобочитаемости перевода данного документа. Прошу присылать их на мой почтовый адрес mih.net(эт)yandex.ru. Все примечания переводчика в данном тексте выделялись [квадратными скобками]. Содержание
Предисловие --------------------------------------------------------------------- 4
Глава 1: Введение в НТМ ----------------------------------------------------- 6
Глава 2: Кортикальные алгоритмы обучения НТМ ---------------------- 15
Глава 3: Имплементация пространственного группировщика и ее псевдокод ---------------------------------------------------------------------- 26
Глава 4: Имплементация темпорального группировщика и ее псевдокод ------------------------------------------------------------------------- 30
Приложение А: Сравнение между биологическими нейронами и клетками НТМ ------------------------------------------------------------------- 35
Приложение Б: Сравнение областей коры головного мозга и регионов НТМ ------------------------------------------------------------------- 40
Глоссарий ------------------------------------------------------------------------- 48
Предисловие Существует множество вещей, которые люди делают очень легко, а компьютеры на это сейчас просто не способны. Такие задачи, как распознавание визуальных образов, понимание разговорной речи, распознавание и манипулирование объектами с помощью осязания, равно как и навигация в сложном окружающем мире, довольно просто решаются людьми на практике. Тем не менее, не смотря на десятилетия упорных исследований, существует мало заметных алгоритмов для реализации подобных человеческих навыков с помощью компьютеров. В человеке все эти способности обеспечиваются, в основном, с помощью коры головного мозга. Иерархическая темпоральная память (Hierarchical Temporal Memory – HTM) это технология моделирующая то, как в коре головного мозга выполняются указанные функции. НТМ нацелена на построение машин, которые достигнут или даже превзойдут уровень человека во множестве когнитивных задач. Данный документ описывает указанную НТМ технологию. Глава 1 дает вводный обзор НТМ, подчеркивая важность иерархической организации, разреженность пространственных представлений, и запоминание временных событий. Глава 2 детально описывает алгоритмы обучения регионов НТМ. Главы 3 и 4 содержат в себе псевдокод для алгоритмов обучения НТМ поделенных на две части: для пространственного группировщика и для темпорального группировщика. После чтения глав со 2-ой по 4-ую, опытный инженер-программист может самостоятельно воспроизвести указанные алгоритмы и поэкспериментировать с ними. Мы надеемся, что некоторые из читателей пойдут еще дальше и разовьют для себя нашу работу.
|
