Концепции работы темпорального группировщика

Напомним, что темпоральный группировщик запоминает последовательности и вырабатывает предсказания. Основной принцип здесь в том, что когда клетка становится активной, она создает связи с другими клетками, которые были активными только что. После этого, клетки могут предсказывать наступление момента своей активности, просто отслеживая эти свои связи. Если так будут поступать все клетки, то все вместе, коллективно, они могут запоминать и вспоминать последовательности, а также предсказывать, что скорее всего, произойдет дальше. При этом, не существует никакого центрального хранилища последовательностей паттернов. Вместо этого, память распределена среди многих отдельных клеток. И благодаря этому, все система получается устойчивой к шуму и к ошибкам. Отдельные клетки могут не срабатывать обычно с небольшим, или вообще без отрицательного эффекта для всей системы.

Это одни из самых важных свойств разреженных представлений, которые использует темпоральный группировщик.

Предположим, что у нас есть гипотетический регион НТМ, который всегда формирует представления своих входных паттернов используя только 200 своих клеток из 10 000 (2% активных клеток в любой момент времени). Как мы можем при этом запомнить и распознать какой-то его определенный паттерн из 200 клеток? Простейший способ, это составить список из этих 200 клеток, за которыми мы будем следить. И если мы увидим, что все 200 из них опять стали активными, мы распознаем наш паттерн. Но что будет, если мы составим список только из 20 клеток и проигнорируем остальные 180? Вам может показаться, что наблюдение только за 20 клетками из 200 приведет нас к множеству ошибок, поскольку они могут быть активными во множестве других паттернов из 200 клеток. Но это не так, на самом деле. Поскольку наши паттерны очень разреженные и разбросанные по всему региону (в нашем случае 200 клеток из 10 000), отслеживание только 20 клеток дает примерно те же результаты, как и запоминание всех 200 клеток. Вероятность ошибки в подобных системах очень мала.

Клетки в НТМ регионе используют это его свойство. Дендритные сегменты каждой клетки имеет множество связей с другими клетками региона. И дендритные сегменты формируют эти связи с целью распознания определенного состояния сети клеток в определенный момент времени. Поблизости могут быть сотни или тысячи активных клеток, но дендритный сегмент должен сформировать связи только с 15 или 20 из них. И когда дендритный сегмент обнаружит, что эти 15 клеток стали активными, он может быть практически уверен, что в сети повторился большой паттерн. Такая техника называется «подвыборка» (sub-sampling) и она будет использоваться во многих алгоритмах НТМ.

Каждая наша клетка участвует во многих различных разреженных паттернах и во многих различных последовательностях. Конкретная клетка может участвовать в десятках и сотнях временных переходов. Поэтому, каждая клетка имеет несколько дендритных сегмента, а не только один. В идеале у клетки было бы по одному дендритному сегменту для каждого паттерна активности, который она хотела бы распознавать. Однако на практике, один дендритный сегмент может создать связи для запоминания нескольких различных паттернов, и все равно хорошо работать. Например, один сегмент может запомнить по 20 связей для каждого из 4 различных паттернов, что в итоге составит 80 связей. Пусть мы установим порог так, что дендритный сегмент становится активным, когда любые из его 15 связей становятся активными. В этом случае появляется возможность ошибки, если связи для различных паттернов не корректно скомбинируются между собой и совместно превысят пороговое значение. Тем не менее, такое тип ошибки достаточно маловероятен, опять же благодаря разреженности представлений.

Теперь мы можем себе представить, как одна клетка с одним или парой дюжин дендритных сегментов и несколькими тысячами синапсов может распознать сотни различных паттернов активности клеток.