#unrealneural #пытаюсьпонять
Continuous Thought Machines (CTM) и «Foveated Active Vision» (фовеальная зрительная система)

1. CTM определяет, куда смотреть, и насколько "приближен" его эффективный объектив. Внутренняя и постоянная обратная связь позволяет достичь fascinating (захватывающего) поведения.

2. Эмерджентность и простота: Все это достигается без дополнительных вспомогательных потерь и без использования обучения с подкреплением (RL). Основной целью является просто контролируемая кросс-энтропийная потеря.

3. Фовеальное зрение широко распространено в природе. CTM получает небольшую «фовею» (фокус) и сжатый, низкоразрешенный вид «периферии». Это позволяет ему динамически выбирать между изучением деталей и пониманием контекста.

4. Преимущества для CNN: Сверточные нейронные сети (CNN) обычно представляют собой крупные модели, которым приходится обрабатывать множество разрешений, где объекты могут казаться близкими или далекими. Предоставление CTM возможности эффективно «выбирать собственное разрешение» может позволить использовать гораздо меньшие и более эффективные базовые сети.

Видео автор описывает так:
1. Исходное изображение находится в верхнем левом углу. На нем наложена полярная сетка, обозначающая фовеальную выборку.

2. В центре показано то, что видит CTM (то есть, данные, которые поступают в базовую сеть).

3. Справа представлена фовеальная перспектива, перепроецированная в евклидово пространство.

4. Средний ряд показывает фовеальную информацию, «ворота», прогнозы, а также внимание (как в модельном пространстве, так и перепроецированное в евклидово пространство).

5. Нижний ряд демонстрирует нейронную динамику случайно выбранных нейронов.

http://pub.sakana.ai/ctm

AI LAB | Лаборатория ИИ

This media is not supported in your browser

VIEW IN TELEGRAM

#unrealneural #пытаюсьпонять
Continuous Thought Machines (CTM) и «Foveated Active Vision» (фовеальная зрительная система)

1. CTM определяет, куда смотреть, и насколько "приближен" его эффективный объектив. Внутренняя и постоянная обратная связь позволяет достичь fascinating (захватывающего) поведения.

2. Эмерджентность и простота: Все это достигается без дополнительных вспомогательных потерь и без использования обучения с подкреплением (RL). Основной целью является просто контролируемая кросс-энтропийная потеря.

3. Фовеальное зрение широко распространено в природе. CTM получает небольшую «фовею» (фокус) и сжатый, низкоразрешенный вид «периферии». Это позволяет ему динамически выбирать между изучением деталей и пониманием контекста.

4. Преимущества для CNN: Сверточные нейронные сети (CNN) обычно представляют собой крупные модели, которым приходится обрабатывать множество разрешений, где объекты могут казаться близкими или далекими. Предоставление CTM возможности эффективно «выбирать собственное разрешение» может позволить использовать гораздо меньшие и более эффективные базовые сети.

Видео автор описывает так:
1. Исходное изображение находится в верхнем левом углу. На нем наложена полярная сетка, обозначающая фовеальную выборку.

2. В центре показано то, что видит CTM (то есть, данные, которые поступают в базовую сеть).

3. Справа представлена фовеальная перспектива, перепроецированная в евклидово пространство.

4. Средний ряд показывает фовеальную информацию, «ворота», прогнозы, а также внимание (как в модельном пространстве, так и перепроецированное в евклидово пространство).

5. Нижний ряд демонстрирует нейронную динамику случайно выбранных нейронов.

http://pub.sakana.ai/ctm

hottg.com/unrealneural/1678

309 viewsАртур Ишмаев, edited  Jun 27 at 06:17