BDH (Baby Dragon Hatchling) представляет собой новую архитектуру нейросети, сочетающую традиционное предобучение с функцией мгновенного самообучения во время инференса. Такая архитектура поддерживает как постоянную память для весов, обученных офлайн, так и временную память Hebbian, которая обновляется локальным правилом усиления связей между одновременно активирующимися нейронами.
Ключевые факты
- BDH использует два этапа: предобучение и быстрое Hebbian обновление во время инференса.
- Архитектура предлагает интерпретируемость процессов и способность к обучению в момент действия.
- Технология совместима с нейроморфными чипами и поддерживает масштабирование reasoning‑процессов.
- Автор реализовал прототип tiny-BDH на Rust для исследования задачи XOR.
- Преимущества: кратковременная память, легкое объединение моделей, сертифицируемая безопасность.
Последствия и перспективы
BDH потенциально приближает нас к архитектурам с большей адаптивностью и энергоэффективностью. Она способна объединять предобученные знания с быстрым контекстным запоминанием, что делает модели более объяснимыми. Возможность интеграции с нейроморфными чипами позволяет надеяться на дальнейшее развитие в области устойчивых и безопасных ИИ систем.