: 28.11.2022
Искусственным нейросетям, как и биологическим, нужен «сон»
Человеку необходимо спать от 7 до 13 часов в сутки, в зависимости от возраста. Пока тело отдыхает, мозг занят важным делом – перерабатывает и наиболее эффективным образом реорганизует полученную информацию. Искусственные нейронные сети, построенные «по образу и подобию» биологических, также нуждаются в аналоге сна, чтобы не страдать потерей «памяти»
Искусственные нейронные сети все больше используются для прогнозирования и управления в самых разных областях человеческой деятельности: от науки и медицины до финансов и социальных сетей. Нейросети могут достигать поистине сверхчеловеческой производительности, но есть нюанс, который все портит. Речь идет о катастрофической помехе, или катастрофическом забывании: когда нейросеть обучается решению следующей задачи, она «забывает», как выполнять предыдущую. Новая информация «перезаписывает» старую.
Живой мозг умеет объединять старые воспоминания с новыми без потерь, и может учиться непрерывно, включая новые данные в массив уже существующих. И лучше всего этот процесс идет, когда обучение новому чередуется с периодами сна, во время которого происходит консолидация памяти.
В мозге человека воспоминания представлены с помощью так называемых синаптических весов. Синапс – это место соединения нервных клеток (нейронов), через которые они обмениваются информацией, а под «синаптическим весом» понимают степень важности сигнала, проходящего через конкретный синапс.
Активно работающий синапс – «сильный», крупный по размеру и площади контакта между клетками, редко работающий – маленький и «слабый». Во сне в мозге происходит некий выбор оптимального решения насчет слабых и сильных синапсов: какие из них следует поддержать и укрепить, а какие – нет. И реорганизация памяти происходит за счет феномена синаптической пластичности, изменения силы синапсов.
При поступлении новой информации нейроны возбуждаются определенным образом, а во сне эти «картинки памяти» спонтанно повторяются (реактивируются). Синаптическая пластичность помогает усилить их и таким образом предотвратить забывание, обеспечивая передачу знаний во времени. Благодаря этому механизму мозг может воспроизводить воспоминания без явного использования «массивов входных данных».
При работе с нейросетями проблему катастрофического забывания обычно пытались решить аналогичным образом, чередуя разные задачи, однако при этом исходные (обучающие) данные, в отличие от живого мозга, должны были постоянно быть в доступе.
Сейчас ученые из Университета Калифорнии в Сан-Диего (США) провели эксперименты на нейронных сетях третьего поколения – так называемых импульсных, представляющих собой более реалистичную модель работы мозга, где передача информации идет не непрерывно, а в виде дискретных событий (импульсов).
Оказалось, что если такие сети обучать новой задаче, чередуя обучение с периодами отключения (имитация сна), то это уменьшает эффект «катастрофического забывания», позволяя воспроизводить «воспоминания» без использования соответствующих обучающих данных.
Исследователи предположили существование многообразия решений конкретных задач в пространстве «синаптических весов». Последовательное обучение новым задачам позволяет нейронной сети переходить от одного многообразия решений к другому, используя память лишь для самой последней, но стирая воспоминания о предыдущих. Однако благодаря чередованию периодов обучения с фазами покоя система может двигаться в направлении пересечения этих многообразий и достигать некоего равновесия, что дает возможность сохранять более одной задачи-воспоминания.
Использованная в этой работе модель нейронной сети, безусловно, представляет собой сильное упрощение живой системы. Однако полученные на ней результаты могут иметь принципиальное решение для улучшения работы нейросетей. С другой стороны, они помогают лучше понять, как функционирует наш мозг – тот самый главный орган человека, работа которого во многом остается загадкой.
Фото: https://www.maxpixel.net, https://commons.wikimedia.org
: 28.11.2022 
