История диалогов и сохранённые факты не равны настоящему обучению модели. Добавление новых навыков может ухудшать выполнение старых задач.
Память сервиса не равна обучению модели
ChatGPT или Claude могут хранить сведения о пользователе и учитывать прошлые разговоры. Это работа программной оболочки вокруг модели, а не постоянное изменение её внутренних знаний после каждого сообщения.
Настоящее дообучение требует отдельного процесса и большого набора данных.
Почему модель забывает старое
При последовательном обучении новым задачам нейросеть может терять часть ранее освоенных навыков. В исследованиях это называют проблемой катастрофического забывания.
Поэтому добавить модели новые знания без ухудшения прежних возможностей сложнее, чем просто загрузить ещё один набор данных.
Что исследователи называют «сном»
В описанном в исходной публикации эксперименте сеть последовательно обучали нескольким задачам, а между ними запускали фазу без новых данных. Такая фаза помогала сохранить связи, сформированные на предыдущих задачах.
Это лабораторное направление исследований, а не функция современных пользовательских агентов. Переносить его результаты напрямую на рабочий чат нельзя.
Веб-версия структурирована для поиска и дополнена практическими пояснениями. Исходный пост опубликован .
Открыть оригинал в Telegram