Anthropic предупредила инвесторов о приближении к порогу самосовершенствования ИИ

Американская компания Anthropic, разработчик нейросети Claude, предупредила о приближении к порогу, после которого искусственный интеллект сможет значительно ускорять создание собственных преемников. Соответствующее предупреждение содержится в поправке к документам для выхода на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC).

Речь идёт о так называемом рекурсивном самосовершенствовании, которое также обозначают аббревиатурой RSI. При таком сценарии нейросети помогают исследователям создавать более совершенные модели, а новые поколения ИИ ещё сильнее ускоряют разработку следующих версий. В результате технологический прогресс может начать развиваться по самоподдерживающемуся циклу. Сторонники технологии видят в ней путь к резкому росту производительности, научным открытиям и автоматизации исследований, тогда как критики опасаются, что системы, способные самостоятельно совершенствовать себя, могут развиваться быстрее, чем люди успеют обеспечивать безопасность.

В Anthropic считают, что будущие модели могут вскоре приблизиться к установленному компанией порогу ускорения исследований. Согласно её политике ответственного развития, одним из критериев является ситуация, когда благодаря ИИ за один год удаётся достичь прогресса, на который без такой помощи потребовалось бы два года. При этом ни одна из действующих моделей Claude пока официально не признана достигшей этого уровня.

Искусственный интеллект уже активно участвует в разработке собственных преемников. По данным Anthropic, в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты компании. Нейросеть также помогает проводить эксперименты, обрабатывать данные и проверять результаты исследований. В документах к IPO компания отмечает, что уже использует ИИ в собственных исследованиях и разработке новых моделей, возможности которых разработчики не всегда могли заранее оценить.

Главное опасение разработчиков связано с тем, что механизмы безопасности могут не успевать за ростом возможностей ИИ. Компания признала, что в прошлом не всегда своевременно обнаруживала ускорение собственных исследований, а в будущем подобные скачки могут оставаться незамеченными до тех пор, пока не произойдут. Кроме того, ошибки, допущенные одной моделью при создании следующей, могут передаваться новым поколениям нейросетей.

В числе потенциальных рисков Anthropic рассматривает утечку конфиденциальных данных, непредусмотренные действия автономных систем и возможность использования продвинутого ИИ в опасных исследованиях, включая разработку химического и биологического оружия. Компания также допускает сценарии, способные создать угрозу человечеству. Об опасности рекурсивного самосовершенствования ранее предупреждали и в OpenAI.

Для снижения рисков разработчик намерен усиливать контроль над исследовательскими процессами, сохранять журналы важных действий ИИ и привлекать независимых специалистов к оценке безопасности. В Anthropic также обсуждают дополнительные требования к обязательному одобрению отдельных решений людьми. При этом компания заявляет, что не рассчитывает в обозримом будущем безопасно использовать Claude для полностью автономного проектирования и создания следующих поколений передовых моделей без человеческого контроля и понимания происходящего. Рассматривается возможность обновить политику, чтобы сохранить участие людей в разработке таких систем.

Стоит отметить, что заявления о близости к рекурсивному самосовершенствованию требуют осторожной интерпретации. Документ S-1/A предназначен для раскрытия информации перед потенциальными инвесторами, но может выполнять и маркетинговую функцию. Кроме того, сам термин RSI пока не имеет общепринятого определения, поэтому оценить, насколько близка к нему компания, непросто.