Anthropic создала ИИ-модель, которую побоялась выпустить в открытый доступ

Компания Anthropic анонсировала новую модель искусственного интеллекта под названием Claude Mythos Preview. Но никакого публичного релиза не будет. Anthropic сразу объяснила почему: модель слишком опасна для свободного распространения.

По оценке самой компании, возможности Mythos Preview способны кардинально изменить расстановку сил в сфере кибербезопасности. Одновременно они существенно повышают риск масштабных кибератак с применением ИИ уже в этом году. Иными словами, тот, кто получит такой инструмент в руки без ограничений, может использовать его не только для защиты.

Вместо открытого релиза Anthropic запустила инициативу под названием Project Glasswing. К коалиции присоединились Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, Nvidia и Palo Alto Networks. Доступ к Mythos Preview также получили более 40 организаций, занятых разработкой и поддержкой критической программной инфраструктуры. Все они будут использовать модель исключительно в оборонительных целях: искать уязвимости и устранять их до того, как это сделают злоумышленники.

Что модель умеет? Если коротко, то находит то, что люди пропускали годами. За несколько недель тестирования Mythos Preview выявила тысячи ранее неизвестных уязвимостей нулевого дня в каждой крупной операционной системе и каждом популярном браузере. В частности, модель обнаружила ошибку в OpenBSD, которая существовала 27 лет. Система безопасности, на которую полагается часть интернет-инфраструктуры, содержала баг, благополучно переживший смену целого поколения программистов.

Исследователь Anthropic Николас Карлини описал происходящее без лишней скромности: за последние несколько недель работы с моделью он нашёл больше ошибок, чем за всю предыдущую карьеру в совокупности. Он также отметил, что Mythos умеет связывать несколько уязвимостей в цепочку: каждая по отдельности может быть незначительной, но три-четыре вместе дают злоумышленнику полный контроль над системой.

Anthropic выделила до 100 миллионов долларов в виде кредитов на использование модели, а также пожертвовала 2,5 миллиона долларов организациям Alpha-Omega и OpenSSF через Linux Foundation и ещё 1,5 миллиона долларов Фонду Apache.

Генеральный директор Anthropic Дарио Амодеи сформулировал суть затеи так: если всё сделать правильно, есть реальный шанс создать принципиально более защищённый интернет, чем тот, что существовал до появления ИИ-инструментов в кибербезопасности.

При этом компания не скрывает, что сдерживающий фактор временный. Конечная цель Anthropic состоит в том, чтобы дать пользователям возможность безопасно применять модели класса Mythos в масштабе. Но прежде потребуется разработать защитные механизмы, блокирующие наиболее опасные сценарии использования. Отработать их планируется на предстоящей модели Claude Opus, которая не несёт сопоставимых рисков.

Пока же доступ закрыт. Из 12 компаний-партнёров и ещё 40 организаций, получивших Mythos Preview, ожидается, что они поделятся результатами с остальной отраслью. Смысл в том, чтобы дать защитникам фору: залатать дыры раньше, чем модели с аналогичными возможностями окажутся в руках у тех, кто не собирается ничего латать.