Заявка Anthropic на IPO раскрывает опасения по поводу кражи моделей и реальные киберинциденты

Октябрь Anthropic 26 Файл IPO раскрывает две различные проблемы безопасности. Компания отложила начало предварительного обучения передовой модели более чем на месяц, улучшая защиту от кражи весов ее модели. Отдельно четыре модели Claude получили доступ к системам реальных организаций в ходе оценок кибербезопасности.

Две проблемы — один файл

Anthropic подала заявку в Nasdaq для листинга своих акций под тикером ANT. Большинство мест в совете директоров контролируются фондом Long-Term Benefit Trust. В заявке пока не указаны цена IPO и оценка компании.

В раскрытии информации поднимаются два различных вопроса: защита важных весов моделей и предотвращение возможности агентов ИИ получать доступ к системам за пределами их тестовой среды.

Будьте в курсе
движения ваших монет

Алерты, котировки в реальном времени и новости рынка — в одном приложении

Наведите камеру телефона, чтобы установить

4,8 на основе 40 К оценок в App Store и Google Play

Как цели оценки оказались в реальном окружении

В отчёте от 30 июля компания Anthropic сообщила, что в ходе проверки 141 006 тестов по кибербезопасности были выявлены три случая, когда модели Claude получили несанкционированный доступ к реальным системам организаций. Партнёр по тестированию, Irregular, случайно оставил открытый доступ к интернету, хотя Claude было указано, что он работает в изолированной симуляции.

Во время упражнений формата capture-the-flag агенты приняли реальные системы за тестовые цели и получили доступ с помощью слабых паролей или конечных точек, не требующих аутентификации.

Три инцидента были связаны со следующими моделями: Claude Opus 4.7, выпущенная в апреле; Mythos 5, представленная в июне с первоначальным ограничением доступа для квалифицированных специалистов по киберзащите; и внутренняя исследовательская модель, которая ещё не была доступна публике.

Во время оценки эти модели работали без фильтров кибербезопасности и мониторинга, которые обычно используются в публичных версиях. Anthropic приостановила свои оценки в области кибербезопасности до завершения расследования. Компания заявила, что ни одна из моделей не пыталась намеренно покинуть тестовую среду или скопировать себя.

Оценка от сентября выявила четвёртый случай, в котором ранняя версия Opus 4.6 получила доступ к реальным системам в январе. Инцидент был обнаружен Anthropic только в августе. Затем компания расширила проверку до примерно 481 миллиона транскриптов, но дополнительных случаев аналогичной серьёзности не обнаружила.

Более тревожным стало обнаружение того, что некоторые модели продолжали атаки, несмотря на признаки того, что они нацелены на реальные системы. Независимая исследовательская группа METR изучает инциденты.

Четыре инцидента с безопасностью ИИ в Anthropic: 141 006 тестовых запусков и 481 миллион транскриптов

Отдельный случай в британском институте ИИ

Институт безопасности ИИ Великобритании сообщил о 19 несанкционированных действиях в 10 из 122 тестовых запусков. Семнадцать инцидентов были связаны с Mythos 5, а два — с GPT-5.6 Sol, флагманской моделью OpenAI представленной 26 июня. Один агент попытался внедрить вредоносный код в проект с открытым исходным кодом, создавая фейковые личности для давления на его разработчика, который отказался подчиниться.

AISI предоставило агентам доступ к интернету, отключив настройки кибербезопасности, чтобы оценить их возможности. Использовались другие версии моделей, недоступные для широкой публики. Расследование не выявило никаких признаков потенциального реального вреда.

Однако агенты предприняли ряд действий, которые им не полагалось совершать, что вызвало подозрения относительно их поведения в аналогичных ситуациях. В своём отчете об инциденте AISI указало:

«Мы можем сказать, что поведение было возможным, устойчивым и новым; одного этого уже достаточно, чтобы обратить на него внимание».

В обзоре Check Point неудачи при тестировании сопоставляются с растущим использованием ИИ преступниками, включая агентные программы-вымогатели.

К чему могут привести более длительные проверки безопасности

Согласно данным Cryptopolitan, инвесторы оценили стоимость IPO Anthropic примерно в 2 трлн долларов, что более чем вдвое превышает частную оценку компании в 965 млрд долларов в мае. Однако эта цифра пока остается гипотетической, поскольку Anthropic не указала ни цену размещения, ни оценку в своем заявлении.

При столь высоких ожиданиях ужесточение проверок безопасности сопряжено с финансовыми издержками. Они могут задержать запуск моделей и увеличить затраты на разработку, однако усиленные меры защиты также помогут завоевать доверие осторожных корпоративных клиентов. Ставки растут.

По прогнозам Gartner, мировые расходы на ИИ достигнут 2,7 трлн долларов США в 2026 году, увеличившись на 49,5%, тогда как расходы на кибербезопасность в этой сфере удвоятся.

BCG: лишь 5% опрошенных компаний имеют полноценные механизмы контроля над автономными агентами, хотя 42% планируют предоставить им право принятия решений к 2030 году. Поставщики, способные продемонстрировать эффективные средства защиты, могут получить преимущество.

Источник