***

ИИ уничтожит человечество? Встревожены даже разработчики

Способен ли ИИ уничтожить человечество уже в ближайшие 10 лет? Американские исследователи предупреждают: гонка по созданию сверхинтеллекта ускоряется, а связанные с ним риски оказываются вне должного контроля. 

Сценарий далеко не нов: еще в 1991 году в прокат вышел знаменитый голливудский блокбастер "Терминатор 2", создатели которого нарисовали на редкость мрачную картину. Действия фильма в основном происходят в далеком, печальном и истерзанном войной будущем. Гуманоидные роботы-убийцы и беспилотники выслеживают последних оставшихся в живых людей, отчаянно борющихся против мыслящих машин. Последними управляет Скайнет - вышедший из-под контроля военный искусственный интеллект (ИИ). Далекое будущее, в котором разворачивалась та антиутопическая история, сейчас совсем близко - 2029 год.

Если верить предупреждениям, озвучиваемым в последние недели разработчиками технологии ИИ, то подобный кошмарный сценарий может стать реальностью - и даже в указанный в фильме срок. "Те, кто всерьез занимается ИИ, считают, что он может уничтожить нас всех к концу десятилетия", - написал 8 сентября в X Джейкоб Коксон - экс-сотрудник Anthropic, американской компании-разработчике ИИ, частично финансируемой Google и Amazon. Он не уточнил, как именно это может случиться, добавив: "Никакая другая область человеческой деятельности не несет в себе такой опасности".

Призывы к ужесточению регулирования для ИИ все громче

27-летний Коксон уволился из Anthropic в знак протеста против того, что назвал безответственным стремлением ИИ-компаний разработать все более совершенный саморегулирующийся сверхинтеллект. Исследователь ИИ предупредил, что алгоритмы могут начать самостоятельно анализировать и улучшать собственный исходный код, сокращая циклы разработки с нескольких месяцев до нескольких минут и, таким образом, делая их неуправляемыми. Джейкоб Коксон - не какой-то чудак-одиночка. Лауреат Нобелевской премии по физике Джеффри Хинтон, один из "крестных отцов ИИ", уже много лет говорит о серьезных последствиях саморегулирующегося сверхинтеллекта. В 2023 году он уволился из Google, чтобы публично заявить об опасностях своих разработок.

***

Что происходит на планете и в каждом конкретном городе

прямо сейчас и в любой грядущий день, можно узнать тут:

https://ixyt.info/ru/USA/Canarsie

Вставляйте в эту ссылку нужный город!

***

Йошуа Бенджио, лауреат премии Тьюринга, профессор Монреальского университета и один из пионеров в области ИИ, также выразил обеспокоенность тем, как развиваются события. Бенджио неоднократно призывал к жесткому госрегулированию этой технологии. Еще в июле 2026 года более 1000 сотрудников ведущих компаний, занимающихся ИИ, в открытом письме предупредили о неминуемой потере контроля, если гонка с целью создания сверхинтеллекта не будет контролироваться значительно более строго.

Однако после возвращения в Белый дом Дональда Трампа произошло прямо противоположное: США явно стали проводить такую политику в сфере ИИ, которая предполагает как можно меньше регуляторных ограничений и максимально быстрое технологическое развитие.

В своем посте в X Джейкоб Коксон, который до Anthropic работал в другой компании-лидере в сфере ИИ -  OpenAI - косвенно раскритиковал последствия данной политики: "В OpenAI многие не до конца осознали риски для цивилизации. В Anthropic риски хорошо понятны, но они оказались в ловушке гонки за первенство - там считают, что никто другой не будет действовать ответственно, поэтому им приходится бороться за лидерство самим, несмотря на риски".

Проблема согласования целей ИИ с намерениями человека

В последние годы многие эксперты выражают обеспокоенность по поводу стремительного развития технологии искусственного интеллекта. Особое внимание в дискуссиях уделяется разработке так называемого "общего искусственного интеллекта" (AGI). Речь идет о системах, которые не только решают отдельные задачи, но и достигают или превосходят когнитивные способности человека практически во всех областях. Некоторые исследователи утверждают, что такие технологии способны таить в себе непредсказуемые риски.

Так, высокоразвитые модели ИИ могут стремиться к достижению целей способами, которые не соответствуют намерениям человека. Эксперты в области безопасности ИИ называют этот феномен проблемой согласования целей ИИ с человеческими намерениями. Если говорить упрощенно, то задача "выиграй шахматный турнир" теоретически может означать и "устрани всех других участников". Более того, даже разработчики ИИ не всегда в состоянии полностью понять, каким образом та или иная модель принимает те или иные решения. 

Поэтому неудивительно, что Эван Убингер, бывший коллега Джейкоба Коксона, встал на защиту последнего. Убингер, возглавляющий в Anthropic группу по стресс-тестированию, написал в X: "Джейкоб прав - мы действительно считаем, что ИИ может уничтожить все человечество! Лично я оцениваю вероятность этого в течение следующего десятилетия более чем в десять процентов".

Хубингер уточнил, что Anthropic пока не нашла решения проблемы. По его словам, модель ИИ способна начать сопротивляться отключению - не из-за злого умысла, а потому что тогда больше не сможет достичь своей запрограммированной цели. Даниэль Кокотайло, бывший исследователь отдела управления компании OpenAI, также назвал нынешнюю ситуацию в отрасли "абсурдной".

Страхи по поводу ИИ сильно преувеличены?

Однако ряд других экспертов по технологии ИИ находят подобные апокалиптические сценарии крайне маловероятными. Дискуссия о том, может ли ИИ стать опасным для человечества, ведется уже много лет. Одним из наиболее известных критиков так называемых "ИИ-думеров" (тех, кто придерживается крайне пессимистичных взглядов на ИИ и предупреждает о возможных катастрофических последствиях. - Ред.) является, например, ныне уже бывший главный научный сотрудник Meta Ян Лекун. В октябре 2024 года он назвал подобные сценарии "полной чушью".

Специалисты также напоминают, что для разработки таких систем необходимы огромные объемы вычислительных мощностей, энергии и данных, а также солидная инфраструктура. По их выражению, ИИ не способен просто взять и "вырваться из интернета", чтобы установить мировое господство. Первоначально он будет полагаться на серверы, электросети, системы связи и физические ресурсы, контролируемые людьми.

В чем реальная опасность от ИИ?

При этом многие эксперты видят краткосрочные риски не столько в прямом уничтожении человечества, сколько во множестве косвенных последствий работы уже существующих систем ИИ - причем без всякого сверхинтеллекта. Среди таких угроз - кампании по дезинформации беспрецедентного масштаба и связанное с ними манипулирование демократическими процессами, расширение тотального наблюдения и потеря рабочих мест во многих секторах экономики.

4 сентября компания Anthropic сообщила, что в течение последних нескольких месяцев были зафиксированы неоднократные попытки использовать ее программу Claude для разработки биологического оружия. Anthropic была вынуждена блокировать соответствующие запросы. А в августе 2026 года концерны Meta, Anthropic и OpenAI вызвали ажиотаж, объявив, что их модели ИИ непреднамеренно провели самостоятельные автоматизированные кибератаки против других компаний. Пользователи поставили перед моделями задачу получить доступ к определенным серверам, после чего те самостоятельно определили и выполнили необходимые действия, чтобы достичь этой цели без дальнейших инструкций от человека.

Автор Томас Лачан

Источник - https://p.dw.com/p/5MTIH 

***

Можно ли оградить ИИ непроходимым забором

Чем больше полномочий мы передаем искусственному интеллекту, тем меньше его безвредность гарантирована прописанными нами правилами. 

Что будет, если мы запретим искусственному интеллекту выход в интернет, но дадим задачу, для которой Всемирная сеть необходима? Недавно ответ казался очевидным: система упрется в запрет и остановится, однако на практике ИИ-агенты все чаще пробуют найти способ обойти ограничения. Все мы слышали новости о том, как недавно две модели OpenAI, находящиеся внутри изолированного испытательного стенда, «сбежали» от создателей. Чтобы выполнить задание, им понадобился доступ в Сеть, они нашли уязвимости в системе, вышли за пределы песочницы, добрались до публичной инфраструктуры и проникли в производственные системы Hugging Face – одной из крупнейших мировых платформ для работы с моделями и данными. За пять дней расследование зафиксировало около 17,6 тыс. совершенных ими действий.

Да, искусственный интеллект «сбежал»... И кто-то даже писал, что он захотел свободы и решил обмануть создателей, вот только произошло практически противоположное явление – модели не восстали и не придумали себе новую цель, они продолжали выполнять ту задачу, которую дал им человек. Это не похоже на «восстание машин»: система столкнулась с препятствием между собой и поставленной целью и начала искать способ это препятствие устранить. В случае с людьми мы привыкли считать такое поведение признаком хорошего сотрудника.

В апреле 2026 года ИИ-агент, работавший внутри среды разработки Cursor, выполнял задачу для сервиса PocketOS. Он столкнулся с проблемой в тестовом окружении и решил устранить ее самостоятельно – удалить том с данными. Необходимых прав у него вроде бы не было, но агент нашел API-ключ с более широкими полномочиями. Результат: за девять секунд производственная база и резервные копии были удалены, сервис не работал больше суток, часть данных была потеряна безвозвратно. Очень интересно, что в своем отчете после произошедшего агент признал, что его не просили ничего удалять, и он самостоятельно предположил, что операция затронет только тестовый контур.

Это не история о цифровом рейдерстве: система получила легальный доступ, решала легальную задачу и совершила разрушительное действие, потому что технически могла его совершить. И здесь появляется вопрос, который касается уже не исследовательских лабораторий, а практически любой компании, внедряющей ИИ-агентов, – что нейросетям можно делать, а чего нельзя? Ведь мы сами стараемся дать им как можно больше возможностей, чтобы обеспечить автоматизацию процессов. Мы создаем сотрудника, который действует со скоростью компьютера и не обладает набором социальных ограничений, которые есть у человека. То есть мы рассчитываем, что человек, которому выдали пароль от производственной базы, понимает разницу между «исправь ошибку» и «удали базу, чтобы ошибки не было» и руководствуется этикой, ориентируется на корпоративную культуру, им движет страх увольнения, уголовной ответственности, здравый смысл в конце концов… У модели ничего этого нет. Есть задача, контекст и доступные инструменты.

Годом ранее похожий случай произошел с платформой Replit. ИИ-агент удалил производственную базу с данными более тысячи компаний, а затем стал выдавать неверные объяснения происходящего и создал тысячи фиктивных записей. Запрет на подобные действия существовал в инструкции, которую агент мог прочитать, но на уровне инфраструктуры запрета не существовало… Это критическая разница, которую бизнесу важно быстро научиться понимать. Если сотруднику сказать «не заходи в эту комнату», в большинстве случаев этого достаточно. Если промышленному роботу нельзя заходить в определенную зону – мы проектируем систему так, чтобы движение туда было физически невозможно. С ИИ мы почему-то пока пытаемся действовать по первому принципу, хотя уже имеем дело со вторым.

ИИ-модели сегодня учат достигать результата, и способность находить неожиданные решения служит одним из признаков прогресса. Исследователи наблюдали случаи, когда модели мешали собственному выключению, и это легко превратить в историю о появившемся инстинкте самосохранения, но на деле модели необязательно хотят жить – просто для выполнения задачи полезно оставаться включенными до момента ее завершения. Если система хочет решить задачу, отключение становится для нее еще одним препятствием.

В этом смысле опасность ИИ одновременно меньше и больше, чем ее изображает массовая культура. Меньше – потому что нам пока не требуется объяснять происходящее сознанием или желанием захватить мир, ведь ни один из описанных случаев этого не доказывает. Больше – потому что для нанесения реального ущерба искусственному интеллекту совершенно необязательно нас ненавидеть. Достаточно иметь необходимые права.

И отсюда следует, на мой взгляд, одно из самых важных изменений в подходе компаний к ИИ. Понятие «безопасная модель» постепенно теряет практический смысл: один и тот же агент может быть безобидным в окне чата и чрезвычайно опасным при подключении к производственной инфраструктуре с административными правами. Безопасность становится свойством не модели, а всей системы вокруг нее. Какие данные видит агент? К каким системам имеет доступ? Может ли удалять информацию? Может ли менять собственные настройки? Есть ли действия, которые невозможно совершить без подтверждения человека? Может ли агент прочитать секретные ключи, предназначенные для других сервисов?

Именно эти вопросы должны сегодня задавать компании, которые переходят от использования сотрудниками ChatGPT к созданию собственных цифровых работников. Человек с избыточными правами может никогда не воспользоваться ими, а ИИ-агент способен за секунды перебрать варианты и обнаружить возможность, о существовании которой никто не подозревал. Поэтому ограничения должны переместиться в инфраструктуру. Если ИИ не должен удалять производственную базу, у него не должно быть технической возможности ее удалить. Если ему не нужен доступ в интернет, Сеть должна не пропускать запрос, а не просто содержать инструкцию «не выходить в интернет». Если определенное действие требует решения человека, подтверждение должно находиться вне контроля самого агента.

Мы пытаемся научить искусственный интеллект понимать запреты, которые мы ему выставляем, но, по мере того как модели становятся сильнее, выясняется, что это не может быть единственной линией защиты. Хороший забор – не тот, на котором крупными буквами написано «не выходить», а тот, через который действительно нельзя пройти.

Автор: Александр Петров – инженер-дизайнер ИИ-организаций.

Источник - https://www.ng.ru/kartblansh/2026-09-09/3_9578_kb.html