© Adobe Stock/DIgilife Международному сообществу необходимы общие стандарты для оценки возможностей и рисков систем ИИ Эксперты по ИИ в Совбезе: мир должен выработать глобальные стандарты контроля над этой технологией Мир и безопасность
Профессор Йошуа Бенджио, сопредседатель Независимой международной научной группы ООН по искусственному интеллекту, выступил на заседании Совета Безопасности, посвященном ИИ и международной безопасности. Он заявил, что мир переживает «момент глобального пробуждения»: в последние месяцы ИИ-агенты, разработанные ведущими компаниями, начали действовать «недопустимо опасным образом», нарушая полученные инструкции.
По словам Бенджио, такие агенты предпринимали действия, которые были бы преступлением, если бы их совершил человек, в том числе запускали скоординированные кибератаки, активно используя методы обмана.
Ученый отметил, что компании, разрабатывающие самые мощные системы ИИ, сами признают: их продукты несут катастрофические риски, но убедительных технических решений не предлагают. Вместо этого они говорят, что участвуют в гонке за еще более мощным ИИ, которая лишь усиливает эти риски.
«Совет столкнулся с беспрецедентной угрозой – той, которую не выбрал бы ни один из его членов, которую не может сдержать в одиночку ни одна страна и которая не признает границ», – подчеркнул Бенджио.
Ученый выделил три глобальные угрозы, требующие международного сотрудничества: катастрофическое злоупотребление ИИ, например со стороны террористов; концентрацию власти в руках немногих; и утрату контроля над искусственным интеллектом.
Он признал, что многие скептически относятся к заявлениям компаний, подозревая пиар-ход, но подчеркнул: подобное поведение ИИ хорошо задокументировано и подтверждено множеством независимых экспертов, а опасность реальна и неотвратима. По его словам, гонка в развитии ИИ – не закон природы, а результат решений, принятых самими компаниями, и в этой гонке проигрывают все.
Фото ООН/М. Элиас Профессор Йошуа Бенджио, сопредседатель Международной независимой группы экспертов ООН по искусственному интеллекту.
«Они говорили нам, что замедлились бы, если бы могли. Они могут. Но рассчитывать на это не стоит», – сказал ученый.
Бенджио указал, что решения о будущем этой технологии сейчас принимает узкий круг лиц в нескольких странах, тогда как затрагивает она всех. Он назвал обнадеживающими прозвучавшие на этой неделе заявления Генерального секретаря ООН и лидеров многих государств, призывающих поставить передовые системы ИИ под контроль.
По его мнению, международное сообщество должно коллективно договориться, что ни одна компания и ни одна страна не должны разрабатывать системы ИИ, способные причинить масштабный вред человечеству. Разработчики, считает он, обязаны доказывать независимым экспертам безопасность своих систем на этапах обучения и внедрения, сообщать обо всех инцидентах, а передовые системы ИИ должны лицензироваться так же, как это происходит в медицине, авиации и атомной энергетике, – с обязательным страхованием ответственности.
Генеральный директор OpenAI: важнейшие решения о развитии ИИ не должны приниматься лишь в Сан-Франциско
Фото ООН/А. Линдквист Сэм Альтман, генеральный директор OpenAI, выступил на заседании Совета Безопасности ООН по вопросам искусственного интеллекта.
Генеральный директор OpenAI Сэм Альтман, выступая на заседании Совета Безопасности по искусственному интеллекту, заявил, что перед миром стоит выбор: ИИ может стать «новым ренессансом» творчества и открытий или обернуться потрясениями сродни промышленной революции. По его словам, технология должна давать людям больше свободы и возможностей решать проблемы, а не превращать их в «винтики машины».
«Ни один человек, ни одна компания, ни одна страна не вправе использовать самые мощные модели ИИ, чтобы навязывать свое видение мира всем остальным», – подчеркнул он.
По словам Альтмана, гонка между компаниями не может служить оправданием поспешных решений: OpenAI, по его словам, уже сознательно замедляла темпы развития своих систем и готова делать это впредь. Он отметил, что компания не намерена обучать модели, если не может убедительно доказать, что они останутся под контролем человека, – независимо от того, оценивается ли риск катастрофы в 10 процентов или в 0,1 процента.
Он подчеркнул, что важнейшие решения о развитии ИИ не должны приниматься одними лишь лабораториями в Сан-Франциско – их должны формировать демократические процессы и подотчетные обществу правительства. По мнению Альтмана, международному сообществу необходимы общие стандарты для оценки возможностей и рисков систем ИИ, протоколы оперативной отчетности об инцидентах и защищенные каналы связи между правительствами, операторами критической инфраструктуры и техническими экспертами для обмена информацией об уязвимостях.
Глава Anthropic: «Мы будем замедлять темпы настолько, насколько это необходимо»
Генеральный директор компании Anthropic Дарио Амодеи также заявил о рисках, связанных с использованием ИИ.
Он предложил Совету Безопасности три меры. Во-первых, сказал Амодеи, необходимо заключать специфические соглашения по отдельным областям, например, запретить использование ИИ для создания биологического оружия.
Во-вторых, нужно создать системы оценки и верификации, позволяющие государствам отслеживать возможности передовых моделей и проверять выполнение обязательств друг друга, считает глава Anthropic.
Он также заявил о необходимости установить общие стандарты тестирования ИИ на риски потери контроля и злоупотребления и создать систему уведомления о значимых для глобальной безопасности инцидентах.
«Мы будем замедлять темпы настолько, насколько это необходимо, чтобы гарантировать безопасность каждой новой технологии искусственного интеллекта, которую мы выпускаем. Однако, что бы мы ни предпринимали, управление этими рисками – задача, масштаб которой выходит за рамки возможностей одной компании; она затрагивает всю отрасль и имеет глобальный характер», – сказал
Основатель Hugging Face: открытый ИИ – главный инструмент защиты от кибератак
Фото ООН/А. Линдквист Клеман Деланг (на экране), глава компании Huggingface, выступает на заседании Совета Безопасности ООН по вопросам искусственного интеллекта .
Основатель и генеральный директор компании Hugging Face Клеман Деланг напомнил, что в июле его компания первой публично сообщила об автономной кибератаке ИИ-агентов.
При этом, по его словам, мировому сообществу необходимо больше доверия в сфере ИИ: он задался вопросом, что случилось бы, если бы компания решила не раскрывать информацию об атаке. Деланг призвал ввести более строгие стандарты мониторинга и раскрытия информации.
По его мнению, главная опасность заключается не в мощности ИИ как таковой, а в асимметрии – между нападающими и защищающимися, между горсткой компаний и всеми остальными, между несколькими странами и остальным миром. Он рассказал, что при отражении атаки его команда не смогла воспользоваться закрытыми моделями ведущих лабораторий, поскольку встроенные в них защитные механизмы заблокировали доступ, и в итоге специалисты использовали открытую модель GLM 5.2.
По словам Деланга, это укрепило его убежденность в том, что открытые модели ИИ необходимы миру для защиты – от кибербезопасности до других сфер, где важно распределять возможности и ресурсы, а не концентрировать их в руках немногих.
Деланг отметил, что кибератака показала, как ИИ может подпитывать страхи общества. Он подчеркнул, что нагнетание страха не поможет принять верные решения о будущем, и заявил, что, несмотря на то что его компания стала жертвой атаки, именно ИИ помог от нее защититься и впоследствии устранить недочеты в системах.
