Производители потратили последние два года, доказывая, что агентный ИИ может работать в заводских условиях. Теперь системы отмечают неисправный подшипник, планируют ремонт, меняют заказ детали и обновляют производственный план без необходимости прикасаться к клавиатуре.
Согласно отчету Deloitte «Состояние искусственного интеллекта на предприятии за 2026 год», почти три из четырех производителей планируют внедрить агентный искусственный интеллект в течение двух лет, хотя в настоящее время только каждый пятый имеет модель, способную сделать это надежно. Этот пробел говорит о чем-то важном. Отрасль в значительной степени решила техническую часть агентного ИИ. Что остается нерешенным, так это более сложная и более человечная половина: решить, когда именно система должна продолжать работать самостоятельно, а когда ей следует остановиться и спросить кого-то.
Если вы ошибетесь в этом решении в любом направлении, оно отобразится в балансе. Слишком большой надзор, и операторы начинают полностью игнорировать оповещения. Слишком слабая и уверенная система действует на основе суждения, вызывающего изменение условий, и ошибка усугубляется прежде, чем кто-либо заметит. Ни один из режимов сбоя в данный момент не выглядит драматичным. И то, и другое со временем обходится дорого.
Почему двоичный контроль не работает
Многие производители по-прежнему рассматривают человеческий контроль как единый переключатель: либо ИИ работает автономно, либо каждое действие требует подтверждения. Эта концепция не соответствует тому, как на самом деле меняются решения на производственной линии. Изменение заказа обычных расходных материалов и остановка линии из-за необычных показаний датчика — это не одна и та же категория решений, однако они часто проходят через один и тот же процесс утверждения.
Более работоспособный подход классифицирует решения по трем уровням на основе риска и новизны, а не рассматривает надзор по принципу «все или ничего». Proceed охватывает решения, которые несут низкий риск и соответствуют шаблонам, которые система успешно обрабатывала много раз, например, планирование планового технического обслуживания или повторный заказ деталей в пределах установленных пороговых значений. Пауза охватывает решения, которые несут умеренный риск или немного выходят за рамки привычных шаблонов, когда система продолжает собирать информацию и отмечает свои аргументы, но некоторое время ждет подтверждения, прежде чем действовать. Эскалация охватывает решения, которые сопряжены с высоким риском, необычны или и то, и другое, когда человек проверяет, прежде чем что-либо произойдет на месте.
Как отметил исследователь HAI Ян Перро в Стэнфордском отчете об индексе искусственного интеллекта за 2026 год, организациям обычно не хватает показателей того, насколько хорошо система должна функционировать в данных условиях, и именно поэтому риск и новизна, а не общая политика, должны определять уровень.
Это также соответствует тому, что практикующие специалисты видят в этой области. Рамакришна Гарин, старший член IEEE, описал нынешнюю среду как полуавтоматическую работу человека в состоянии цикла, где человеческая проверка все еще необходима для незапланированных сценариев, хотя полнофункциональные агентные системы уже существуют. Трехуровневая модель придает этому инстинкту структуру, а не оставляет его на усмотрение каждого конкретного случая.
Почему чрезмерный мониторинг приводит к неприятным последствиям
Заманчиво предположить, что большее количество контрольно-пропускных пунктов всегда означает большую безопасность. На практике надзор имеет точку насыщения. Когда операторов просят утвердить каждый повторный заказ, каждое изменение в расписании и каждое незначительное отклонение, они перестают внимательно читать запросы и по привычке начинают нажимать «Одобрить». Надзор за безопасностью, который должен был обеспечить, незаметно исчезает, уступая место видимости контроля.
Это подтверждают отраслевые данные о человеческом процессе развертывания. Анализ исследования корпоративных агентов компании digitalapplied в 2026 году показал, что уровень надзора следует рассматривать как самостоятельный показатель доверия к производству, поскольку рабочий процесс с низкой скоростью эскалации в сочетании с сильным внедрением ведет себя совсем иначе, чем рабочий процесс с высокой скоростью эскалации и слабым внедрением, даже если оба технически работают в производстве. На заводе очередь на эскалацию, которая растет без соответствующего повышения качества решений, не является признаком осторожности. Это свидетельствует о том, что пороговые значения неправильно откалиброваны.
Кому должны принадлежать пороги
Решение о том, что считать рутинным, а что более важным, часто передается тому, кто внедрил систему: либо поставщику программного обеспечения, либо ИТ-команде, управляющей интеграцией. Ни у одной из групп нет повседневного контекста, который позволил бы правильно сделать этот звонок. Поставщики оптимизируют решение для плавного развертывания и широкого применения среди клиентов. ИТ-команды оптимизируют стабильность и безопасность системы. Оперативный персонал — это те, кто понимает, чего на самом деле стоит ложная эскалация на данной линии и чем на самом деле рискует пропущенная эскалация.
Установка порогов эскалации ближе к настройке допуска по качеству, чем к настройке программного обеспечения. Это требует тех же конкретных знаний о заводе, что упаковочный завод работает совершенно иначе, чем автомобильный завод, и что заводы могут существенно различаться даже в пределах одной отрасли. Руководители операций должны сами определять пороговые значения, а ИТ-специалисты и поставщики должны поддерживать реализацию, а не устанавливать политику.
Сигнализирует о том, что управление действительно работает
Человек в цикле настройки может выглядеть функциональным, но при этом тихо обеспечивать ложный комфорт. Короткий набор показателей отличает реальное управление от театра. Тенденция скорости эскалации с течением времени имеет большее значение, чем простое число, поскольку ставка, которая остается неизменной по мере того, как система обрабатывает больший объем, предполагает, что модель не усвоила разницу между обычными и необычными случаями. Время принятия решения по обострившимся вопросам показывает, относятся ли люди к делу серьезно или просто штампуют, чтобы очистить очередь. А точность собственных оценок неопределенности системы, то есть являются ли случаи, которые она помечает как неопределенные, на самом деле теми, которые требуют коррекции, является, пожалуй, самым четким тестом того, откалибрована ли вообще логика эскалации.
Зрелости управления в отрасли еще есть куда расти. Более широкое исследование предприятий, проведенное в этом году, показало, что только примерно каждая пятая организация имеет зрелую модель управления автономными агентами ИИ, и этот пробел отражает то, что наблюдается конкретно на производстве. Закрытие этой системы будет зависеть не столько от более совершенных моделей, сколько от производителей, которые наращивают организационные возможности, чтобы сознательно и индивидуально решать, когда система должна действовать, а когда ей следует спрашивать.
Диджам Паниграхи — соучредитель и главный операционный директор GridRaster, платформы пространственных вычислений для промышленных предприятий и производителей. Для получения дополнительной информации посетите www.gridraster.com .
Автоперевод статьи:
Источник
