Подтверждение человеком действий ИИ-агента: доклад на круглом столе в Совете Федерации 29 сентября 2026 года

Видеозапись выступления, 4:46. Полная трансляция круглого стола опубликована на RUTUBE, мое выступление начинается на 1:04:00.

Требование, чтобы критические действия ИИ подтверждал человек, уже закреплено в нормах и в практике рынка. Условия, при которых такое подтверждение остается проверкой по существу, при этом не определены: при плотном потоке решений человек склонен доверять выводу системы, а формальная подпись внешне ничем не отличается от настоящей проверки. Чтобы описать эти условия, сначала нужны данные о том, сколько времени требует проверка и при какой нагрузке она становится формальной. По этим данным можно подготовить перечень условий содержательного подтверждения в форме методических рекомендаций или стандарта, без новых обязательных требований.

Круглый стол "Совершенствование правового регулирования в сфере разработки, внедрения и применения технологий искусственного интеллекта" прошел 29 сентября 2026 года в Совете Федерации, сообщение о нем опубликовано на сайте Совета Федерации. Его провели Комитет Совета Федерации по конституционному законодательству и государственному строительству совместно с Комитетом Совета Федерации по экономической политике в рамках работы секции "Искусственный интеллект" Совета по развитию цифровой экономики при Совете Федерации.

Главной темой стали ИИ-агенты, которые все чаще совершают сделки и выполняют операции от имени людей и компаний, и переход к агентной экономике. В обсуждении участвовали сенаторы, представители профильных ведомств и компаний, которые разрабатывают и внедряют технологии искусственного интеллекта. Открывающее выступление представителя Генеральной прокуратуры касалось ответственности человека за действия агента, и мой доклад продолжил эту тему.

Я начал выступление с предположения, что каждый в зале хотя бы раз в жизни подписывал документ, который не читал. Юридическую ответственность за такую подпись берут на себя, опираясь на человека, который документ готовил и отвечает за него должностью, зарплатой и репутацией.

В агентной экономике эта конструкция меняется. Документ или операцию готовит агент, с которого не спросить, и подтверждение человека становится единственной проверкой.

Моя область - организация интеллектуального труда: как устроен рабочий поток человека, который применяет систему ИИ, и где он теряет время и внимание. Поэтому в докладе я говорил только о той части вопроса, которая лежит в этой области.

Требование, чтобы критические действия ИИ подтверждал человек, в России уже есть: оно закреплено в законе о персональных данных, в рекомендациях Банка России по применению ИИ и в концепции Верховного Суда о внедрении ИИ в судопроизводство. Рынок пришел к тому же: Т-Банк и Yandex Cloud в сентябре 2026 года публично заявили, что подтверждение человеком остается обязательной контрольной точкой для действий ИИ-агентов. Точные ссылки на документы - в списке источников в конце статьи.

С самим требованием я согласен полностью. Вопрос в том, при каких условиях оно исполнимо по существу.

У сотрудника, который подтверждает действия агента или проверяет журнал уже выполненных действий, два пути. Первый - восстановить основания, продублировать часть работы агента и проверить результат, теряя значительную часть экономии времени от автоматизации. Второй - довериться результату, который обычно оказывается нормальным, и подтвердить. При плотном потоке решений человек, как правило, идет вторым путем.

В исследованиях этот эффект называется automation bias, предвзятость автоматизации: чрезмерное доверие выводу системы, которое снижает бдительность при проверке. Он зафиксирован и у новичков, и у опытных специалистов, например у пилотов, и обучение или прямая инструкция проверять рекомендации системы его не устраняют (Parasuraman, Manzey, 2010). Систематический обзор, в который вошли и исследования в медицине, показал, что эффект возникает и тогда, когда человек занят одной задачей без параллельной нагрузки, особенно если проверить вывод системы сложно, и связан с когнитивной нагрузкой (Lyell, Coiera, 2017). Перенос этих данных на сотрудника, который подтверждает действия агента в хозяйственной деятельности, - мое умозаключение, прямых российских замеров пока нет. Подробнее об этом эффекте я писал в июне, после заседания секции "Искусственный интеллект": статья от 26.06.2026.

Главная сложность в том, что формальное подтверждение и проверка по существу внешне неразличимы: на выходе одна и та же подпись, а работа за ней не видна. Требование выполнено юридически, риск остается фактически.

Проверку обычно обсуждают как отдельное действие: человек посмотрел и подтвердил. Агенты при этом работают круглосуточно и в несколько потоков, а человек, который их контролирует, остался прежним вместе со всеми своими когнитивными ограничениями. Подтверждения складываются в поток из десятков решений в день, и на него действуют эффекты, которых у единичного действия нет: истощение внимания, привыкание к однотипным запросам, потеря контекста при переключениях.

Это относится ко всем формам контроля агента. Подтверждаю ли я отдельное действие, задаю границы полномочий на класс операций или проверяю журнал действий за неделю, я читаю сводку, подготовленную системой, и принимаю решение под нагрузкой. Проверка журнала к потоку даже ближе: за один сеанс через нее проходят десятки записей.

Отсюда моя гипотеза: контроль стоит проектировать как поток, по тем же правилам, которые работают для других потоков задач. Это значит группировать подтверждения по смыслу вместо прерывания по каждому действию, задавать окна проверки и паузы, ограничивать поток на одного проверяющего, а в каждом подтверждении показывать основания действия, первичные данные и оценку системой собственной неуверенности. Насколько эти правила переносятся на проверку действий агентов, еще предстоит проверить. Это задача организации труда, и именно ей посвящен тайм-инжиниринг: как поток задач упирается в ограничения внимания человека и во что это обходится по времени и качеству решений.

За рубежом критерии содержательного участия человека сформулированы качественно: полномочие изменить решение, компетентность, учет всех относящихся к делу данных (руководство Рабочей группы по статье 29 к статье 22 GDPR, 2018; Регламент ЕС об искусственном интеллекте, статьи 14 и 26). Дальше всех продвинулся Европейский надзорный орган по защите данных (EDPS): его контрольный список для самооценки участия человека в автоматизированных решениях (2026) говорит о "реалистичных сроках" для проверяющих, о "максимальной квоте нагрузки на смену" и о том, что проверяющий не должен быть занят другими задачами. Значений там нет.

В российской научной литературе критерий значимого участия человека сформулирован для кадровых решений: полномочия, деловые качества, фактическая возможность проверить, изменить или отменить действие ИИ (МГУ, 2024). В российских нормативных документах критериев содержательности подтверждения пока нет вовсе.

Зарубежные исследования 2025-2026 годов сходятся в том, что заметная часть выигрыша времени от ИИ возвращается в виде проверки и исправления результата. По опросу Workday (3200 руководителей и сотрудников компаний с выручкой от 100 млн долларов, активно применяющих ИИ, ноябрь 2025 года), на исправление и проверку результатов ИИ уходит 37% сэкономленного времени, а стабильно положительный результат получают 14% сотрудников; это самооценка участников. В контролируемом эксперименте METR (16 опытных разработчиков открытого ПО, 246 реальных задач, инструменты начала 2025 года) задачи с ИИ-инструментами выполнялись на 19% дольше, хотя участники ожидали ускорения на 24% и после эксперимента считали, что ускорились на 20%. Второй результат важнее первого: люди не замечают затрат времени на проверку и потому их недооценивают.

Как падает качество проверки с ростом потока, на живых проверяющих под нагрузкой пока не измерил никто. Российских замеров времени на проверку результатов ИИ в открытых публикациях на сентябрь 2026 года я не нашел. Без этих данных любые критерии получатся такими же общими, как "достаточное время".

Требования к контролю агентов - разграничение полномочий, подтверждение, журналирование, аудит - рассчитаны на организацию с выделенной функцией контроля. В компании на 10-50 человек эта функция ложится на одного-двух сотрудников поверх основной работы. При этом небольшие компании чаще пользуются готовыми агентами от банков и платформ и сами условия подтверждения не проектируют: что видит подтверждающий, сколько запросов приходит ему в час и может ли он остановить действие, решает поставщик. Поэтому условия содержательного подтверждения разумно адресовать поставщикам агентов и учитывать масштаб организации, которая их применяет.

Начать с данных: выяснить, сколько времени требует проверка по существу и при какой нагрузке она становится формальной. По этим данным уже можно обсуждать перечень условий содержательного подтверждения: располагаемое время на проверку, предельный поток подтверждений на одного человека, доступ к основаниям действия, полномочие остановить агента, учет масштаба организации. Окончательный состав такого перечня должны определить данные.

Форма - методические рекомендации или стандарт, без нового регулирования: требование о подтверждении человеком уже действует. Перечень нужен, чтобы в спорном случае можно было установить, были ли соблюдены условия содержательного подтверждения, и распределить ответственность между тремя сторонами - поставщиком агента, организацией и сотрудником. Если условия обеспечены, подтверждение надлежащее и решение принадлежит тому, кто его принял. Если нет, отвечает тот, кто их не обеспечил.

Благодарю, Андрей Владимирович. Добрый день, коллеги. Моя тема напрямую пересекается с той проблематикой, которую озвучил в своем открывающем выступлении Олег Вячеславович, именно ответственность человека за действия агента. Я думаю, предположу, что каждый в этом зале хотя бы раз в жизни подписывал документ, который не читал. И мы принимаем за это юридическую ответственность. Почему? Потому что мы опираемся на то, что документ готовил человек. И этот человек, пусть не юридически, но чем-то за это отвечает: должностью, зарплатой, репутацией. То есть документ проверен. В агентной экономике конструкция меняется. Документ или операцию готовит агент, с которого не спросить. И подтверждение человека становится единственной проверкой.

Само требование, чтобы критические действия подтверждал человек, уже закреплено в ряде нормативных документов. Я с ним согласен полностью. Но здесь важно не упустить вопрос исполнимости этой нормы. При каких условиях подтверждение человека может быть содержательным, а не формальной подписью без проверки? У сотрудника, который... подтверждает действия агента, либо проверяет журналы уже выполненных действий агента, есть два пути. Первый - просмотреть исходные данные, продублировать часть работы агента, получить результат, но при этом часть экономии времени на автоматизацию теряется. Второй путь - это довериться результату, который обычно нормальный, и просто подтвердить. И при плотном потоке решений, как правило, человек идет вторым путем.

Этот феномен давно известен. В исследованиях он называется automation bias, предвзятость автоматизации. И он подтвержден и исследован задолго до бума искусственного интеллекта. Это склонность доверять результатам автоматизации без критической проверки. Причем этот эффект проявляется даже у квалифицированных специалистов и даже при единичных проверках. Когда же с ростом числа агентов подтверждения будут складываться в поток, поскольку их будет все больше и больше, или проверки будут складываться в поток... И это добавляет еще новые ограничения: истощение внимания, привычка к однотипным запросам, потери контекста при переключениях и так далее.

Какие из этих факторов здесь имеют значение? За рубежом вопрос до сих пор проработан описательно. Критерии названы, но количественно значения не заданы. Например, Европейский надзорный орган по защите данных, EDPS, в мае этого года в своем контрольном списке, например, пишет про "реалистичные сроки", "максимальная квота нагрузки за смену". Но сколько - это не говорит. В российских нормативных документах критериев содержательности пока что нет вовсе. Данные об исследованиях и количественных измерениях этих критериев в открытых источниках не найдены. Поэтому любые рекомендации сегодня скорее могут быть общие.

Какие выводы из этого мы можем сделать? Экономика движется к агентам, которые будут обладать большой производительностью, которые будут работать круглосуточно и в нескольких потоках. Но при этом человек, который их контролирует, он остался прежним. И все когнитивные ограничения человека остались прежними. Если человек будет отвечать за результат действий агента, то эти ограничения также нужно учитывать. Для этого необходимы в первую очередь данные. А на основе этих данных - перечень условий содержательного подтверждения в форме методических рекомендаций либо стандартов.

Хочу заострить внимание на том, что я не предлагаю новое регулирование. Требования уже действуют о проверке человека. Я говорю про перечень, которая в спорном случае может помочь установить, соблюдены ли эти условия содержательного подтверждения, для того, чтобы распределить ответственность между поставщиком агента, организацией и сотрудником.

Что я предлагаю? Первое. Провести российское исследование факторов, влияющих на качество проверки человеком действий ИИ-агентов. При необходимости готов взять эту работу на себя. Предварительное обсуждение темы с представителями бизнес-школ и университетов показала заинтересованность и готовность включиться в эту работу. Второе. Рассмотреть результаты этого исследования на секции ИИ в следующем году. И на основании этих результатов определить актуальность и обсудить создание методических рекомендаций или, может быть, отечественного стандарта условий содержательного подтверждения человеком решений ИИ-агентов. Документ с развернутым обоснованием и предложениями направил организаторам. Спасибо.

Дмитрий Витальевич Рогов - автор методологии "тайм-инжиниринг", системного подхода к снижению потерь времени руководителей и команд. DBA (ИМИСП, 2024), Executive MBA (ИМИСП, 2018), преподаватель программ MBA бизнес-школы ИМИСП (Санкт-Петербургский Международный Институт Менеджмента). Основатель компании "Линия Огня" (Санкт-Петербург), 17 лет управленческой практики, из них 8 лет в собственном бизнесе. В исследовательской работе в программе DBA описал 62 фактора потерь времени в групповой работе и 333 связи между ними и разработал методику диагностики корневых причин потерь времени по наблюдаемым симптомам. Работает с руководителями и собственниками малого и среднего бизнеса. С июня 2026 года участвует в работе секции "Искусственный интеллект" Совета по развитию цифровой экономики при Совете Федерации как приглашенный эксперт.