«Самая удобная инфраструктура — та, которую перестают замечать. Самая опасная — та, условия зависимости от которой перестают обсуждать».
Попытка разобраться
Я не специалист по ИИ, просто пытаюсь понять происходящее исходя из своего опыта и здравого смысла. Мути и спекуляций здесь хватает. Но прежде чем объявлять LLM (большие языковые модели) новой инфраструктурой Интернета, стоит разобраться, что именно становится инфраструктурой: модель или сервис вокруг неё.
Сначала появляется удобная технология, затем вокруг неё перестраиваются процессы, а потом выясняется, что отказаться от неё трудно. Важен не только технический результат, но и возникающая зависимость.
Не весь ИИ разговаривает
Термин «искусственный интеллект» относится к интеллекту примерно как «облачные вычисления» — к метеорологии. ИИ существовал задолго до нынешнего бума: отсеивал спам, обнаруживал мошенничество, распознавал изображения. Вопрос о машинном разуме пользователя особенно не волновал.
Под общей вывеской находятся разные методы. Символьные системы работают с явно представленными знаниями и правилами вывода. Машинное обучение извлекает закономерности из данных. Генеративные модели создают текст, изображения и звук. Подходы комбинируются, а не складываются в лестницу к сверхинтеллекту.
LLM стали лицом нынешней волны благодаря доступному интерфейсу. С одной моделью можно обсуждать договор, разбирать код и редактировать статью. Но простота обращения не означает одинаковой компетентности.
Поверх развивается агентный ИИ: модель, обросшая инструментами, памятью и циклом «подумал — сделал – проверил». Получается стажёр с феноменальной эрудицией и без инстинкта самосохранения: поручите одну задачу — решит три, две из которых выдумал сам.
Между намерением и исполнением
LLM напоминают мне BGP девяностых не устройством, а путями развития. С распространением работающего решения вокруг него перестраиваются системы, но средства контроля появляются позже и их приходится достраивать уже при эксплуатации.
Модель не заменяет Интернет. Ей нужны вычислительные мощности, хранилища и сеть. Агенту дополнительно необходимы внешние сервисы и правила, определяющие полномочия.
LLM занимает место между человеческим намерением и программным исполнением. Раньше пользователь приспосабливал задачу к программе. Теперь интерфейс обещает приспособиться к человеческой формулировке. Но возможность попросить не означает, что просьба однозначна и безопасна.
«Приведи документы в порядок» — нормальная фраза для разговора, но плохое определение требований. Какие файлы разрешено менять? Что считать лишним? От системы почему-то ждут, что она догадается.
Предположение о намерении не должно становиться разрешением на действие. Естественный язык хорош как интерфейс, но не заменяет ограничения полномочий.
Когда ответ заменяет поиск
Вместо самостоятельного анализа пользователь получает сформулированный вывод. Экономия времени реальна. Но посреднику передаётся часть работы по определению существенного: он выбирает аргументы, расставляет акценты, опускает подробности.
Поиск тоже не был нейтральным окном в мир. Однако список результатов сохранял видимую множественность источников. Гладкий ответ способен скрыть противоречия, из которых собран.
Модель особенно полезна там, где нам недостаёт знаний, и именно там её труднее проверить. Связность объяснения легко принять за достаточность основания.
Проблема не исчерпывается галлюцинациями. Исчезает повод проверять: ответ выглядит законченным, задача будто решена. Продолжать разбираться приходится уже не по необходимости, а из дисциплины.
Что пытаются стандартизировать
Интернет позволил соединять независимые системы без одинакового внутреннего устройства. В сфере ИИ задача похожа: комбинировать компоненты, не переписывая всё при замене поставщика.
Но одинаковый интерфейс не делает модели взаимозаменяемыми. Формально корректный ответ другой модели может иначе трактовать поручение. Переносимость вызова не равна переносимости поведения.
Для меня особенно интересно происходящее в IETF. Разные способы взаимодействия агентов требуют координации. Одновременно ИИ упрощает производство технических черновиков, не обеспечивая сопоставимого роста возможностей их проверки. Ограниченным ресурсом становится внимание участников. Прежде чем согласовывать взаимодействие агентов, приходится обсуждать границы использования ИИ в самом согласовании.
Стандартизация выходит за пределы протоколов. ISO/IEC 42001 описывает систему менеджмента ИИ, ISO/IEC 23894 — управление рисками, IEEE 7000-2021 — процесс учёта этических аспектов проектирования.
NIST AI RMF предлагает добровольную рамку управления рисками, европейский AI Act устанавливает обязательные правовые требования. Инструменты разные, хотя их часто складывают в одну корзину.
Они помогают определить назначение системы, ограничения и ответственность. Сертификат процесса не гарантирует истинности ответа, но процессы от этого не становятся бесполезными. Опасно, когда наличие регламента предъявляют вместо проверки его работоспособности.
У удобства есть владелец
Окно чата создаёт ощущение непосредственного доступа к знанию, но экономически это услуга на чужих ресурсах и условиях. Токен учитывает объём обработки, а не полезность результата.
Разработка передовых моделей требует больших инвестиций. Открытая модель не означает открытой инфраструктуры: получить её можно, а ресурсов для запуска и поддержки может не оказаться.
Зависимость растёт постепенно: сначала черновики, затем перестройка процессов, подключение внутренних данных, привычка сотрудников. Смена модели требует большего, чем переключение интерфейса.
Поэтому заменяемость важнее деклараций об открытости. Общий интерфейс уменьшает барьеры, но не отменяет стоимость перенастройки процессов.
Чего боятся больше всего
Вокруг ИИ продают обещания и страхи. Сценарий уничтожения человечества звучит громче вопросов о полномочиях. Но громкость не говорит о вероятности и не объясняет, что защищать сегодня.
Когда модель действует, ошибка обходится дороже. Агент читает письмо или страницу и может принять спрятанную инструкцию за команду. Просьба «будь осторожнее» не заменяет ограничения прав и независимой проверки.
Человек тоже постепенно утрачивает контроль. Кнопка подтверждения мало значит, если результат никто не проверяет. Если рутину годами выполняет машина, откуда возьмутся специалисты, способные обнаружить ошибку?
Мы охотно замечаем, как ИИ отучает думать других, и реже спрашиваем о себе.
Самый неприятный сценарий — ИИ окажется достаточно полезным и дешёвым для передачи ему интеллектуальной работы, но недостаточно надёжным для отказа от проверки. Проблемой станет наша способность обнаруживать ошибки.
Как живётся с LLM
Живётся удобно, и в этом подвох. Модель помогает писать, разбираться, проверять аргументацию. Готовый ответ создаёт ощущение, что исследование закончено.
Зрелость начинается с практического вопроса: можно ли проверить результат и что произойдёт при ошибке? Важны возможность обнаружить промах, ограничить последствия и восстановить прежнее состояние.
Инфраструктурное значение системы приобретают, когда отказ или замена затрагивает привычные процессы. Зависимости нужно анализировать прежде, чем их условия перестанут обсуждаться.
Вопрос не в способности машин выбирать за нас: мы уже поручаем им это. Вопрос в возможности понять выбор, оспорить его и заменить исполнителя.
P.S. Хорошая автоматизация избавляет от необходимости выполнять каждую операцию. Плохая — от возможности разобраться, что произошло.
Расшифровки аббревиатур
LLM — Large Language Model, большая языковая модель.
BGP — Border Gateway Protocol, протокол междоменной маршрутизации, обеспечивающий обмен информацией о маршрутах между автономными системами Интернета.
IETF — Internet Engineering Task Force, международное открытое сообщество, разрабатывающее технические стандарты Интернета.
ISO — International Organization for Standardization, Международная организация по стандартизации.
IEC — International Electrotechnical Commission, Международная электротехническая комиссия. Обозначение ISO/IEC используется для совместных стандартов двух организаций.
IEEE — Institute of Electrical and Electronics Engineers, Институт инженеров электротехники и электроники.
NIST — National Institute of Standards and Technology, Национальный институт стандартов и технологий США.
AI RMF — Artificial Intelligence Risk Management Framework, рамочная модель управления рисками искусственного интеллекта, разработанная NIST.
AI Act — Artificial Intelligence Act, закон Европейского союза об искусственном интеллекте.
Изображение для иллюстрации. Источник: сгенерировано Magnific.com