5 фейлов моего AI-департамента за первый месяц

В первый месяц работы департамент выдал полный брак. Из первой партии контента для стоматологической клиники в публикацию не ушла ни одна единица. Карточки обещали бесплатную консультацию, которой нет. Указывали неправильные цены. Предлагали рассрочку, которую клиника не даёт. Всё в корзину.

Хотелось сказать: «Ну вот, не работает». Но я маркетолог с шестилетним опытом работы с этой клиникой. Я собственно знала, что именно не так. И это стало ключевым условием всей системы.

Пять провалов, каждый из которых сделал систему сильнее. О том, как устроен AI-департамент из 31 роли, я писала отдельно.

Что будет, если агент придумает услуги, которых не существует?

Клиент придёт на то, чего нет, и вы потеряете доверие. Первая итерация контента выглядела красиво. Профессиональные формулировки, аккуратный дизайн. Содержание - катастрофа.

Карточки для соцсетей обещали:

Бесплатную консультацию - клиника её не проводит
Рассрочку на лечение (не предоставляется)
Цены из другого прейскуранта

Без моего знания клиники эти карточки ушли бы в публикацию. Пациент пришёл бы на «бесплатную консультацию», а ему выставили бы счёт.

Что я сделала: завела отдельный файл с правилами. Цены только из актуального прейскуранта, никаких обещаний без подтверждения клиники. Каждый косяк становится новым правилом. Система учится на ошибках, правила копятся и работают автоматически.

Урок: если работаете в знакомой сфере, вы заметите ошибки агента. Проблема в том, что многие запускают автоматизированный контент в темах, в которых сами плавают. Тогда ошибки проходят незамеченными.

Как AI-контент не работает без вашего голоса

Как справиться с галлюцинациями нейросетей в контенте?

Давать агенту проверенную базу знаний вместо генерации «из головы». Я тестировала разные модели для задач департамента. Российские нейросети GigaChat и Алиса галлюцинировали с первого запроса. Выдавали уверенные ответы без связи с реальностью.

ChatGPT работает тоньше, но тоже попадался. Мог уверенно сослаться на несуществующую статью закона или привести «исследование», которого никогда не было. Без оговорок, с полной уверенностью.

Для маркетингового контента это критично. Одно дело - ошибочный факт в личной переписке. Другое - когда он попадает в публикацию на аудиторию в несколько тысяч человек.

Решение: перевела всю систему на GitHub как хаб памяти. Логи по каждой сессии, контекстные файлы по каждому проекту, правила и ограничения зафиксированы в коде. Агент работает из проверенной базы знаний, а не «из головы». Галлюцинации не исчезли полностью, но их стало на порядок меньше.

Скажем так, галлюцинации - свойство технологии на текущем этапе. Вопрос не «как их убрать», а «как выстроить систему, которая их ловит до публикации».

Кто отвечает, если нейросеть напишет неправду?

Компания, которая опубликовала контент. Частый вопрос: что если нейросеть напишет клиенту неправду и дело дойдёт до суда? Кто отвечает?

Ответ простой: компания. На нейросеть нельзя подать в суд. Ответственность за опубликованный контент несёт тот, кто его опубликовал. Точка.

Когда я пробовала использовать нейросеть для проверки юридических аспектов рекламы (маркировка, реклама медицинских услуг), она ссылалась на статьи, которые не существуют. Выдумывала номера федеральных законов. Делала это настолько уверенно, что без ручной проверки я бы поверила.

Как починила: все юридические и медицинские факты проходят обязательный факт-чек. Инструмент может собрать информацию и структурировать её, но финальная проверка за человеком. Для медицинского контента тексты согласовываются с врачами клиники.

Вывод: нейросети позволяют глубоко изучать вопросы, до которых раньше руки не доходили. Но проверять факты обязательно. Особенно там, где ошибка стоит денег или репутации.

Алгоритмы и правила соцсетей в России

Как измерить качество AI-контента?

Без метрик невозможно понять, улучшается система или деградирует. Первые две недели я работала на ощущениях. «Вроде стало лучше», «кажется, этот пост нормальный». Никаких цифр, никакой системы оценки.

Результат - хаотичное качество. Именно поэтому AI-контент звучит одинаково у тех, кто не выстроил систему. Один пост отличный, следующий - ерунда. Непонятно, система становится лучше или я привыкаю к среднему уровню.

Что я сделала: ввела фокус-группу из семи виртуальных персонажей-экспертов. Каждая единица контента получает оценку по шкале от 1 до 10. Порог качества: средний балл ниже 6.5 - контент переписывается с нуля. Без торгов, без «и так сойдёт».

Подробнее про то, как работает AI-фокус-группа для тестирования контента. Фокус-группа - не истина в последней инстанции. Результаты сверяются с реакцией живых людей. Цифры нужны для отслеживания динамики, не для самоуспокоения.

Урок: без измеримых критериев нельзя понять, улучшается система или деградирует. «Мне кажется, стало лучше» - не метрика.

Можно ли полностью доверить контент нейросети?

Нет, и это самый опасный фейл - подход целиком. В какой-то момент захотелось просто довериться системе. Правила копятся, контекст растёт. Может, пора отпустить?

Нет. Ошибки были и продолжают быть. Система работала именно потому, что параллельно то же самое оценивал человек - я, с шестью годами опыта в этой нише.

Следующая ступень - умение формулировать, объяснять, давать обратную связь. Департамент - как новый сотрудник, который быстро учится, но которому нужен опытный наставник. Убери наставника - прогресс обнулится.

Зафиксировала принцип: каждый провал становится правилом в системе. Правила хранятся в коде, не в голове. Я нахожу ошибку, добавляю правило, агент больше её не повторяет. Он учится быстрее любого человека, но направление задаю я.

На мой взгляд, именно в этом суть: департамент работает вместе с вами. Ваша экспертиза отделяет рабочую систему от генератора случайного контента.

Почему бесплатный ChatGPT - это не AI-маркетинг

Чему учит первый месяц с AI-департаментом?

Каждый фейл делает систему сильнее. Пять фейлов - пять системных улучшений. Сейчас департамент работает иначе, чем в первый день. Модели те же. Система вокруг стала жёстче.

Три вещи, которые я бы сказала себе месяц назад:

Не запускай автоматизированный контент в теме, которую не знаешь. Ты не заметишь ошибок. А они будут.
Фиксируй всё в коде, не в голове. Правила в голове забываются. Правила в системе работают каждый раз.
Контроль человека - необходимость. Пока система не научится сама себя проверять, человек в контуре обязателен.

Если вы строите что-то подобное и хотите обсудить свою ситуацию - я провожу консультации, на которых мы разбираем именно ваш случай. А если нужна полная настройка контент-системы под ваш бизнес, этим занимается Sintez Agency.

Частые вопросы

Кто несёт ответственность, если нейросеть напишет клиенту неправду?

Компания, которая опубликовала контент. Ответственность всегда на том, кто нажал кнопку «опубликовать».

Как уменьшить галлюцинации при создании контента?

Три способа: давать агенту проверенную базу знаний вместо генерации из ничего, фиксировать правила и ограничения в контексте каждой сессии, проверять факты, цифры и ссылки вручную. Чем больше контекста вы даёте, тем меньше система додумывает сама.

Какие метрики показывают, что система улучшается?

Средний балл контента от фокус-группы (порог - 6.5 из 10), процент контента, прошедшего проверку с первого раза, количество новых правил за неделю (чем меньше - тем стабильнее система). Результаты фокус-группы сверяются с реакцией аудитории. Например, в первую неделю у меня проходило 2 из 10 единиц контента с первого раза. К концу месяца - 7 из 10. Это конкретная цифра, а не «кажется, стало лучше».

Можно ли полностью доверить контент системе без контроля человека?

Нет. Пока нейросеть не умеет сама проверять свои факты, человек в контуре обязателен.

С какой модели лучше начать для бизнес-контента?

Начинайте с платных моделей: Claude или GPT-4. Бесплатные версии и российские нейросети дают слишком много галлюцинаций для коммерческого использования. Платная подписка окупается на первом сэкономленном часе работы.