Как измерить, упоминает ли ИИ-ассистент ваш бренд

Описать измерение просто, а ошибиться легко. Нужен фиксированный набор промптов, закреплённые снапшоты моделей и правило, что считать упоминанием, — и всё три решаются до того, как вы посмотрите хоть на один ответ.

Матрица

Пишите промпты так, как их набрал бы реальный покупатель. Не ключевые слова — вопросы. «Чем мониторить упоминания бренда в ChatGPT?» — это промпт. «Инструмент AI-видимости» — это поисковый запрос, и с ассистентом так никто не разговаривает.

Версионируйте набор и заморозьте его. Никогда не правьте промпт на месте: изменённый промпт получает новый идентификатор и новую версию матрицы, иначе временной ряд тихо теряет смысл, продолжая выдавать числа.

Покройте формы, которыми покупатели пользуются на самом деле: прямая рекомендация, сравнение с названным конкурентом, определение категории и постановка от проблемы, где ваша категория вообще не упоминается. На последней бренды обычно и обнаруживают, что невидимы.

Закрепление

Прогоняйте по закреплённым снапшотам моделей, а не по «последней версии». Провайдер, тихо обновивший модель под вами, даёт скачок, неотличимый от вызванного вами изменения. Записывайте идентификатор снапшота с каждым прогоном. Если инструмент не умеет закреплять — ваши измерения несравнимы между месяцами и не должны рисоваться линией.

Арифметика

Считайте ответы, где вас назвали, делите на число прогнанных ответов. Приводите оба целых числа, никогда не процент отдельно. 3/5 и 300/500 — один процент и разные находки, и разница важнее всего именно тогда, когда число движется.

Четыре способа, которыми это врёт

Недетерминированность. Один и тот же промпт на одном и том же снапшоте не возвращает один и тот же ответ. Прогоняйте каждый промпт несколько раз и приводите долю, а не исход. Один прогон — это анекдот с приложенным числом.

Персонализация и локаль. Ответы различаются по аккаунту, региону и по тому, включён ли у ассистента поиск. Измерение из одной залогиненной сессии оператора — это измерение той сессии.

Знаменатель, который выбрали вы. Промпты писали вы. Матрица, случайно благосклонная к вашему позиционированию, покажет, что вы выигрываете, и будет показывать это, пока вы оптимизируетесь под неё. Самая частая ошибка и самая трудноразличимая изнутри.

Отсутствие контроля. Вот это главное. Если ваши числа сдвинулись, вы не можете приписать сдвиг чему-либо из сделанного — без контрольной группы, которой в продакшене нет ни у кого. Сообщать о движении нормально. Заявлять, что вы его вызвали, — нет.

Купить вместо того, чтобы строить

Это измерение продаёт десяток платформ, а обзоры на них — сравнение трекеров видимости от Rankability и собственная подборка Otterly — разумная карта переполненного поля. Покупайте, если нужны дашборд и история.

Арифметику всё равно поймите. Число, чей вывод вы не можете воспроизвести, — не доказательство, а большинство вендорских дашбордов заметно менее конкретны в методе, чем исследование, давшее дисциплине имя. Задайте любому вендору два вопроса до подписания: какие снапшоты вы закрепляете и сколько раз прогоняете каждый промпт. Ответы диагностичны.

Как выглядит защитимый отчёт

Целые числа с обеих сторон. Версия матрицы и идентификаторы снапшотов. Число прогонов на промпт. И фраза о том, чего числа не устанавливают, — а в этой дисциплине это почти всё. Наша версия такой фразы — в методологии.