Одно дело — тебя проиндексировал поисковый краулер и потом процитировал: в классической выдаче или в AI‑обзоре, но со ссылкой на источник. Это дополнительный трафик, а трафик автору нужен как воздух: вся монетизация в конечном счёте живёт на самом сайте — реклама, подписки, свои продукты, нативка, реферальные ссылки. Способов много, но каждому нужен свой трафик на своей площадке. Поэтому индексацию блокирует меньше 1% сайтов — резать поисковых ботов равно резать себе выручку.
Совсем другое дело — когда модель поглотила твой материал и выдаёт всю фактуру и выводы прямо в окне ответа. Может даже упомянуть тебя как автора, но без ссылки и без перехода — просто «есть такое мнение». И всё, над чем ты пыжился‑мурыжился — писал, агрегировал многолетний опыт, чтобы поделиться с аудиторией и потом это монетизировать, — модель раздаёт бесплатно. Отсюда и 17%: это те, кто очень захотел и нашёл способ, хотя способы неочевидные и на поверхности не лежат. Дальше цифра будет только расти.
Кто на самом деле блокировал разграничение
Ключевой момент: тормозили не вебмастера, а провайдеры ИИ‑моделей. Им как раз нужно обучать модели на свежем человеческом контенте — без него модели деградируют, причём быстро. Это уже наблюдаемый эффект: интернет заваливает сгенерированным контентом, и модели всё чаще учатся на «трижды пересказанных» идеях.
Отсюда парадокс: одной рукой ИИ‑компании хотят всё больше оригинального человеческого текста (иначе никак), другой рукой те же операторы обязаны предложить механизм, который устроит издателей: пустить поискового краулера и не пустить обучающего. Формат llms.txt должен был это закрыть, но не закрыл — часть провайдеров просто отказалась его поддерживать и соблюдать директивы.
Что технически изменил Cloudflare
За Cloudflare стоит больше 20% сайтов по всему миру. Заявлено, что компания договорилась с большинством крупных операторов через категорию Accountable: платформы обязуются соблюдать opt‑out, обеспечивать прозрачность на уровне URL и гарантировать, что отказ от обучения не бьёт по позициям в поиске. В панели теперь три типа поведения роботов (поиск, обучение, агенты) и четыре режима блокировки, включая отдельный для страниц с рекламой. Google и Apple под критерии уже подходят, Microsoft обещает докрутить поддержку в начале 2027 года. Технически всё это ложится в robots.txt с директивой на запрет обучения при открытом доступе для поисковых роботов (разбор Cloudflare, 2025).
Cloudflare просто приняли решение удовлетворить потребность, которая на рынке с каждым днём всё заметнее, и будет всё сильнее с каждым периодом, так как нейровыдача меняет не только методы продвижения, но и сами паттерны поискового поведения интернет‑пользователей — я разбирал это отдельно в материале про GEO как новую эпоху продвижения в нейросетях.
Почему я не жду, что заработает как надо
Разделить ботов механически на стороне сайта нельзя в принципе: один и тот же бот заходит сразу с двумя задачами — и формирует поиск, и обучает модель. Ни по user‑agent, ни по IP их не растащить. Значит, вся конструкция держится на честном слове операторов и обещании соблюдать директивы. Верифицируемого способа проверить исполнение у вебмастера по‑прежнему нет.
Но главная дыра даже не в этом. Контент утягивают не только модели, которые на нём учатся. Есть масса парсеров, которые просто забирают текст и бесплатно перепубликуют его у себя. Я как автор сталкиваюсь с этим постоянно: каждая публикация всплывает на трёх‑пяти‑десяти чужих сайтах. Будут ли те сайты закрываться от обучающих краулеров? Скорее всего нет. То есть модель не возьмёт мой материал с моего домена — но возьмёт его с чужого)
Куда это движется
Вектор при этом верный. Недавно проходила новость, что Google начал деньгами мотивировать издателей за использование их контента в ответах нейросетей — пока в тестовом режиме, но это по сути тот же разговор — рынок пытается нащупать баланс: без живого человеческого текста модели деградируют, а человеку должно быть выгодно этот текст отдавать.
Моделям нужен тот, кому есть что сказать; на пересказе пересказов они «задыхаются». В сухом остатке ценность должна остаться у авторов, способных передавать смысл, опыт, фактуру.
