Pay Per Crawl: hauries de cobrar als bots d'IA per llegir el teu web?
La meitat del trànsit del teu web poden ser bots d'IA. Què és Pay Per Crawl de Cloudflare, quant podries guanyar i per què una pime potser no hauria de cobrar.
Dissabte al matí, cafè a la mà, obro el panell de Cloudflare del nostre propi web. Primera xifra: 84 visitants únics en les últimes 24 hores. No està malament per a un web de pocs mesos, penso. Segona xifra: un pic de trànsit enorme a les quatre de la tarda. Un article que s’ha fet viral? Algú important compartint el nostre web?
Miro el desglossament per països: Canadà, 248 peticions. Polònia, 140. Estats Units, 122. Espanya? Ni apareix al top 5.
Som una consultora d’IA de Catalunya que publica en castellà i català. Ningú no ens estava llegint des de Toronto a les quatre de la tarda. El pic era un bot. I no era l’únic: en creuar les dades amb l’analítica de persones reals, la immensa majoria d’aquelles 654 peticions del dia no venien d’humans. Venien de màquines.
La primera reacció és incòmoda: «m’estan llegint el web gratis per entrenar els seus models». La segona és la pregunta del milió: i si els cobro l’entrada?
Resulta que es pot. I abans de decidir si fer-ho, vam fer números amb les nostres pròpies dades. Aquest article n’és el resultat.
Qui t’està visitant en realitat
Quan mires el trànsit “en cru” de qualsevol web, hi ha tres poblacions barrejades:
- Persones. Les que t’interessen. En un web jove, moltes menys de les que diu el comptador total.
- Bots clàssics. Googlebot i companyia (t’indexen, benvinguts siguin), monitors d’uptime, i scrapers anònims que copien contingut sense identificar-se. El nostre visitant canadenc de les quatre de la tarda era d’aquesta última família.
- Crawlers d’IA. L’espècie nova: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended… Llegeixen el teu web per entrenar models o per respondre preguntes dels seus usuaris citant fonts.
Aquesta tercera població és la que ha canviat les regles. Perquè per primera vegada hi ha empreses gegants el producte de les quals s’alimenta, en part, del teu contingut. I d’aquí neix la idea de cobrar-los.
Pay Per Crawl: el peatge per a bots d’IA
Pay Per Crawl és una funció de Cloudflare que converteix el teu web en una autopista de peatge per a crawlers d’IA. Funciona amb una peça del web que feia dècades que dormia: el codi HTTP 402, Payment Required.
El mecanisme, simplificat:
- Tu defineixes un preu per petició per al teu web.
- Quan un crawler d’IA registrat demana una pàgina, o paga el preu o rep un 402 i es queda fora.
- Cloudflare fa d’intermediari i et liquida els cobraments.
Tres coses que convé saber abans d’il·lusionar-se:
- És en beta privada amb llista d’espera. No és un botó que puguis activar avui mateix al teu panell; t’hi apuntes i esperes invitació.
- Només aplica als crawlers que juguen. Els grans de la IA es poden registrar i pagar. L’scraper anònim del Canadà no passarà mai per caixa: aquell només el pots bloquejar.
- El model acaba de girar. L’1 de juliol de 2026 Cloudflare va anunciar l’evolució cap al pay per use: en lloc de cobrar cada descàrrega, la idea és que cobris quan el teu contingut s’usa de veritat en una resposta d’IA. Stack Overflow ja treballa amb aquest model. És un canvi important: paga l’ús, no la visita.
Els números sense fum
Aquí és on la majoria d’articles sobre el tema es posen èpics i parlen de “monetitzar el teu contingut a l’era de la IA”. Nosaltres preferim ensenyar-te la calculadora.
El nostre cas real: unes 650 peticions diàries en total. D’aquestes, la part que correspon a crawlers d’IA registrats —els únics que podrien arribar a pagar— és una fracció petita. Posem que fossin 100 peticions al dia, sent molt generosos. Cloudflare no publica tarifes (el preu el fixes tu), però en aquest mercat es parla de fraccions de cèntim o cèntims per petició. El compte surt sol: cèntims al dia. Al mes, no dona ni per a un cafè amb llet.
Vol dir això que Pay Per Crawl és fum? No. Vol dir que és una eina per a un perfil concret de web:
| Perfil de web | Li compensa cobrar als bots? |
|---|---|
| Mitjà de comunicació, base de dades, recerca original a gran escala | Sí. El seu contingut ÉS el producte, i el volum de crawls multiplica els cèntims |
| Plataforma amb contingut únic generat per usuaris (fòrums, ressenyes) | Probablement. És exactament el cas de Stack Overflow |
| Pime de serveis que usa el web com a aparador | Gairebé mai. I a més hi ha un cost ocult que ningú no t’explica |
El cost ocult: cobrar és desaparèixer
Pensa en com busca la gent últimament. Cada cop més clients potencials no obren Google: pregunten a ChatGPT, a Claude o a Perplexity. «Quina consultora d’IA em recomanes a prop de Barcelona?» és una pregunta que ja es fa, literalment, a una màquina.
I d’on treu la màquina la resposta? Dels webs que els seus crawlers han pogut llegir.
Si els cobres l’entrada —o directament els bloqueges—, el resultat pràctic per a un web petit és que deixen de llegir-te, deixen de citar-te i deixes d’existir en aquell canal. Hauràs guanyat uns cèntims de peatge a canvi d’esborrar-te de l’aparador on els teus futurs clients comencen a preguntar.
Per a un diari, aquest intercanvi pot tenir sentit: el seu negoci és el contingut, no ser trobat. Per a una pime que ven serveis, cada crawl d’un bot d’IA és un comercial silenciós treballant gratis. Cobrar-li la visita és matar el comercial per xavalla.
D’això se’n comença a dir GEO (Generative Engine Optimization): igual que el SEO optimitzava per sortir a Google, el GEO optimitza perquè els models d’IA t’entenguin i et citin. I la primera regla del GEO és òbvia: que puguin llegir-te.
Què hem fet nosaltres (i pots copiar en una tarda)
Després de fer aquests números amb el nostre propi web, aquesta va ser la nostra decisió, per si et serveix de plantilla:
- Deixar passar els crawlers d’IA, a propòsit. A Cloudflare (secció AI Crawl Control) es pot triar bloquejar-los o permetre’ls. Nosaltres els permetem: avui ens aporten més com a canal de visibilitat que com a font de cèntims.
- Posar-los un menú:
llms.txt. És una convenció emergent (no un estàndard oficial): un fitxer de text a l’arrel del teu web que resumeix qui ets i quines pàgines importen, pensat perquè un model d’IA el llegeixi i et citi bé. El nostre és publicat a agentiko.es/llms.txt en castellà, català i anglès — mira-te’l i copia’n l’estructura si vols. Es fa en 20 minuts. - Apuntar-nos a la llista d’espera de Pay Per Crawl. És gratis i no compromet a res. Si el model pay per use madura —cobrar quan et citen, sense deixar de ser visible—, volem tenir l’opció oberta.
- I el següent de la nostra llista: fer fora els bots brossa. Els scrapers anònims tipus “pic de les quatre de la tarda” ni paguen ni aporten. Per a aquests, Cloudflare té el Bot Fight Mode, gratuït, un interruptor.
Fixa’t en el matís: no és “bots sí o bots no”. És catifa vermella per als que et donen visibilitat, peatge futur per quan tingui sentit, i porta per als paràsits.
Llavors, cobro o no cobro?
La xuleta final, sense fum:
| La teva situació | La nostra recomanació |
|---|---|
| Vius de contingut únic (notícies, dades, recerca) i tens volum | Apunta’t a Pay Per Crawl i estudia preus: és el teu actiu |
| Vens serveis o productes i el web és el teu aparador | No cobris. Optimitza perquè la IA et llegeixi i et citi (GEO, llms.txt) |
| Et preocupa que entrenin models amb el teu contingut | Pots bloquejar només l’entrenament i permetre cerca/citació: són controls separats |
| Tens trànsit d’scrapers anònims | Això no es cobra: es bloqueja |
La pregunta correcta no és «puc cobrar als bots?» — poder, pots. És «què em rendeix més: els seus cèntims o el seu aparador?». Per a la majoria de pimes, avui, la resposta honesta és l’aparador.
I una última cosa: res d’això no és teoria. Tot el que hi ha en aquest article surt de mirar el panell del nostre propi web un dissabte al matí. Si vols saber què veuen els bots d’IA quan visiten el teu —i si t’estan citant o ignorant—, ho mirem junts amb els peus a terra.