A Cloudflare lançou uma nova camada de proteção contra bots de inteligência artificial, oferecendo aos donos de sites a opção de bloquear ou permitir o acesso desses rastreadores. A medida visa evitar que conteúdos sejam utilizados no treinamento de modelos de IA sem autorização.

Além de reforçar a privacidade, a empresa introduziu um modelo de monetização chamado pay per crawl (pague por rastreamento), em que os acessos feitos por bots podem gerar compensações financeiras para os criadores de conteúdo.

Com cerca de 16% do tráfego da internet mundial passando por seus servidores — segundo relatório de 2023 — a Cloudflare tem um papel estratégico na web. Quando a empresa enfrenta falhas, muitos sites sofrem as consequências, como ocorreu em setembro de 2024.

O novo sistema foi lançado durante a campanha “Dia da Independência do Conteúdo”, e dá mais autonomia para os criadores decidirem o que pode ou não ser indexado por ferramentas automatizadas.

O que são crawlers?

Crawlers, ou rastreadores, são programas que percorrem sites para coletar e indexar informações. Motores de busca como Google e Bing os utilizam para organizar resultados, mas esses bots também servem para alimentar sistemas de IA com dados públicos da internet.

É justamente esse uso que gerou debate: o conteúdo dos sites pode ser coletado por inteligência artificial sem permissão? Os rastreadores não pedem licença, mas isso pode mudar com as novas ferramentas.

Conteúdo como moeda

Embora a Cloudflare já oferecesse recursos de bloqueio desde 2024, o novo sistema permite um controle mais refinado. A proposta é dar aos donos de sites a chance de receber por cada acesso automatizado, transformando dados em uma possível fonte de renda.

“Bots de IA vêm extraindo conteúdo sem limites. Queremos devolver o controle aos criadores, ao mesmo tempo em que apoiamos a inovação tecnológica”, declarou Matthew Prince, CEO da Cloudflare.

A discussão sobre o uso de dados online para treinar IA ganhou força com o avanço dos modelos de linguagem, que dependem de grandes volumes de texto. Algumas plataformas, como o Reddit, já reagiram cobrando pelo uso de suas APIs.

Inicialmente, o pay per crawl será liberado para um número limitado de sites, mas há planos de ampliar a funcionalidade.

Um impasse ainda sem solução

A ausência de regras claras sobre o uso de conteúdo digital para IA abre margem para conflitos. Seria ético usar textos jornalísticos, por exemplo, sem crédito ou pagamento? A questão segue em aberto.

Nesse contexto, empresas como a Cloudflare assumem um papel essencial: encontrar um meio-termo entre a liberdade dos desenvolvedores de IA e os direitos de quem publica na internet.