Cloudflare推出Bot Fight Mode防火墙 训练AI爬虫将更受限制

近日，网络服务商Cloudflare推出了名为"Bot Fight Mode"的防火墙工具。该工具允许站长们在控制台中开启相关服务，以防止他们网站的内容被用于训练人工智能（AI）的机器人爬虫。这些爬虫会扒取各大网站的信息，并对被扒网站产生大量异常流量，导致高昂的网络带宽费用以及大量原创/隐私内容泄露。

据悉，Cloudflare推出的这项防火墙工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫。此外，站长还可以根据需要放行“好的AI机器人”抓取信息，这类“好的AI机器人”通常会寻找网站的robots.txt来获取信息，不会对网站本身产生异常流量，也不会将整个网页的所有数据直接用于全盘训练模型。

近年来，大语言模型（如OpenAI的GPT模型和谷歌的Bard）通过网络爬虫收集了大量训练数据。然而，在此过程中出现了许多问题，比如原本你情我愿的行为变得“污名化”，也让各大网络商推出禁用AI爬虫的服务在预料之中。

因此，云房服务提供商Cloudflare近期推出的Bot Fight Mode防火墙工具对于防止未经授权访问和保护网络安全具有重要意义。同时，它也向其他网络商提供了灵感，在保护用户隐私的同时促进AI技术的发展。