OpenAI主动公开自家爬虫，只为撇清窃取数据之嫌

AI 大模型需要海量的数据来 " 喂养 " 这一点，已经是毋庸置疑的事情，而 ChatGPT 之所以表现得如此优秀，背后是 OpenAI 拿出了超过 1750 亿个参数。更多的数据几乎就等于更强的性能，也使得数据的价值在大数据时代之后又一次被放在了聚光灯下。那么，AI 大模型所需的数据又从何而来呢？

如今摆在明面的方式，是通过 API 向推特、Reddit 等内容平台付费购买，但台面下的办法可就多了，比如说不合规的网络爬虫。没错，OpenAI 此前就曾被指控抓取数据来训练 ChatGPT，并从互联网上窃取了 3000 亿个单词，它们来自 " 书籍、文章、网站和帖子——包括未经同意获得的个人信息 "，严重侵犯了大量用户的版权和隐私。

事实上，使用网络爬虫获取数据在过去二十余年来，在全球都属于灰色地带，合法性更是始终备受争议，因为爬虫到底有没有获取有版权的内容、有没有爬取非公开数据、有没有侵犯个人隐私，在没有被抓到证据前都处于 " 薛定谔状态 "。所以为了打消外界的顾虑，OpenAI 在日前也公开了自己的爬虫 ( GPTBot ) 以及 IP 地址网段，以供有需求的网站屏蔽。

根据 OpenAI 方面的说法，GPTBot 遵守网站提供的 robots.txt 协议，同时会过滤掉付费才能访问的内容。并且基于 OpenAI 的相关策略，如果网页中包含个人身份信息或其他违规内容，GPTBot 也会删除这部分网页。据悉，GPTBot 使用的网段为 40.83.2.64/28，网站管理员可以使用 nslookup 命令来判断这一爬虫的真伪，如果想禁止 GPTBot 抓取内容，则可以在 robots.txt 中写入指令，爬虫在检测到该指令后就会按指令要求操作。

robots.txt 也被称为 robots 协议，这是一种存放于网站根目录下的 ASCII 编码文本文件，它的唯一作用就是告诉网络爬虫，网站中的哪些内容是不对爬虫开放、哪些内容又可以被爬取。而 robots 协议则是控制网站被搜索内容的一种策略，该文件通常会放在网站的根目录里，在网站域名的后面加上 /robots.txt，就可以直接访问该网站的 robots 协议协议页面。

以淘宝网的 robots.txt 为例，这个电商网站的 robots 协议就非常简单，"User-agent" 主要作用是会告诉网站服务器，访问者是通过什么工具来请求的，后面的 "Baiduspider" 就是大名鼎鼎的百度搜索引擎爬虫，最后的 "Disallow: /" 按照 robots 协议的规则，是禁止被描述的百度爬虫访问。

没错，百度搜索引擎被淘宝在 2008 年 9 月时屏蔽，靠的就是这简简单单的几行代码，让淘宝在战略层面掌握了市场竞争的主动权，避免了流量被百度搜索引擎拿走，也避免了平台内的商家要给百度竞价排名付费的可能，更是间接催生了淘宝的站内竞价排名体系。

robots 协议其实本质上来说就是运营方写的一份规则书，它的书写非常简单、逻辑也很直白，诸如允许什么搜索引擎的爬虫访问什么内容都可以清晰的写出来。但需要注意的是，robots 协议本身只是一个 " 君子协议 "，是一个搜索引擎和网站之间的共识，它并没有任何法律效力的、也没有任何的技术约束，单纯只是一个道德层面的约束。换句话来说，robots 协议在技术层面其实是完全对抗不了爬虫的。

尽管 robots 协议对于非法爬虫毫无约束力，但是对于重视商誉的公司来说反而具有效力。毕竟以百度的技术力想要强行获取淘宝的数据并不难，但就是这简单的四行代码，就愣是让百度的爬虫在过去十余年里对淘宝 " 秋毫无犯 "。同理，这次 OpenAI 也是用主动公开自家爬虫的 IP 地址网段，就是以品牌形象为担保，将自家爬虫的一切行为摆在台面上。

毕竟对于 OpenAI 方面而言，这也是其在面临窃取数据非议时，最简单、最直接证明自己确实合规的措施。而 OpenAI 这样对于数据有海量需求、高技术力、且追求 " 盈利上限 " 的公司，一边是合规获取海量数据带来的高昂成本，一边是寻求外部资金支持需要拿出更好的预期，要自证清白确实也不太容易。

【本文图片来自网络】

查看原文