OpenAI 转录了超过一百万小时的 YouTube 视频来训练 GPT-4

近日，《华尔街日报》报道称，人工智能公司在收集高质量训练数据方面遇到了困难。随后，《纽约时报》详细介绍了一些公司处理这一问题的方法，其中涉及到了人工智能版权法的模糊灰色区域。

故事从OpenAI开始。该公司迫切需要训练数据，据报道开发了Whisper音频转录模型，转录了超过100万小时的YouTube视频来训练其最先进的大型语言模型GPT-4。《纽约时报》报道称，OpenAI知道这在法律上存在问题，但相信这是合理使用。OpenAI总裁格雷格·布罗克曼亲自参与了所使用视频的收集。

OpenAI发言人林赛·赫尔德告诉The Verge，该公司为每个模型策划了"独特"的数据集，并使用"众多来源，包括公开数据和非公开数据的合作伙伴"。赫尔德还表示，该公司正在考虑生成自己的合成数据。

据《纽约时报》消息人士透露，谷歌也从YouTube收集了文字记录。谷歌发言人马特·布莱恩特表示，该公司"根据我们与YouTube创作者的协议，在一些YouTube内容上训练了模型"。

Meta同样也遇到了良好训练数据可用性的限制。该公司在努力追赶OpenAI的过程中，曾考虑未经许可使用版权作品的情况，包括支付图书许可费用或直接收购一家大型出版商。

这些公司正在努力应对模型训练数据快速蒸发的问题。《华尔街日报》本周撰文称，到2028年，公司可能会超越新内容。解决方案包括对模型创建的"合成"数据进行训练，或采用"课程学习"方法。但这些公司的另一个选择是使用他们能找到的任何东西，无论他们是否获得许可，这可能会引发版权法方面的担忧。