ChatGPT在图灵测试研究中败给上世纪60年代的计算机程序 ELIZA

近日，加利福尼亚大学圣迭戈分校的研究人员进行了一项有趣的实验，将上世纪60年代的计算机程序ELIZA与现代AI聊天机器人ChatGPT进行了图灵测试比较。该研究引发了对OpenAI的尴尬评价，认为ELIZA在这一测试中表现得更为出色。

图灵测试是评估计算机是否能够模拟人类对话的标准，由英国计算机科学家艾伦·图灵于1950年首次提出。在这项最新研究中，研究人员邀请了652名参与者，通过互联网判断他们是在与另一个人还是与AI聊天机器人交流。

结果显示，ELIZA成功模拟人类的能力达到27%，而OpenAI的GPT-3.5仅为14%。引起尤为注目的是，OpenAI的更强大版本GPT-4在测试中的成功率为41%，超过了ELIZA。

对此，AI专家Gary Marcus形容ELIZA的成功对现代科技公司开发AI聊天机器人是一种“尴尬”。然而，一些学者认为，ChatGPT并非被设计用于在图灵测试中表现优异。

美国宾夕法尼亚大学沃顿商学院的AI教授Ethan Mollick在社交媒体上发文表示:“我认为GPT-3.5输给ELIZA并不令人惊讶，当你读完论文后就会明白。OpenAI一直认为模仿风险是一个真正的问题，并采用了RLHF（从人类反馈中进行强化学习），以确保ChatGPT不会试图冒充人类。而ELIZA则更多地是通过利用我们的心理来成功冒充。”

研究中提到，参与者误认ELIZA为人类的原因之一是ELIZA“太糟糕”，以至于被认为是当前AI模型无法达到的水平，因此“更有可能是有意不合作的人类”。

普林斯顿大学计算机科学教授Arvind Narayanan指出:“一如既往，测试行为并不能告诉我们关于能力的信息。ChatGPT被调整为具有正式的语气，不表达观点等，这使得它不太像人类。”

这项名为“GPT-4是否通过图灵测试”的研究尚未经过同行评审。这一发现引发了对现代AI聊天机器人设计和性能的深入思考。