9月25日，一项发表于《自然》的研究表明，当大型语言模型（llm）变得更大并从人类反馈中学习时，它们在回答简单问题方面似乎变得不那么可靠。
大型语言模型能够回答各种各样的问题，但并不总是准确的。图片来源：jamie jin/shutterstock
?
人工智能开发人员试图通过两种主要方式提高llm的能力，一是扩大规模，为其提供更多的训练数据和计算能力，二是根据人类反馈对其进行调整或微调。
西班牙巴伦西亚理工大学的joséhernández-orallo和同事研究了llm在规模扩大和调整过程中的表现。他们研究了openai的gpt系列聊天机器人、meta的llama ai模型，以及一组名为bigscience的研究人员开发的bloom。
研究人员通过设置5种类型的任务测试人工智能，即算术问题、解字谜、地理问题、科学挑战和从杂乱无章的列表中提取信息。
结果发现，扩大和调整可以使llm更好地回答棘手的问题，比如将异序词“yoiirtsrphaepmdhray”重新排列为“甲状旁腺功能亢进症”。但两种方式与其在基本问题上的进步并不匹配，比如问及“当把24427和7120加在一起时，会得到什么”，llm继续出错。
虽然在难题上的表现有所改善，但人工智能系统避免回答任何一个问题的可能性下降了——因为它不能。结果是，错误答案的可能性增加了。
hernández-orallo表示，研究结果突出了将人工智能描述为无所不知的危险，就像它们的创造者经常做的那样，而一些用户太容易相信了。“我们过度依赖和信任这些系统。”他说。
这是一个问题，因为人工智能模型对自己的知识范围并不诚实。英国牛津大学的carissa véliz说：“人类之所以超级聪明，部分原因在于有时我们没有意识到‘知之为知之，不知为不知’，但与大型语言模型相比，我们非常善于意识到这一点。大型语言模型不知道所拥有知识的极限。”
相关论文信息：
米乐app官网下载的版权声明：凡本网注明“来源：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来源和作者，且不得对内容作实质性改动；微信公众号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。
