(资料图片)
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员开发了一种超越大规模语言模型的小型自学语言模型。
CSAIL 的模型算法称为简单伪标签编辑 (SimPLE)，允许它从自己的预测中学习，无需使用带注释的训练数据。
据Venture Beat报道，该团队声称该模型在各种任务中的性能优于更大、更著名的模型，如 OpenAI 的 GPT-4 或谷歌的 LaMDA。
“我们的小模型经过训练，可以掌握语言理解的核心原则——语境蕴含，而法学硕士并没有明确地了解它，”麻省理工学院 CSAIL 博士后研究员、该研究的主要作者 Hongyin Luo 说。
Lou 说团队的下一步是“在各种与语言相关的任务中使用蕴含模型”。
他表示，与 GPT-3 相比，该模型仅包含 1/500 的参数，相比之下，这将使它的部署更容易、更快。
关键词：
