在人工智能领域,理解和改进神经网络的行为一直是一个挑战。大型语言模型如ChatGPT的训练成本高昂,而微软研究人员提出了一个新的方法:使用儿童故事来训练微小模型。以此模拟神经网络的学习过程。
这种方法的灵感来自于果蝇基因组测序与人类基因组测序的类比。研究人员在较小的数据集上训练语言模型,从而更容易理解这些模型的行为。在最新的研究成果中,微软的研究人员发现。即使是比现有最先进系统小数千倍的语言模型,在接受儿童故事训练后,也能迅速学会讲述连贯且符合语法的故事。
为了生成这些训练数据,研究人员首先创建了一个由大型语言模型生成的合成儿童故事库。然后,他们使用这些故事训练了参数规模介于100万到3000万的模型,并比较了它们的性能。结果表明,较小的模型也能表现出色,尤其是在掌握语法和故事一致性方面。
这项研究表明,微小模型的成功为训练更大、更复杂的模型提供了宝贵的见解。同时,它也为如何构建高质量的训练数据集提供了新的思路。研究人员希望,这一发现能激发更多关于语言模型的科学研究。
和讯自选股写手
风险提示:以上内容仅作为作者或者嘉宾的观点,不代表和讯的任何立场,不构成与和讯相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。和讯竭力但不能证实上述内容的真实性、准确性和原创性,对此和讯不做任何保证和承诺。
领和讯Plus会员,免费看更多独家内容:8大财经栏目,最新最热资讯干货独家行情解读,快人一步掌握市场投资风向。
2024-08-29
2023-09-27
2024-01-09
2023-11-15
2023-09-29
2024-04-24
新闻资讯推荐
win10系统推荐
系统教程推荐