qweasjd 发布于2024-03-11 05:59:03 体育热点话题 42 次
在人工智能领域,理解和改进神经网络的行为一直是一个挑战。大型语言模型如ChatGPT的训练成本高昂,而微软研究人员提出了一个新的方法:使用儿童故事来训练微小模型,以此模拟神经网络的学习过程。
这种方法的灵感来自于果蝇基因组测序与人类基因组测序的类比。研究人员在较小的数据集上训练语言模型,从而更容易理解这些模型的行为。在最新的研究成果中,微软的研究人员发现,即使是比现有最先进系统小数千倍的语言模型,在接受儿童故事训练后,也能迅速学会讲述连贯且符合语法的故事。
为了生成这些训练数据,研究人员首先创建了一个由大型语言模型生成的合成儿童故事库。然后,他们使用这些故事训练了参数规模介于100万到3000万的模型,并比较了它们的性能。结果表明,较小的模型也能表现出色,尤其是在掌握语法和故事一致性方面。
这项研究表明,微小模型的成功为训练更大、更复杂的模型提供了宝贵的见解。同时,它也为如何构建高质量的训练数据集提供了新的思路。研究人员希望,这一发现能激发更多关于语言模型的科学研究。
和讯自选股写手风险提示:以上内容仅作为作者或者嘉宾的观点,不代表和讯的任何立场,不构成与和讯相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。和讯竭力但不能证实上述内容的真实性、准确性和原创性,对此和讯不做任何保证和承诺。肖钢:要把大模型、小模型结合起来,不是每个机构都一定要用大模型(xiao gang yao ba da mo xing xiao mo xing jie he qi lai bu shi mei ge ji gou dou yi ding yao yong da mo xing)
霸主地位面临风险 英伟达跌超5%(ba zhu di wei mian lin feng xian ying wei da die chao)
上海:为大模型创新发展创造更好语料基础环境(shang hai wei da mo xing chuang xin fa zhan chuang zao geng hao yu liao ji chu huan jing)
登dēng录lù新xīn浪làng财cái经jīngAPP搜sōu索suǒ【信xìn披pī】查chá看kàn更gèng...
在zài金jīn融róng市shì场chǎng中zhōng,期qī货huò交jiāo易yì作zuò为wèi一yī种zhǒ...
家jiā电diàn股gǔ早zǎo盘pán涨zhǎng幅fú居jū前qián,海hǎi信xìn家jiā电diàn(0...
原yuán油yóu: 周zhōu三sān,原yuán油yóu主zhǔ力lì合hé约yuēSC2411收sh...
在zài股gǔ票piào市shì场chǎng中zhōng,股gǔ票piào代dài码mǎ是shì识shí别bié不bù同...
派pài米mǐ袜wà子zi属shǔ于yú几jǐ线xiàn品pǐn牌pái?五wǔ线xiàn品pǐn牌pái。世shì界j...
西xī班bān牙yá人rén的de服fú装zhuāng服fú饰shì是shì怎zěn样yàng的de?队duì服fú制z...
快kuài讯xùn摘zhāi要yào...
130多duō块kuài钱qián的de足zú球qiú鞋xié能néng穿chuān吗ma?130多duō元yuán的d...
9月yuè9日rì,上shàng海hǎi创chuàng兴xìng资zī源yuán开kāi发fā股gǔ份fèn有yǒ...