天天时讯:大语言模型中的涌现现象是不是伪科学?
Datawhale干货
(资料图片)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
相关阅读
-
天天时讯:大语言模型中的涌现现象是不...
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了 -
每日速递:探索老字号与国潮品牌的创新...
上证报中国证券网6月8日,主题为“活力制造,时尚消费”的2023上海... -
阜宁县沟墩镇老干部“银发生辉”助发展_...
为深入学习贯彻党的二十大精神,增强离退休党员干部凝聚力,充分发... -
《暗黑破坏神4》世界boss怎么去 世界BO...
按M键,看地图红色图标,如果提示“世界首领”的话,那里就是世界BOSS -
【天天报资讯】小鹏要搞事情!邀请林志...
死磕特斯拉的小鹏汽车又要搞事情了!6月6日,小鹏汽车官宣“林志颖... -
亿纬锂能海外布局大圆柱电池产能 拟近...
伴随业绩不断高增长,电池企业海外市场需求不断扩容。近期国内锂电池龙 -
天与地插曲 年少无知口琴版 天与地插...
1、主题曲《年少无知》作曲:黄贯中填词:林若宁主唱:林保怡、陈豪、 -
观天下!什么是固态硬盘和机械硬盘怎么...
1、固态硬盘与机械硬盘的区别机械硬盘本质是电磁存储,固态则是半导体 -
公子无罪怀璧其罪什么意思_怀璧其罪什么...
1、匹夫无罪,怀璧其罪释义:百姓本没有罪,因身藏璧玉而获罪。2、原指 -
怎么把qq相册图片导入电脑桌面_怎么把QQ...
想必现在有很多小伙伴对于怎么把QQ相册图标熄灭方面的知识都比较想要了 -
固始县九华山茶厂_固始县九华山 焦点精选
1、九华山不挨着固始的。2、九华山位于中国安徽省池州市青阳县境内,为 -
广汽集团曾庆洪:中国汽车市场将保持微...
“未来汽车行业发展还有空间,市场竞争会越来越激烈,但销量两位数... -
世界百事通!微软与 OpenAI,远没有看...
看似亲密无间的微软与OpenAI,隐忧已经浮现。近日,根据《TheInformati -
国家开发银行1月至5月发放交通领域贷款2...
国家开发银行1月至5月发放交通领域贷款2687亿元,贷款,铁路,交通运输,轨 -
孕妇能不能吃花甲_孕妇能吃花甲吗 热讯
孕妇能不能吃花甲,孕妇能吃花甲吗很多人还不知道,现在让我们一起来看 -
龙芯中科与甘肃庆阳市达成战略合作
证券时报e公司讯,6月7日,甘肃省庆阳市委副书记、市长周继军一行莅临 -
每日资讯:创新融生态加速双转型 2023...
中国浙江乌镇,2023年6月8日——以“创新融生态,加速双转型”为主... -
全球实时:新房交付、老旧小区改造……...
我们的居住环境焕新啦!近日,一批安置房建设、老旧小区改造等迎来新进 -
全球新动态:九联科技:业绩说明会定于6...
九联科技(SH688609,收盘价:10 47元)6月8日晚间发布公告称,公司202 -
兴业证券:拟对全资子公司兴证创新资本...
【兴业证券:拟对全资子公司兴证创新资本管理增资18亿元】兴业证券(601