Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
(资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
(责任编辑:黄俊飞)推荐内容
- 全球新动态:大语言模型中的涌现现象是不
- 世界今热点:佩斯科夫:无人机试图发动袭
- 环球即时看!秦刚:希望缅方严厉打击网络
- 每日信息:为应对返程客流高峰 福州地铁
- “五一”假期湖北铁路、航空客流量创新高
- 19投19分,19投30分,24投22分!湖人真想
- 【报资讯】习近平与青年书|“把个人的理
- 劳动节学种植技巧,温州医科大学开设“田
- 【环球新要闻】小联赛重心:米亚尔比全力
- 48岁林志玲状态 有开大车资本的午间动态
- 热资讯!港股异动 | 雅天妮集团(00789)
- 世界头条:首届“雪如意”启春节在张家口
- 主播说联播丨你追求的是完成还是完美?
- 挖掘机岩石臂
- 天天热点评!长沙县路口镇中心学校举办“
- 世界速递!全家开心出游,“熊孩子”却因
- 正负电子对撞机有什么用 对撞机有什么用
- 天天快资讯:选鞋指南_选鞋
- 【天天报资讯】江西上栗:首套房首付比例
- 访“50后”日商:从“学在中国”到“淘金
- 以军:加沙地带武装向以色列境内发射22枚
- 匡衡凿壁借光文言文翻译50字_匡衡凿壁借
- 苹果雪梨猪骨汤_关于苹果雪梨猪骨汤的简介
- 建筑工人100元意外险有必要买吗?投保注
- 百胜中国(09987)5月1日斥资约100万美元回
- 林丹李宗伟入选世界羽联名人堂 当前短讯
- 环球关注:日媒:时隔近一个月,自卫队高
- 【环球快播报】四川已正式进入汛期 需提
- 全球报道:超燃!19岁浙江小伙潘展乐打破
- 恭喜!小威宣布迎二胎_焦点速看
- 拉链拉到旁边的布怎么办 拉链一拉就开裂
- 环球聚焦:美国监管部门考虑上调企业存款
- 三星电子禁止员工使用生成式AI工具,担心
- 荣信文化:融资余额环比增加184.76%,增
- wan口速率啥意思 wan口速率是什么意思
- 焦点速看:商务部:5月1日全国消费市场红
- 工程部经理的职责 工程部经理的职责是什
- 全球新资讯:耿耿于怀的意思和造句_耿耿
- 当前快播:清汤牛肉的做法放菌菇_清汤牛
- 天天热讯:淮安市加快推进住房公积金业务
- 维尼修斯晒本泽马跑位:和他踢球太简单了
- 夏季肝火旺,多吃这9种食物,或能清热养
- 微资讯!2023玉溪音乐节:全阵容公布!购
- 每日速看!别再吃猪蹄了!想补脸上的胶原
- 农业重点数据跟踪周报:需求好转支撑猪价
- 全球时讯:不良人:重看发现,第十集暗藏
- 灵墟渝谷藏宝图挖宝位置介绍 全球新视野
- 打工人要快乐!《人生路不熟》曝五一放假
- 五一成都大熊猫基地预约提醒:5月2日熊猫
- 家家有老人,人人都会老
- 新疆华电新能木垒首批30万千瓦风电项目并
- 世界最资讯丨万物云朱保全:做好平常事,
- 百事通!五一长沙排队:景点队伍排到隔壁
- 环球时讯:假期我在岗,港口施工忙
- 世界实时:海底捞睡满人导致无法用餐?门
- 每日时讯!泉州中心市区医院“五一”假期
- 春望感时花溅泪恨别鸟惊心的修辞手法_感
- 运动时鼻子出血时怎么处理 鼻子出血时怎
- 环球头条:亚历山德里尼:我们配得上更好
- 丝路嘉峪关的“食尚赶烤路”:魏晋风韵香
- 以军:加沙地带武装向以色列境内发射22枚
- 匡衡凿壁借光文言文翻译50字_匡衡凿壁借
- 苹果雪梨猪骨汤_关于苹果雪梨猪骨汤的简介
- 建筑工人100元意外险有必要买吗?投保注
- 百胜中国(09987)5月1日斥资约100万美元回
- 林丹李宗伟入选世界羽联名人堂 当前短讯
- 环球关注:日媒:时隔近一个月,自卫队高
- 【环球快播报】四川已正式进入汛期 需提
- 全球报道:超燃!19岁浙江小伙潘展乐打破
- 恭喜!小威宣布迎二胎_焦点速看
- 拉链拉到旁边的布怎么办 拉链一拉就开裂
- 环球聚焦:美国监管部门考虑上调企业存款
- 三星电子禁止员工使用生成式AI工具,担心
- 荣信文化:融资余额环比增加184.76%,增
- wan口速率啥意思 wan口速率是什么意思
- 焦点速看:商务部:5月1日全国消费市场红
- 工程部经理的职责 工程部经理的职责是什
- 全球新资讯:耿耿于怀的意思和造句_耿耿
- 当前快播:清汤牛肉的做法放菌菇_清汤牛
- 天天热讯:淮安市加快推进住房公积金业务
- 维尼修斯晒本泽马跑位:和他踢球太简单了
- 夏季肝火旺,多吃这9种食物,或能清热养
- 微资讯!2023玉溪音乐节:全阵容公布!购
- 每日速看!别再吃猪蹄了!想补脸上的胶原
- 农业重点数据跟踪周报:需求好转支撑猪价
- 全球时讯:不良人:重看发现,第十集暗藏
- 灵墟渝谷藏宝图挖宝位置介绍 全球新视野
- 打工人要快乐!《人生路不熟》曝五一放假
- 五一成都大熊猫基地预约提醒:5月2日熊猫
- 家家有老人,人人都会老
- 新疆华电新能木垒首批30万千瓦风电项目并
- 世界最资讯丨万物云朱保全:做好平常事,
- 百事通!五一长沙排队:景点队伍排到隔壁
- 环球时讯:假期我在岗,港口施工忙
- 世界实时:海底捞睡满人导致无法用餐?门
- 每日时讯!泉州中心市区医院“五一”假期
- 春望感时花溅泪恨别鸟惊心的修辞手法_感
- 运动时鼻子出血时怎么处理 鼻子出血时怎
- 环球头条:亚历山德里尼:我们配得上更好
- 丝路嘉峪关的“食尚赶烤路”:魏晋风韵香
- 纳税申报表是什么样子的_纳税申报表是什么
- 中使馆通报一运砂船在菲律宾海域倾覆:已
- 足银回收价格多少钱一克(2023年04月30日)
- 天天短讯!110期甜瓜快乐8预测奖号:大小
- 罗源县消防救援大队通过各种形式开展消防
- 2023新疆克拉玛依金丝玉文化旅游节开幕
- 男子为女儿打造四轮小车 能原地掉头 网
- 电影《长空之王》票房突破2亿 全球播报
- 天天观点:4月钢铁PMI:供需两端有所收紧
- 4月30日,贵州日报微报来了 世界快资讯
- 头条主赛!宋亚东迎战西蒙,拒绝连败,李
- 携手同行 向劳动者致敬——昌平区表彰图
- 廖树华
- 线面垂直推出面面垂直_线面垂直
- endanger_enda
- ug是什么单位|环球报道
- 广州拟出公积金购房新政!二孩家庭或可多
- 全球短讯!洋河2022年年报:稳中见“韧”
- 快资讯丨“五一”假期首日北京全市公园纳
- 五一假期预计2.4亿人次出游,淘宝造物节