对于 ChatGPT 变笨原因,学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出:在训练数据截止之前的任务上,大模型表现明显更好。
论文重点研究了「任务污染」问题,也就是大模型在训练时期就见识过很多任务示例,给人一种 AI 拥有零样本或少样本能力的错误印象。
也有学者从另一个角度指出,大模型训练后参数冻结,人们不断提出新的任务也就是输入分布不断变化。如果模型不能不断适应这种变化,就表现成能力慢慢退化。
人们以为只提了个问题 AI 就能回答,其实是在训练时见过大多数常见任务。随时间推移,人们开始提出更多新问题,AI 表现就不行了。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
网址设置
网址样式切换
详细
网址卡片按钮
显示
布局设置
左侧边栏菜单
展开
搜索框设置
自定义搜索框背景
-
未知类型
深海潜泳
-
未知类型
kitty萝莉
-
未知类型
倚月垂钓
-
未知类型
暖月独树
-
未知类型
彩云时空门
-
未知类型
蓝夜流星
自定义搜索框高度
- 聚焦
- 信息
- 默认
自定义设置