![](https://www.265xx.com/res/images/mobile.png)
百度CTO王海峰:文心大模型4.0理解、生成、逻辑和记忆能力显著提升
以“生成未来”为主题的世界大会2023日前在北京首钢园举办,首席技术官王海峰解读文心大模型4.0背后的关键技术和最新进展。
文心大模型4.0首发理解、生成、逻辑和记忆能力显著提升
在3月16日发布知识增强大语言模型文心一言。文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。文心一言的基础模型5月升级至文心大模型3.5。
据了解,相比3.5版本,文心大模型4.0的理解、生成、逻辑、记忆四大能力都有显著提升。其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。百度基于文心大模型研制了智能代码助手Comate,从内部应用效果来看,整体的代码采纳率达到40%,高频用户的代码采纳率达到60%。
据悉,文心大模型4.0在9月已开始小流量上线,过去一个多月效果又提升了近30%。训练算法效率自3月以来已累计提升3.6倍,周均的训练有效率超过98%。
在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。
此外,文心大模型4.0在输入和输出阶段都进行知识点增强。一方面,对用户输入的问题进行理解,并拆解出回答问题所需的知识点,然后在搜索引擎、知识图谱、数据库中查找准确知识,最后把这些找到的知识组装进Prompt送入大模型,准确率好,效率也高;另一方面,对大模型的输出进行反思,从生成结果中拆解出知识点,然后再利用搜索引擎、知识图谱、数据库,以及大模型本身进行确认,进而对有差错的点进行修正。
文心一言助力国图馆藏文化资源活化升级国家跳水队AI辅助训练系统
百度已经与中国国家图书馆展开战略合作,共同推动文化资源和知识服务智能化。国家图书馆拥有全球最大的古代方志,利用文心大模型学习古代方志与家谱数据,帮助全球华人获取更多寻根线索。
中国国家跳水队教练、奥运五金王陈若琳和奥运冠军全红婵、陈芋汐、王宗源也来到世界大会现场,解密梦之队训练“独门绝技”。基于文心一言等百度大模型技术,中国国家跳水队AI辅助训练系统全面升级,通过从和知识中学习,掌握了丰富的跳水知识,理解和执行教练员和运动员的复杂指令,及时提供准确信息,并对动作实时打分、精准量化分析,提供最有价值的指导信息。
现场,陈若琳受中国游泳协会主席周继红委托,授予百度为“中国国家跳水队合作伙伴”。陈若琳表示,中国国家跳水队与百度从2019年就开展了深入的技术合作,携手走过了东京奥运会、福冈世锦赛、,目前正在备战明年巴黎奥运会。“感谢百度一直以来提供的技术支持与服务,未来双方将携手持续用技术帮助跳水队智能训练,通过科学训练提升竞技水平。”
百度人才培养星河计划发布再培养500万大模型人才
王海峰现场公布了百度人才培养的最新数据,百度在2020年提出5年为全社会培养500万AI人才,截至目前,百度已经培养了420万AI人才。
当下,大模型成为人工智能发展的热点方向,进一步加速产业变革,AI人才培养也需与时俱进。王海峰发布了百度人才培养星河计划,他表示:“我们将与产学研各界密切合作,深化产教融合,为社会再培养500万大模型人才,让人工智能科技的‘创新之花’。”(肖智)
上一篇:粮食安全保障法草案二审稿:撂荒地可由发包方组织代耕代种
下一篇:一张为老服务地图网罗各类为老服务场所!浦东这个街道重阳节活动干货满满
最近更新教育培训
- 丰林县:打好“组合拳” 稳岗促就业
- 进城务工人员随迁子女可在北京参加高职招考!今天17时截止——
- 政策|促进负责任创新与隐私保护:《科技伦理审查办法(试行)》解读
- 湖北教育行业微信9月TOP30榜:“湖北民族大学”等8个账号新晋榜单
- 晒课堂常规 看星湖学校促师生习惯养成
- “乡”味浓浓,侨后代千里返乡学潮菜
- 房车资讯:房车买个什么车好?正犹豫的你,请收下本篇测评!
- 张家界市总工会女职工芙蓉公益讲堂送课到永定区教师进修学校
- 广东2024年普通高考报名百问百答(一)
- “首批二孩”集中入学 看银川如何从容应对
- 【理通三迤】好品德造就干部好风尚
- 长春职业技术学院探索职教援外新路径
- 排名公开:贵阳精神病医院2023排名10月详情榜单
- 亳州教师勇救落水青年 彰显师者大爱
- 贵州省2023年下半年高等教育自学考试考前提示
- 10月17日起,贵州省2023年度全国社会工作者职业资格证书(纸质)可以领取啦!
- 四川北川:“羌山领头羊”计划让中学生成为科学实验的“研究者”
- 山东代表寄语妇女十三大丨刘莉:让巾帼之力在乡村振兴路上更加出彩
- “只要有孩子来读书,我就不会放弃”
- 原创国乒世界排名洗牌!王楚钦3项第1,张本智和暴跌,马龙第3难保
- 68125亿元!同比增长6%!山东前三季度“成绩单”出炉
- 文教融合共创未来
- 生态环境部、市场监管总局联合发布《温室气体自愿减排交易管理办法(试行)》
- 约老师轰22+12+7,掘金险胜灰熊!罗斯梦回巅峰,穆雷只打关键球
- 定档12月31日!2023深圳宝安马拉松报名今日开启