模型“日日新”:商汤“商量SenseChat 2.0”多个评测基准综合表现超ChatGPT 世界资讯
商汤科技近日公布了自研中文语言大模型“商量SenseChat 2.0”在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。根据评测结果,“商量SenseChat 2.0”在三个测试集中表现均领先ChatGPT,实现了我国语言大模型研究的重要突破。
(资料图片)
截至目前,已有近千家企业客户通过申请,应用和体验“商量SenseChat 2.0”超强的长文本理解、逻辑推理、多轮对话、情感分析、内容创作、代码生成等综合能力,并且“商量SenseChat 2.0”还在服务客户过程中,持续实现着快速迭代和提升,以及知识的实时更新。
商汤科技公布的评测结果中,选取了全球三大权威语言模型测评基准MMLU、AGIEval、C-Eval,结果显示“商量SenseChat 2.0”在三个测试集中表现均领先ChatGPT,部分已十分接近GPT4的水平。
其中,MMLU是由美国加州大学伯克利分校、哥伦比亚大学、芝加哥大学及伊利诺伊大学厄巴纳-香槟分校联合打造的大规模多任务语言理解的评测基准,涵盖了科学、技术、工程、数据,人文、社会科学等领域的57个科目,难度从初级水平到高级专业水平,考验世界知识和解决问题的能力。
在该评测中,“商量SenseChat 2.0”综合得分为68.6,远超GLM-130B(45.7分)的得分,同时还超过了ChatGPT(67.3分)、LLaMA-65B(63.5分)仅落后GPT-4(86.4分),位居第二。
AGIEval是由微软研究院发布的,专门用于评估基础模型在人类认知和问题解决相关任务中表现出的一般能力,从而实现模型智能和人类智能的对比。
在该评测中,“商量SenseChat 2.0”测出49.91的分数,遥遥领先GLM-130B(34.2分)、LLaMMA-65B(34.0分),并再次超越ChatGPT(42.9分),仅次于GPT-4的56.4分。在其中的AGIEval(GK)评测子集中,“商量SenseChat 2.0”以58.5分全面领先,仅微弱差距落后GPT-4(58.8分)。
C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,包含了13948个多项选择题,涵盖了52个不同的学科和四个难度级别。
面对C-Eval评测基准,“商量SenseChat 2.0”拿到了66.1的分数,在参评的18个大模型中,仅次于GPT-4(68.7分),全面领先ChatGPT等一众海内外大模型。其中,C-Eval(Hard)子评测集,是选择了8个具有挑战性的数据、物理和化学科目,进一步考核大语言模型的推理能力,“商量SenseChat 2.0”也表现居于前列。
据悉,今年4月,商汤正式发布“商汤日日新SenseNova”大模型体系,以及自研中文语言大模型“商量SenseChat”。截至6月,全球范围内正式发布的大语言模型已超过40款,其中由中国厂商、高校、科研院所等发布的大语言模型近20款。
关键词:
您可能也感兴趣:
为您推荐
全球滚动:云南玉溪红塔区公益市集开辟基层治理新路径 点燃城市社区“烟火气”
十年一品温如言小说百科_十年一品温如言小说简介
最新战报!国乒女双轰出11比0,周启豪遭队友横扫一轮游|世界新消息
排行
- 观察:2023端午档预售票房破5000万
- 中汽协正在编制车企碳排放标准 新能源汽车势不可挡?
- 天天新动态:赶紧减肥!研究表明大体重驾驶者更容易在车祸中受伤
- 天天视讯!2022 年世界互联网大会乌镇峰会开幕 线上+...
- 全新奥迪Q8 e-tron家族亮相 外观更年轻 续航最大600km
- 焦点热门:LG显示已开始为iPhone 14 Pro Max供应面板 三星显示不再是唯一
- 视点!小米商城服务升级3.0了!官方售后进度可视可控
- 世界观热点:比亚迪已成功注册1枚“仰望”商标 曾为其设立公司
- 热门:美系电车之耻?Lucid第三季度亏损38亿!股价下跌13%
- 全球热讯:荣耀80或首发1.6亿像素主摄!标配灵动岛
最近更新
- 观察:2023端午档预售票房破5000万
- 中汽协正在编制车企碳排放标准 新能源汽车势不可挡?
- 天天新动态:赶紧减肥!研究表明大体重驾驶者更容易在车祸中受伤
- 天天视讯!2022 年世界互联网大会乌镇峰会开幕 线上+...
- 全新奥迪Q8 e-tron家族亮相 外观更年轻 续航最大600km
- 焦点热门:LG显示已开始为iPhone 14 Pro Max供应面板 三星显示不再是唯一
- 视点!小米商城服务升级3.0了!官方售后进度可视可控
- 世界观热点:比亚迪已成功注册1枚“仰望”商标 曾为其设立公司
- 热门:美系电车之耻?Lucid第三季度亏损38亿!股价下跌13%
- 全球热讯:荣耀80或首发1.6亿像素主摄!标配灵动岛