《麻省理工科技评论》中国从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力,力图评出“最聪明”的国产大模型。选取了“讯飞星火”、“百度文心一言”、“商汤商量”、“阿里通义千问”作为中文大模型平台的代表,展开系统、科学的评测。
本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共 8 个一级大类,126 个二级分类,290 个三级标签,并针对问题的丰富性和多样性做了优化。
在题目类型上,为了兼顾定量、定性的评价与测试,设置了“单选”、“多选”、“填空”、“简答”4个题型,分别有 145 道、138 道、136 道和 181 道。大模型评测体系使用盲评方式,客观评估国产大模型的聪明程度。
作为“最聪明”的大模型的基础能力,语言专项评测包含对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等 61 个二级分类,题型则以简答为主。结果显示,讯飞星火 85.73%的得分率排名第一,明显高于平均值。

000402631+ Z00402631
KEN5-FN/47409-/v01.03
Siemens 6FC3985-7AH
KEN5/46678-/v03.24
KWD5/46763-/v03.20
Siemens 570.474.9002.01 E: E/6FX1147-4BB00
9301A-SIZG-PHJ-GZ-G
KEN5/46678-
KW8/46754-/v03.10
T2-10AI-0-Bare
QLN65/0012 A3-102726.9oz-33/LE4-115
Siemens 1FT6044-4AF71-3EB0
KEN5-S10/47804-
6FC4401-0TA01-Z
KWD5/46763-
6FL3001-4AB12
KEN5-ON/47426-
KW8/46754-
KW8/46754-
700-600-CAN12
R911173398
Siemens 6MA3110-0FB07
KW8/46754-
OPTItec Co
ntrol Technology/Teco 32 10/12ft
FC/486DX / I - T /2722085/
Bosch Sm 10/20-C 054883-207
Bosch Socket Co
ntact 1928492555
6ES5242-1AA11
18341-A51116021
M 6DS1703-8RR
R151033554 48317.004 L = 540 mm
063991-102401
A20B-0007-0070 / 06B
462007.9410.00
0.652.960-46.2
LID 311C/315C P10 G10 245 059 17
0103-221-1-00
B1200 - C960 L7151
-102
5-VMK 32 NC
MEM500.100A
pH-Meter pH 161 T
AMT VGA OPTO 16 i - 16 o
AMT VGA OPTO 16i-16o
RMA12.1-32-DC024-050
M 6DS1607-8AB
CPJ-DR
免责声明:AMIKON我们销售新产品和停产产品,特有渠道购买此类特色产品。阿米控不是本网站特色产品的授权分销商、经销商或代表。本网站上使用的所有产品名称/产品图片、商标、品牌和徽标均为其各自所有者的财产。带有这些名称,图片、商标、品牌和徽标的产品描述、描写或销售仅用于识别目的,并不表示与任何权利人有任何关联或授权。