模型简介
InternLM2-Chat-7B 是书生·浦语大模型系列中开源的 70 亿参数库模型和针对实际场景量身定制的聊天模型。InternLM2相比于初代InternLM,在推理、数学、代码等方面的能力提升尤为显著,综合能力领先于同量级开源模型。
使用场景
基于第三代数据清洗过滤技术,InternLM2语言建模能力显著增强。此外,长语境输入及理解能力增强显著拓展了大模型的应用场景,比如支持大型文档的处理、复杂的推理演算和实际场景的工具调用等,还可以为用户提供优秀的对话和交互体验。
评测效果
使用开源评估工具OpenCompass对 InternLM 进行了全面评估。评估涵盖了能力的五个维度:学科能力、语言能力、知识能力、推理能力和理解能力。
评估结果如下:
Dataset\Models | InternLM2-7B | InternLM2-Chat-7B | InternLM2-20B | InternLM2-Chat-20B | ChatGPT | GPT-4 |
---|---|---|---|---|---|---|
MMLU | 65.8 | 63.7 | 67.7 | 66.5 | 69.1 | 83.0 |
AGIEval | 49.9 | 47.2 | 53.0 | 50.3 | 39.9 | 55.1 |
BBH | 65.0 | 61.2 | 72.1 | 68.3 | 70.1 | 86.7 |
GSM8K | 70.8 | 70.7 | 76.1 | 79.6 | 78.2 | 91.4 |
MATH | 20.2 | 23.0 | 25.5 | 31.9 | 28.0 | 45.8 |
HumanEval | 43.3 | 59.8 | 48.8 | 67.1 | 73.2 | 74.4 |
MBPP(Sanitized) | 51.8 | 51.4 | 63.0 | 65.8 | 78.9 | 79.0 |
- 评估结果来自OpenCompass(部分数据标有*,表示来自原始论文),评估配置可在OpenCompass提供的配置文件中找到。
- 由于OpenCompass的版本迭代,评估数据可能会有数值差异,因此请以OpenCompass的最新评估结果为准。
技术亮点
- 200K 上下文窗口:在 200K 长的上下文中几乎完美地在大海捞针方面处于领先地位,在 LongBench 和 L-Eval 等长上下文任务上具有领先的性能。尝试使用 LMDeploy 进行 200K 上下文推理。
- 综合性能突出:在推理、数学、代码、聊天体验、指令跟随、创意写作等各个维度均明显优于上一代,在同类规模的开源模型中表现领先。
- 代码解释器和数据分析:使用代码解释器, InternLM2-Chat 还提供数据分析功能。
- 更强的工具使用能力:基于在指令跟踪、工具选择和反射方面更好的工具利用率相关能力,InternLM2 可以支持更多种类的代理和多步骤工具调用,以完成复杂任务。请参阅示例。
相关引用
如对您有帮助,欢迎引用。
@misc{cai2024internlm2,
title={InternLM2 Technical Report},
author={Zheng Cai and Maosong Cao and Haojiong Chen and Kai Chen and Keyu Chen and Xin Chen and Xun Chen and Zehui Chen and Zhi Chen and Pei Chu and Xiaoyi Dong and Haodong Duan and Qi Fan and Zhaoye Fei and Yang Gao and Jiaye Ge and Chenya Gu and Yuzhe Gu and Tao Gui and Aijia Guo and Qipeng Guo and Conghui He and Yingfan Hu and Ting Huang and Tao Jiang and Penglong Jiao and Zhenjiang Jin and Zhikai Lei and Jiaxing Li and Jingwen Li and Linyang Li and Shuaibin Li and Wei Li and Yining Li and Hongwei Liu and Jiangning Liu and Jiawei Hong and Kaiwen Liu and Kuikun Liu and Xiaoran Liu and Chengqi Lv and Haijun Lv and Kai Lv and Li Ma and Runyuan Ma and Zerun Ma and Wenchang Ning and Linke Ouyang and Jiantao Qiu and Yuan Qu and Fukai Shang and Yunfan Shao and Demin Song and Zifan Song and Zhihao Sui and Peng Sun and Yu Sun and Huanze Tang and Bin Wang and Guoteng Wang and Jiaqi Wang and Jiayu Wang and Rui Wang and Yudong Wang and Ziyi Wang and Xingjian Wei and Qizhen Weng and Fan Wu and Yingtong Xiong and Chao Xu and Ruiliang Xu and Hang Yan and Yirong Yan and Xiaogui Yang and Haochen Ye and Huaiyuan Ying and Jia Yu and Jing Yu and Yuhang Zang and Chuyu Zhang and Li Zhang and Pan Zhang and Peng Zhang and Ruijie Zhang and Shuo Zhang and Songyang Zhang and Wenjian Zhang and Wenwei Zhang and Xingcheng Zhang and Xinyue Zhang and Hui Zhao and Qian Zhao and Xiaomeng Zhao and Fengzhe Zhou and Zaida Zhou and Jingming Zhuo and Yicheng Zou and Xipeng Qiu and Yu Qiao and Dahua Lin},
year={2024},
eprint={2403.17297},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
免责声明
InternLM2-Chat-7B模型,来源于第三方,本平台不保证其合规性,请您在使用前慎重考虑,确保合法合规使用并遵守第三方的要求。