这篇论文的20个问题能让真的大模型现身

fay数字人

“

百模争霸的时代来了，有一篇2015年的论文提供的方法，可以对这些大语言模型做一个测评，这篇论文迄今已经被引用1143次。”

1

20个问题让你把模型盘（问）的明明白白

百模争霸的时代来了，有一篇2015年的论文提供了一些方法，可以对这些大语言模型根据你自己的需要（比如偏重推理、还是演绎归纳等等）做一个测评，这篇论文迄今已经被引用1143次。

这篇论文主要提供了20个问答用于了解大语言模型是否具备与人类对话的先决条件。这些问题包括：1-单一证明事实2-两个证明事实3-三个证明事实4-两个证明关系5-三个证明关系6-是/否问题7-计数8-列表/集合9-简单否定10-不确定知识11-基本指称12-同时性13-复合指称14-时间推理15-基本演绎16-基本归纳17-位置推理18-大小推理19-路径寻找20-主体的动机。这些问题的出处比较严谨，有兴趣的朋友可以找来论文看看。论文地址在文末。

当时的学习系统无法解决下列所有问题，但时间过去了8年，现在（2023年）的模型解决这些问题的能力还是不错。当然，有些问题依然不能答对。有兴趣的朋友可以测试一下。简单的测试和问题在文章末尾。

2

国内外主要的大模型厂商

百度——文心一言

体验地址：https://yiyan.baidu.com/welcome

华为——盘古大模型

体验地址：https://www.huaweicloud.com/product/pangu.html

阿里巴巴——通义大模型

体验地址：https://tongyi.aliyun.com/

科大讯飞——星火大模型

体验地址：https://xinghuo.xfyun.cn/

清华大学——ChatGLM-6B

开源地址：https://github.com/THUDM/ChatGLM-6B

智源人工智能研究院——悟道·天鹰

开源地址：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila

达观数据——"曹植"垂直大预言模型

体验地址：http://www.datagrand.com/products/aigc/

上海人工智能实验室——书生·浦语（InternLM）

开源地址：https://github.com/InternLM/InternLM

百川智能——baichuan-7B

源地址：https://github.com/baichuan-inc/baichuan-7B

北京大学——ChatLaw

开源地址：https://github.com/PKU-YuanGroup/ChatLaw

哈尔滨工业大学——本草

开源地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

云知声——山海

体验地址：https://shanhai.unisound.com/

OpenBMB——CPM-Bee-10B

开源地址：https://huggingface.co/openbmb/cpm-bee-10b

中国科学院自动化研究所——紫东·太初

开源地址：https://gitee.com/zidongtaichu/multi-modal-models

虎博科技——TigerBot

开源地址：https://github.com/TigerResearch/TigerBot

360——智脑

体验地址：https://ai.360.cn/

上海交通大学——K2

开源地址：https://github.com/davendw49/k2

智媒开源研究院——MediaGPT

开源地址：https://github.com/IMOSR/MediaGPT

度小满——轩辕

开源地址：https://huggingface.co/xyz-nlp/XuanYuan2.0

东北大学——TechGPT

开源地址：https://github.com/neukg/TechGPT

序号	公司	大模型
1	OpenAI	ChatGPT
2	Microsoft	Bing Chat
3	Google	PaLM2,Bard,Gemini
4	Anthropic	Claude
5	Meta	LLaMA,LLaMA-2
6	Stability AI	StableLM
7	Amazon	Titan
8	Bloomberg	BloombergGPT
9	MosaicML	MPT
10	Intel	Aurora genAI
11	UC Berkeley	Gorilla
12	inflection.ai	Inflection-1
13	xAI	From Openai
14	cohere	Cohere
15	Scale AI	Scale
16	character ai	Character
17	Colossal-AI	ColossalChat

3

简单测试和示例

以上是ChatGPT的回复

以上是国内厂商的回复