├── README.md └── images ├── AI.png ├── AI_Ceping_Logo.jpg ├── Tutorials ├── 1.png ├── 2-1.png ├── 2.png ├── 3-1.png ├── 3.png ├── 4.png ├── 5.png ├── 6.png ├── 7.png └── 8.png ├── WeChat_Official_ accounts.png ├── tencentqq.svg └── tutorial.mp4 /README.md: -------------------------------------------------------------------------------- 1 | 2 |

3 | Your Logo 4 |

5 | 6 | 7 |
8 | 9 | # LLM-Ceping 全面的大语言模型评测知识库 10 | 11 | 12 | 13 | 14 | _✨ 用数据淘金，人工智能需要你助力！ ✨_ 15 | 16 |
17 |

18 | 19 | license 20 | 21 |
22 | 23 | feishu 24 | 25 | 26 | Wechat 27 | 28 | 29 | BiliBili 30 | 31 | 32 | Xiaohongshu 33 | 34 |
35 |

36 | 简介  •  37 | 用户贡献  •  38 | AI-Ceping 大模型测评知识库  •  39 | wiki  •  40 | FAQ  •  41 | 相关文献 42 | 43 |

44 |
45 |

46 | 47 | 48 | ## 背景 49 | 在人工智能领域，大型语言模型（Large Language Model）的发展迅猛，它们通过深度学习和大量数据训练，在语言理解、生成和翻译等方面取得了显著进步。随着ChatGPT等模型的出现，LLM的应用范围不断扩大，展现出巨大潜力。 50 | 51 | > ~~但LLM的快速发展也带来了挑战，如何有效评估它们的性能和安全性变得尤为关键。传统评测方法依赖专家主观判断，缺乏客观性和可重复性。同时，随着模型规模和复杂性的增加，单一评测指标已不足以全面反映模型能力。~~ 52 | 53 | 54 | 55 | https://github.com/user-attachments/assets/b7ed3d5a-2572-4bfa-b42c-b476f6fda479 56 | 57 | 58 | 59 | # 简介 60 | ⭐[LLM-Ceping](https://ai-ceping.com/) AI-Ceping，一个由同济大学开发的大模型评测数据收集平台。是为了应对大语言模型（LLM）评测的迫切需求，尤其是在 ChatGPT 掀起的研究和应用浪潮之后。使命是构建一个权威、公正、透明的评测环境，以客观评估大型语言模型的能力，并反映这些模型需要解决的问题。 61 | > [!TIP] 62 | > - 评测方法 通过用户提问和撰写参考答案来参与大模型的训练和评测。用户可以通过向模型提问，让三个大模型生成回答，并获得一定的奖励。此外，用户还可以选择喜欢的模型回答，涉及文字、语音和视频等多模态内容 63 | > - 评测标准 评测方法包括使用强模型（如 GPT-4）来打分评测回答质量，衡量模型的指令遵循能力和有用性。打分维度包括事实正确性、满足用户需求、清晰度、完备性、丰富度等多项. 64 | > - 目标 期望通过每位用户对大模型应用的理解以及自身具备的不同领域的知识，设计高质量的评测数据来对大模型进行综合的评估。通过这个平台，用户可以为大模型的训练与评测注入活力， 65 | AI-Ceping 还提供了详细的任务概况说明，包括背景、奖励规则、活动须知、反作弊说明和活动安排等，以确保评测活动的顺利进行。通过这个平台，用户可以为大模型的训练与评测注入活力，同时也有机会获得现金奖励 66 | --- 67 | 68 | # 用户贡献 69 | > [!IMPORTANT] 70 | > - 我们的平台已经吸引超过 _**22,415**_ 名来自不同地区的用户。已经累积了 _**348,576**_ 条数据提交记录，其中覆盖了众多主题和领域。包含超 _**563**_ 种不同的标签
71 | > - 在此列举了平台核心用户 （前十名） 72 | > - 截图于24/11/20 73 | 74 | --- 75 | # 平台核心功能 76 | 77 | | 以下包含了平台核心功能 | | 78 | |:---:|:---:| 79 | | | 单条数据｜向大模型提真实问题
向模型提问，让三个大模型生成回答，即可获得奖励
| 80 | | 数据扩写 ｜撰写问答对，给大模型出题
提问并撰写参考答案，为大模型训练与评测注入血液 | |
81 | | | 评测任务｜做选择题，选择你满意的内容
pick你喜欢的模型回答，回答涉及文字、语音和视频等多模态内容，等你来评价！ |
82 | | 模型擂台｜最强大模型，由你来评
随机派送2个大模型为你服务，输入问题，选择你喜欢的回答，看看哪个模型表现好​ | |
83 | 84 | 85 | --- 86 | 87 | ## AI-Ceping大模型测评知识库 88 | 这里我们与社区用户共建了[《AI-Ceping 大模型测评知识库》](https://tapy80meo6.feishu.cn/wiki/OY2FwN1hTiJXJ5kxbuucPIMLn2c?fromScene=spaceOverview)，帮助大家快速了解入门AI大模型 ： 89 | > [!NOTE] 90 | >__📕 AI 大模型评测知识分享__。从0到1带大家入门大模型评测，成为Prompt大师和大语言模型评测专家。
91 | >__📗 各赛道大模型榜单维护__。从市面上繁杂的大模型排行榜甄选出最具参考价值的LeaderBoard，降低用户的时间成本。
92 | >__📘 大模型资讯更新__。最终标杆模型最新动态，快速捕捉大模型发现最前沿讯息。
93 | >__📙 数据集渠道整合__。从海量开源数据集筛选优质数据集，方便大模型使用者快速微调、评测。
94 | >__📙 共建[ AI-Ceping（爱测评）](https://ai-ceping.com/) 社区：大模型数据灵感众筹平台__。由同济大学发起，鼓励用户通过自己的创意和灵感，贡献真实的AI语料，以助于大模型的持续迭代和维护。
95 | 96 | ## FAQ 97 | 请先访问我们的项目[Wiki](https://github.com/AI-Ceping/LLM-Ceping/wiki)，这里汇集了常见问题的解答和操作指南。如果Wiki中没有你要找的答案，欢迎提出你的问题，我们会尽快回复。 98 | 99 | - [数据构建操作流程](https://github.com/AI-Ceping/LLM-Ceping/wiki/%E5%B9%B3%E5%8F%B0%E6%93%8D%E4%BD%9C%E6%96%B9%E6%B3%95) 100 | - [如何构思出优秀的数据？](https://github.com/AI-Ceping/LLM-Ceping/wiki/%E5%A6%82%E4%BD%95%E6%9E%84%E6%80%9D%E5%87%BA%E4%BC%98%E7%A7%80%E7%9A%84%E6%95%B0%E6%8D%AE) 101 | - [大模型评测小白入门指北](https://github.com/AI-Ceping/LLM-Ceping/wiki/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AF%84%E6%B5%8B%E5%B0%8F%E7%99%BD%E5%85%A5%E9%97%A8%E6%8C%87%E5%8C%97) 102 | 103 | 104 | 105 | ## 相关文献 106 | # Prompt Engineering 提示词工程 107 | 108 | | 资源名称 | 资源描述 | 资源链接 | 109 | | :--- | :---- | :--- | 110 | | 吴恩达讲ChatGPT提示工程 | 吴恩达与OpenAI官方合作的ChatGPT提示工程课程 | [Bilibili 视频](https://www.bilibili.com/video/BV1fk4y1J7Af/) | 111 | | 大模型时代的科研基础之：Prompt Engineering | 微软亚洲研究院高级研究员王晋东讲提示词工程 | [Bilibili 视频](https://www.bilibili.com/video/BV13P41197c6/) [知乎文字版](https://zhuanlan.zhihu.com/p/631922240) | 112 | 113 | # LeaderBord （社区评测榜单） 114 | ## 基础模型榜单 115 | | 榜单名🚀 | 榜单介绍💬 | 榜单详情📄 | 116 | |--------|----------|----------| 117 | | Leaderboard | LMSYS Chatbot Arena 是一个由众包方式建立的大型语言模型（LLM）评估开放平台,已经收集了超过 1,000,000 人工成对比较数据，并使用 Bradley-Terry 模型对 LLM 进行排名，并在 Elo 评分系统中显示模型评分。 | ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/5d2dff2a-a38e-4381-9a91-64a67ce238a0)
[HuggingFace🤗](https://chat.lmsys.org/?leaderboard)
[Blog🎞](https://lmsys.org/blog/2023-05-03-arena/)
[GitHub🔧](https://github.com/lm-sys/FastChat)
[DataSet📂](https://github.com/lm-sys/FastChat/blob/main/docs/dataset_release.md) | 118 | | C-Eval: A Multi-Level Multi-Discipline Chinese EvaluationSuite for Foundation Models | ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/986c9f6a-761f-4350-b719-2f08123aab09) C-Eval是全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题，分为四个难度级别。 | ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/eef91abc-fd77-4920-8701-4b93d4dfff33) ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/eb1b5d7f-9ceb-4a91-a332-f18649202170)
🌐 网站 [https://cevalbenchmark.com](https://cevalbenchmark.com) • 🤗 [Hugging Face](https://huggingface.co/datasets/ceval/ceval-exam) • ⏬ [数据](https://github.com/hkust-nlp/ceval/blob/main/README_zh.md#%E6%95%B0%E6%8D%AE) • 📃 [论文](https://arxiv.org/abs/2305.08322) 📖 [教程](https://github.com/hkust-nlp/ceval/blob/main/resources/tutorial.md)| 119 | 120 | ## 多模态榜单 121 | | 榜单名🚀 | 榜单介绍💬 | 榜单详情📄 | 122 | |----------|-------------|------------| 123 | | OpenCompass 多模态评测月度榜单 | 展示了不同多模态模型在各项多模态评测基准上的性能，以平均分的降序排序。目前榜单基于以下 8 个数据集进行平均分计算：MMBench v1.1 (中英测试集), MMStar, MMMU (验证集), MathVista (迷你测试集), HallusionBench, AI2D (测试集), OCRBench, MMVet。
本榜单目前仅包含开源模型或是公众可访问的 API 模型。如果你想在榜单上添加新模型，并确认它符合条件，请在 VLMEvalKit 中提交 PR 以支持新模型，我们会随后完成评测与榜单更新。 | ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/c2cffc4e-283c-4d68-8345-dffe3b57b34d)
🌐 [官方网站](https://opencompass.org.cn/) · 📖 [数据集社区](https://hub.opencompass.org.cn/home) · 📊 [性能榜单](https://rank.opencompass.org.cn/home) · 📘 [文档教程](https://opencompass.readthedocs.io/zh_CN/latest/index.html) · 🛠️ [安装](https://opencompass.readthedocs.io/zh_CN/latest/get_started/installation.html) | 124 | | OpenVLM Leaderboard | 这个排行榜上分享了通过VLMEvalKit开源框架获得的VLM的评估结果 | ![image](https://github.com/2575044704/LLM-Ceping/assets/19410065/ca28c2d9-c911-4cea-8bac-28df74314f32)
[https://huggingface.co/spaces/opencompass/open_vlm_leaderboard](https://huggingface.co/spaces/opencompass/open_vlm_leaderboard) | 125 | 126 | 127 | ## Star History 128 | 129 | 130 | 131 | 132 | 133 | Star History Chart 134 | 135 | 136 | -------------------------------------------------------------------------------- /images/AI.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/AI.png -------------------------------------------------------------------------------- /images/AI_Ceping_Logo.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/AI_Ceping_Logo.jpg -------------------------------------------------------------------------------- /images/Tutorials/1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/1.png -------------------------------------------------------------------------------- /images/Tutorials/2-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/2-1.png -------------------------------------------------------------------------------- /images/Tutorials/2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/2.png -------------------------------------------------------------------------------- /images/Tutorials/3-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/3-1.png -------------------------------------------------------------------------------- /images/Tutorials/3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/3.png -------------------------------------------------------------------------------- /images/Tutorials/4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/4.png -------------------------------------------------------------------------------- /images/Tutorials/5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/5.png -------------------------------------------------------------------------------- /images/Tutorials/6.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/6.png -------------------------------------------------------------------------------- /images/Tutorials/7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/7.png -------------------------------------------------------------------------------- /images/Tutorials/8.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/Tutorials/8.png -------------------------------------------------------------------------------- /images/WeChat_Official_ accounts.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/WeChat_Official_ accounts.png -------------------------------------------------------------------------------- /images/tencentqq.svg: -------------------------------------------------------------------------------- 1 | Tencent QQ -------------------------------------------------------------------------------- /images/tutorial.mp4: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/AI-Ceping/LLM-Ceping/43e0a1be4f3a9e9bf527c154077a9f822cb0173d/images/tutorial.mp4 --------------------------------------------------------------------------------