Skip to content

Commit

Permalink
small update
Browse files Browse the repository at this point in the history
  • Loading branch information
ningding97 committed May 23, 2023
1 parent f13ab15 commit b823d16
Showing 1 changed file with 2 additions and 6 deletions.
8 changes: 2 additions & 6 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,20 +15,16 @@
</div>


**CPM-Bee**是一个完全开源、允许商用的百亿参数中英文基座模型,也是[**CPM-live**](https://live.openbmb.org/)训练的第二个里程碑。它采用Transformer自回归架构(auto-regressive),在超过3万亿高质量语料(3 trillion tokens)上进行预训练,拥有强大的基础能力。
## ✨ 模型介绍



## ✨ 模型特性
**CPM-Bee**是一个完全开源、允许商用的百亿参数中英文基座模型,也是[**CPM-live**](https://live.openbmb.org/)训练的第二个里程碑。它采用Transformer自回归架构(auto-regressive),在超万亿(trillion)高质量语料上进行预训练,拥有强大的基础能力。

- **👐 开源可商用**:OpenBMB始终秉承“让大模型飞入千家万户”的开源精神,CPM-Bee基座模型将完全开源并且可商用,以推动大模型领域的发展。

- **💫 中英双语性能优异**: CPM-Bee基座模型在预训练语料上进行了严格的筛选和配比,同时在中英双语上具有亮眼表现,具体可参见评测任务和结果。


- **📖 超大规模高质量语料**: CPM-Bee基座模型在超过3万亿语料(3 trillion tokens)进行训练,是开源社区内经过语料最多的模型之一。同时,我们对预训练语料进行了严格的筛选、清洗和后处理以确保质量。


- **<img src="https://i.imgloc.com/2023/05/21/V4nLS3.png" width="20px"> OpenBMB大模型系统生态支持**: OpenBMB大模型系统在高性能预训练、适配、压缩、部署、工具开发了一系列工具,CPM-Bee基座模型将配套所有的工具脚本,高效支持开发者进行进阶使用。


Expand Down

0 comments on commit b823d16

Please sign in to comment.