MNBVC(Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集。对标chatGPT训练的40T数据。MNBVC数据集不但包括主流文化，也包括各个小众文化甚至火星文的数据。

MNBVC (Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集。 对标chatGPT训练的40T数据。 MNBVC数据集不但包括主流文化，也包括各个小众文化甚至火星文的数据。 MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。 - MNBVC/dupan/README.md at main · esbatmop/MNBVC.

mnbvc数据集（nlp语料数据集）不但包括主流文化，也包括各个小众文化甚至火星文的数据。 MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。

里屋·mnbvc项目2023年年度总结和对所有参与者的感谢 LIWU： Language Intelligence and Word Understanding 里屋｜MNBVC：Massive Never-ending BT Vast Chinese corpus 超大规模中文语料集 Mailto:[email protected]

目前MNBVC数据集包含如下几类数据： 通用文本; 问答语料; 代码语料; 多轮对话; 论坛语料; 平行语料; 可以在MNBVC的wiki页面上查看这几类数据的具体格式。 项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：

2023年12月31日 · MNBVC项目于2023年1月1日正式启动，由里屋社区资深用户等战、零零发和龙骑兵的发起下，集结了广大志愿者共同参与，致力于构建一个超大规模的中文语料集。 项目的主要目的是为中文自然语言处理提供高质量的数据资源，支持中文信息技术的发展。 项目名称【MNBVC】既是里屋社区早期时使用过的一个域名，也是“ 超大规模中文语料集 ”（Massive Never-ending BT Vast Chinese corpus）的缩写。 回首过去这一年，我们从一脸茫然但是目标鉴定的 …

MNBVC-Wiki是 Massive Never-ending BT Vast Chinese corpus 超大规模中文语料集。 它诞生的初衷是MNBVC开源项目团队在中文语料库建设过程中积累了一些项目经验，希望通过wiki系统记录和分享，以帮助未来参与相关项目的开发者。

MNBVC项目通过23个月的努力，在2024年12月1日成功实现了最初看似遥不可及的目标——数据集规模达到了42.77TB，超越了40TB的目标，达到了106.9%。 这一成就标志着我们在开源中文语料集工作上的坚定承诺和不懈努力。 我们的数据集包含了0.58TB的多模态数据和42.19TB的纯文本数据。 纯文本数据部分，我们从8个不同的代码仓库收集了27.85TB的数据，这些数据不仅包括代码，还有代码仓库里的各种文档和书籍，并且特别针对中文编码做了转码和保留，为模型训练 …

项目主页： https://mnbvc.253874.net. Github 地址： https://github.com/esbatmop/MNBVC. 联系邮箱：[email protected]. 关于MNBVC. 2024年12月1日， MNBVC语料集数据量达到42778GB，完成了我们23个月前给自己定下的小目标。 start.txt · 最后更改: 2024/12/02 09:39 由 …

2024年8月9日 · MNBVC，全称Massive Never-ending BT Vast Chinese corpus，是一个由历史悠久的 MOP里屋社区 发起的开放项目。 该项目的目标是建立一个比肩ChatGPT3.5的40TB级中文语料库，目前已有超过34TB的数据，覆盖新闻、文学、社交媒体等多种类型的内容，展现了丰富的中文世界多样性。 MNBVC项目团队不仅积累了海量数据，还在数据处理方面下了大功夫。 他们提供了多种定制化工具，包括但不限于编码检测、去重、采样、格式转换等，这些工具使得处理大 …