Hugging Face:RedPajama-Data-1T
美国
AI CodeCode assistantDevelopment tools

Hugging Face:RedPajama-Data-1T翻译站点

开源科学,推动人工智能普及。

标签:
其他站点:预处理仓库

由Ontocord.AI,苏黎世联邦理工学院DS3Lab,斯坦福CRFM,斯坦福Hazy Research 和蒙特利尔学习算法研究所的宣布开启「红睡衣」(RedPajama)计划,旨在生成可复现、完全开放、最先进的语言模型,即从零一直开源到ChatGPT!

AI, ETH Zurich DS3Lab, Stanford CRFM, Stanford Hazy Research and the Montreal Institute for Learning Algorithms have announced the launch of the RedPajama project, which aims to generate reproducible, fully open, stateoftheart language models, i.e. open source from zero all the way to ChatGPT!

 

「红睡衣」开源计划总共包括三部分:

1. 高质量、大规模、高覆盖度的预训练数据集;

2. 在预训练数据集上训练出的基础模型;

3. 指令调优数据集和模型,比基本模型更安全、可靠。

 

完整的RedPajama-Data-1T数据集需要的存储容量为压缩后3TB,解压后5TB !

相关导航

暂无评论

暂无评论...