必须搞一个！//@王小裤子:所有人都应该试着训练自己的大模型。
这个必须要试试了！
【minimind，可以自己训练的大模型】3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！#ai##科技#
• 本开源项目旨在完全从0开始，最快仅用3小时！即可训练出仅为26M大小的微型语言模型MiniMind。
• MiniMind极其轻量，体积约是 GPT3 的 1/7000，力求做到最普通的个人GPU也可快速推理甚至训练。
•MiniMind改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。
• 这是一个既是开源项目，又是入门LLM教程，同时也是一个初具雏形的开源模型，希望能起到抛砖引玉的作用。
访问：github.com/jingyaogong/minimind
ChatGPT 
黄建同学的微博视频
【minimind，可以自己训练的大模型】3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！#ai##科技#
• 本开源项目旨在完全从0开始，最快仅用3小时！即可训练出仅为26M大小的微型语言模型MiniMind。
• MiniMind极其轻量，体积约是 GPT3 的 1/7000，力求做到最普通的个人GPU也可快速推理甚至训练。
•MiniMind改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。
• 这是一个既是开源项目，又是入门LLM教程，同时也是一个初具雏形的开源模型，希望能起到抛砖引玉的作用。
访问：github.com/jingyaogong/minimind
ChatGPT 黄建同学的微博视频
