专栏名称: 机器学习算法与自然语言处理

一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~

《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源

机器学习算法与自然语言处理 · 公众号 · · 2024-06-27 09:00

正文

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 机器之心

自 ChatGPT 发布以来，大型语言模型（LLM）已经成为推动人工智能发展的关键技术。

近期，机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》，旨在讲解从头开始构建大型语言模型的整个过程，包括如何创建、训练和调整大型语言模型。

最近，Sebastian Raschka 在 GitHub 上开源了这本新书对应的代码库。

项目地址：https://github.com/rasbt/LLMs-from-scratch/tree/main?tab=readme-ov-file

对 LLM 来说，指令微调能够有效提升模型性能，因此各种指令微调方法陆续被提出。Sebastian Raschka 发推重点介绍了项目中关于指令微调的部分，其中讲解了：

如何将数据格式化为 1100 指令 - 响应对；
如何应用 prompt-style 模板；
如何使用掩码。

《Build a Large Language Model (From Scratch)》用清晰的文字、图表和示例解释每个阶段，从最初的设计和创建，到采用通用语料库进行预训练，一直到针对特定任务进行微调。

具体来说，新书和项目讲解了如何：

规划和编码 LLM 的所有部分；
准备适合 LLM 训练的数据集；
使用自己的数据微调 LLM；
应用指令调整方法来确保 LLM 遵循指令；
将预训练权重加载到 LLM 中。

作者介绍

个人主页：https://sebastianraschka.com/

Sebastian Raschka 是一名机器学习和人工智能研究员，曾在威斯康星大学麦迪逊分校担任统计学助理教授，专门研究深度学习和机器学习。他让关于 AI 和深度学习相关的内容更加容易获得，并教人们如何大规模利用这些技术。

此外，Sebastian 热衷于开源软件，十多年来一直是一个充满热情的开源贡献者。他提出的方法现已成功应用于 Kaggle 等机器学习竞赛。

除了编写代码，Sebastian 还喜欢写作，并撰写了畅销书《Python Machine Learning》（《Python 机器学习》）和《Machine Learning with PyTorch and ScikitLearn》。

参考链接：https://twitter.com/rasbt/status/1802327699937009807

    
       技术交流群邀请函

    
     △长按添加小助手

扫描二维码添加小助手微信

    
      请备注：
      
       姓名-学校/公司-研究方向

请到「今天看啥」查看全文

推荐文章

前端早读课 · 【早阅】始终将你的估算值乘以π

22 小时前

前端早读课 · 【招聘】字节跳动客服平台招高级前端开发工程师

昨天

前端早读课 · 【第3455期】快手主站前端工程化探索：Gundam 脚手架在新春除夕项目中的实践与展望

昨天

歸藏的AI工具箱 · 终于有给设计师用的 Cursor 了

2 天前

歸藏的AI工具箱 · 终于有给设计师用的 Cursor 了

2 天前

前端早读课 · 【第3454期】如何用语音学习编程的

2 天前

遇见漫画 · 恐怖漫画《血色疗养院》

8 年前

电商解析 · 雷士照明创始人7.8亿元股权闲鱼开拍，将用于偿还巨债

8 年前

雷科技 · 真无语！锤子坚果 Pro 发布会又跳票了，这回是 5 月 9 日！

7 年前

央视新闻 · 周知丨关于公积金、养老金有了不少新消息，值得了解

7 年前

智谷趋势 · 三四线城市的热浪还能持续多久？史上最具逻辑力量的分析

7 年前