北京/上海/杭州内推 | 字节跳动国际电商智能对话团队招聘大模型算法实习生

岗位要求

现招募在高效LLM训练与优化领域有深厚技术积累的研究者，共同探索以下核心方向：

1. 参数高效训练与微调（PEFT）：

• 开发轻量级微调技术（如LoRA、QLoRA、Prompt Tuning），优化模型可训练参数占比与显存占用；

• 研究混合精度训练、4bit量化（NF4）与分页优化器技术，实现消费级GPU上的百亿级模型训练。

2. 数据高效学习与知识激发：

• 探索小样本/零样本场景下的数据高效训练（如LIMO假设、元强化学习）；

• 构建合成数据生成框架（如代码题解、数学推理链），减少对人工标注的依赖。

3. 模型架构与训练策略创新：

• 设计动态稀疏激活架构（如MoE混合专家系统），提升模型容量与计算效率的平衡；

• 优化注意力机制（GQA、Flash Attention）、KV Cache压缩与长上下文扩展技术。

4. 分布式训练与低成本部署：

• 开发多维度并行训练框架（数据/张量/流水线并行），适配中小规模计算集群；

• 研究模型蒸馏、量化与边缘设备适配技术（如手机端部署）。

岗位要求