Artificial Intelligence Engineer

预训练算法工程师职位描述 1.设计预训练技术路线，确定数据配比、训练超参（LR schedule、batch size ramp-up、序列长度渐进策略）2.负责预训练数据工程：数据清洗（去重、PII过滤、质量分类）、tokenization、数据混合策略、课程学习3.大规模分布式训练配置与优化：3D并行策略、显存优化、通信优化4.实现长Context训练方案：RoPE扩展训练，NTK-aware插值或YaRN5.训练监控与调优：loss曲线分析、梯度异常检测、训练稳定性保障、checkpoint管理6.定期中间评测，根据评测结果调整数据配比和训练策略职位要求1.硕士及以上学历，AI/NLP/系统方向2.有完整的大模型预训练项目经验，参与过7B+模型预训练3.精通大规模分布式训练：Megatron-LM/DeepSpeed/FSDP，有64卡以上训练实操经验4.熟悉预训练数据工程：数据清洗、去重、质量过滤、tokenization、数据配比优化5.熟悉训练监控和调试：loss分析、梯度监控、训练稳定性处理6.了解长Context训练技术：RoPE扩展、NTK-aware、YaRN加分项1.有70B+模型预训练经验2.有MoE模型预训练经验3.在NeurIPS/ICML/ICLR等顶会发表过预训练相关论文