dinglizhong/MYLLM

丁立中的大模型算法工程作品集。聚焦 LLM / VLM 全链路的复现与优化，涵盖：① 预训练与微调（Pretrain / SFT / MoE / 多模态对齐）；② 强化学习对齐（PPO / GRPO / DAPO，含多奖励函数与 GAE）；③ 知识蒸馏（离线 KL 蒸馏、在线策略蒸馏、跨 Tokenizer 蒸馏、Embedding 蒸馏）；④ 前沿架构复现（DeepSeek MLA/MTP、Kimi Attention Residual、S1 Test-Time Scaling）；⑤ 工程应用（RAG、MCP 深度研究 Agent、PDF2Markdown、LLM 工具调用）。全部基于 PyTorch + Transformers 从零实现，支持 DeepSpeed 分布式训练与 BF16

语言：Jupyter Notebook · GitHub 星标：18 · Fork：1

在 GitHub 上查看原仓库