CoinCheung/gdGPT

Train llm (bloom, llama, baichuan2-7b, chatglm3-6b) with deepspeed pipeline mode. Faster than zero/zero++/fsdp.

语言：Python · GitHub 星标：98 · Fork：9

话题：baichuan2-7b · bloom · chatglm3-6b · deepspeed · flash-attention · full-finetune · llama2 · llm

在 GitHub 上查看原仓库