LLM-from-scratch

Transformer、GPT2、BERT pre-training and fine-tuning from scratch

Notebooks provides model building, pre-training, and fine-tuning code.

Printing logs to output data dimension information helps understand the above process,check the blogs below.

运行环境：Google Colab

LLM-from-scratch-1.图解tokenization

LLM-from-scratch-2.图解Word2vec

LLM-from-scratch-3.图解Transformer（一）

LLM-from-scratch-4.图解Transformer（二）

LLM-from-scratch-5.图解注意力机制

LLM-from-scratch-6.从零实现Transformer翻译模型

LLM-from-scratch-7.图解GPT2

LLM-from-scratch-8.从零实现GPT2预训练

LLM-from-scratch-9.从零实现GPT2指令微调

LLM-from-scratch-10.从零实现GPT2 RLHF

LLM-from-scratch-11.从零实现GPT2任务微调

LLM-from-scratch-12.图解Bert

LLM-from-scratch-13.从零实现Bert预训练

LLM-from-scratch-14.从零实现Bert微调

LLM-from-scratch-15.大模型运行原理总结

LLM-from-scratch-16.大模型微调汇总

LLM-from-scratch-17.大模型应用之文本分类

LLM-from-scratch-18.大模型应用之情感分析

LLM-from-scratch-19.大模型应用之聊天机器人

LLM-from-scratch-20.大模型应用之LangChain重新教你做聊天机器人

LLM-from-scratch-21.大模型应用之检索增强生成RAG

LLM-from-scratch-22.大模型应用之微调实践

LLM-from-scratch-23.大模型应用之给聊天机器人加个耳朵和嘴巴

LLM-from-scratch-24.大模型应用之Agent

LLM-from-scratch-25.开源大模型汇总