教材の寄贈と組み込みについて #3
Description
こんにちは。東大工学部システム創成学科Cコース4年の 本郷颯人 と申します。
Colabの無料T4環境だけで、MNISTのMLPからLLaMA3.2までのLLMをフルスクラッチ実装できる教材を開発しています。
👉 HayatoHongo/Everyones_nanoGPT
現在はLLaMA3.2まで拡張中で、以下を順次追加予定です：
- 12月末：RoPE, bf16, Flash Attention
- 1月末：RMSNorm, SiLU, KV cache, GQA
- 2月末：CLIP投影による簡易VLM (LLaVA風)
この教材は、GPUを持たない学生でも ColabだけでLLMの仕組みを実装・理解できる ように作っています。
時間をかけて丁寧に作り込みましたが、個人の発信力では広めるのに限界があります。
せっかくなら、より多くの人に使ってもらいたいという思いがあります。
提案:
「言語処理100本ノック2025」の
第10章「GPT系モデル」の発展課題やチュートリアル例として、
本教材の紹介・リンク掲載をご検討いただけないでしょうか。
📚 リポジトリ
https://github.com/HayatoHongo/Everyones_nanoGPT/tree/ja
ご検討いただけるととても嬉しいです。