jancll.com

Seriál · 10+1 lekcí

Jak funguje LLM

Od nuly k mini-GPT v deseti lekcích.

Pro programátory co znají Python, ale neznají AI. Hodně vizualizací, lehká matika, spustitelný kód přímo v prohlížeči, na konci každé lekce cvičení. Trénujeme na Švejkovi a na Huckleberry Finnovi — protože proč ne.

Osnova

  1. 00ÚvodCo tady budeme dělat a proč. Spoiler: na konci si postavíš vlastní mini-GPT.
  2. 01Co je jazykový model?Bigramy nad Švejkem, pravděpodobnost dalšího slova, první intuice.
  3. 02TokenizaceBPE krok za krokem.Připravujeme
  4. 03EmbeddingsSlova jako vektory.Připravujeme
  5. 04Neuronka — forward passLinear vrstva, softmax.Připravujeme
  6. 05Učení (gradient descent)Jak se model zlepšuje.Připravujeme
  7. 06Bigram neural model~30 řádků numpy, první neuronový jazykový model.Připravujeme
  8. 07Self-attentionQ/K/V vizuálně.Připravujeme
  9. 08Multi-head + poziční kódováníVíce hlav, pozice tokenů.Připravujeme
  10. 09Celý transformer blokSkládáme blok.Připravujeme
  11. 10Mini-GPT — finální projekt~150 řádků PyTorch.Připravujeme
  12. 11Co dělá GPT-4 jinéScale, RLHF, instruction tuning.Připravujeme