Lekce 10 · 25 min čtení

Mini-GPT (finální projekt)

Slepíme všechno z kurzu do jednoho funkčního GPT, natrénujeme ho na Švejkovi a uvidíme, jak se učí psát i kde naráží na své limity.

Úvod

Tak jsme tady. Devět lekcí jsme stavěli jednotlivé dílky a teď je spojíme do kompletního GPT. Malého, ale opravdového. Dáme mu Švejka a necháme ho, ať se naučí psát. Celé to poběží v tvém prohlížeči.

A rovnou tě připravím na to, co uvidíš, protože je to poučnější než nějaká nablýskaná ukázka. Náš model bude mít pár desítek tisíc parametrů a uvidí jen jednotlivé znaky. Naučí se psát švejkovinu, ale taky narazí na svůj strop. A přesně na tom stropu pochopíš, proč musí být opravdové modely tak obří. Tohle není zklamání, tohle je ta nejdůležitější lekce celého kurzu.

Co máme v ruce

Malá inventura. Každý kousek už znáš:

• Tokenizace (lekce 2): nakrájíme text. Teď nejjednodušeji, po znacích.
• Embeddingy (lekce 3) a poziční kódování (lekce 8): znak na vektor plus informace o pozici.
• Attention a multi-head (lekce 7 a 8): každý znak se podívá po ostatních.
• Transformer blok (lekce 9): attention, feed-forward, reziduum, normalizace.
• Trénink (lekce 5 a 6): cross-entropy, gradient, krok. Pořád dokola.

Mini-GPT je tohle poskládané ve správném pořadí. Nic víc.

Mini-GPT, dílek po dílku

Cesta jednoho znaku skrz model: vezmeme posledních pár desítek znaků a chceme předpovědět ten následující.

1. Každý znak se přes embedding změní na vektor a přičte se k němu poziční kódování. Model ví, co to jsou za znaky a v jakém jsou pořadí.
2. Sekvence vektorů projde transformer blokem: znaky se přes attention podívají jeden na druhý, feed-forward to promyslí, reziduum a normalizace to drží pohromadě. (Velká GPT tu mají bloků mnoho. My pro rychlost jeden.)
3. Závěrečná vrstva převede vektor každé pozice na logity přes celý slovník.
4. Softmax z logitů udělá pravděpodobnosti dalšího znaku.

Trénujeme to stejně jako bigram v lekci 6: hádej další znak, změř cross-entropy, sjeď gradientem z kopce. Jen toho model uvnitř dělá mnohem víc.

Jak se učí psát

Tahle nahrávka je skutečný průběh tréninku našeho mini-GPT na švejkovském korpusu. Klikni spustit trénink a sleduj tři věci: jak klesá loss, jak se proměňuje generovaný text, a hlavně ten řádek opsáno doslova.

Projdi si ten oblouk pozorně, protože vypráví celý příběh učení:

• Krok 0 až 400: nejdřív šum, pak slabiky, pak se začnou rojit slova. Model pochopil, že existují mezery, samohlásky, interpunkce.
• Krok 1000 až 2500: souvislejší věty ve švejkovském duchu. A všimni si, že opsáno doslova je pořád nízko, kolem 30 znaků. To znamená, že model text z velké části skládá sám, nereprodukuje korpus.
• Krok 6000: tady pozor. Text je nejhladší, ale opsáno doslova vyletí na 124 znaků. Model přestal vymýšlet a začal recitovat trénovací text zpaměti.

Nikdo modelu neřekl jediné pravidlo češtiny. Naučil se mezery, slova, interpunkci i švejkovský tón jen z toho, že hádal další znak a sjížděl z kopce chyby. To je celé strojové učení v jedné animaci.

Opsal to, nebo vymyslel?

Tohle je jádro věci a stojí za to se u něj zastavit, protože je snadné nechat se napálit. Když ti model vyplivne hladkou švejkovskou větu, jak poznáš, jestli ji vymyslel, nebo jenom doslova opsal kus trénovacího textu?

Změříme to. Vezmeme vygenerovaný text a najdeme nejdelší souvislý úsek, který je doslova i v korpusu. Když je ten úsek krátký (pár slov), model očividně skládá něco vlastního. Když je dlouhý (celé věty), jen recituje.

A přesně tohle je rozdíl mezi učením a memorováním:

• Generalizace (učení): model se naučil obecné vzorce jazyka a skládá nové, nikdy neviděné věty. Tohle chceme.
• Memorování (overfitting): model má tolik kapacity a tak málo dat, že si rovnou zapamatuje celý korpus a přehrává ho. Vypadá to chytře, ale je to drahá vyhledávací tabulka.

Náš malý model na malém korpusu sklouzne k memorování, když ho trénuješ moc dlouho. To není chyba kódu, je to základní jev. A je to důvod, proč v kódu níž trénujeme jen do chvíle, kdy model vymýšlí, a ne dokud začne opisovat.

Celý mini-GPT v kódu

A teď to hlavní. Tady je celý mini-GPT, od korpusu po generování, ve zhruba 150 řádcích čistého numpy. Embeddingy, pozice, attention, blok, cross-entropy, ruční gradient descent i sampling. Na konci ti vypíše vygenerovaný text a změří, kolik z něj doslova opsal.

Klikni Run. Je to opravdový trénink, takže to chvíli poběží (řádově půl minuty, plus první načtení numpy). Pak uvidíš švejkovinu i důkaz, že si ji model složil sám.

python · pyodide

Načíst & spustitResetCopy

import numpy as np rng = np.random.default_rng(1) # --- Korpus: švejkovina, char-level. Větší než si model dokáže zapamatovat, --- # --- takže je nucený učit se vzorce, ne věty nazpaměť. --- text = ( "poslušně hlásím, pane nadporučíku, že je všechno v nejlepším pořádku. švejk se vrátil " "do hospody u kalicha a poručil si pivo. u vedlejšího stolu seděl rytmistr a tvářil se " "přísně. pan lukáš na švejka chvíli hleděl a potom řekl: švejku, vy jste úplný idiot. " "švejk se spokojeně usmál a odpověděl: poslušně hlásím, pane nadporučíku, že jsem. " "taky mi to už jednou říkali u odvodu a pan doktor to zapsal do papírů. v hospodě bylo " "plno a vojáci nadávali na vojnu, na regiment i na manévry. švejk klidně kouřil dýmku a " "vyprávěl historku o jednom psovi, kterého prodal jako čistokrevného, ačkoliv to byl " "obyčejný voříšek po listonošovi. lidé se smáli a objednávali další pivo. když přišel " "feldkurát katz, byl už zase opilý a hned si poručil rum. švejk mu poslušně hlásil, že " "rum bohužel došel, a tak si katz poručil aspoň griotku. válka je věc vážná, povídal " "švejk, ale člověk se nesmí nikdy dát, jinak je s ním amen. pan lukáš si zoufal, protože " "švejk bral každý rozkaz doslova a vždycky z toho vznikla nějaká patálie. jednou ho " "poslal pro cigarety a švejk se vrátil až za tři dny i s celou kapelou. poslušně hlásím, " "že rozkaz zněl přivést to nejlepší, co ve městě je, vysvětloval švejk naprosto klidně. " "rytmistr ho dal zavřít do arestu, ale švejk si tam spokojeně hvízdal a tvrdil, že je to " "lepší než na frontě. když ho zase vyslýchali, hlásil samé nesmysly tak dlouho, až se " "vyšetřujícímu důstojníkovi zatočila hlava a poslal ho pryč. tak to chodí, dodával švejk, " "když má člověk poctivý úmysl a čisté svědomí. večer si lehl na kavalec, zabručel něco o " "pivu a usnul jako po dobře vykonané práci. ráno vstával první a budil celou kasárnu " "hlasitým zpěvem o tom, jak šli vojáci do boje. baloun u toho vždycky vzdychal, protože " "měl hlad a myslel jenom na knedlíky. švejk ho utěšoval, že na vojně se člověk nají leda " "tak nadávek, ale že po válce bude všeho dost. pan lukáš mezitím psal dopisy nějaké paní " "a švejk mu je nosil na poštu, jenže pokaždé je popletl a doručil je úplně někomu jinému. " "z toho vzešlo tolik zmatků, že o tom mohla být celá kniha. švejk se přitom tvářil tak " "nevinně, že mu nikdo nemohl nic dokázat. v neděli šli do kostela a švejk při kázání " "usnul a hlasitě chrápal. na frontě potom zabloudil, převlékl se omylem do cizí uniformy " "a nechal se zajmout vlastními lidmi. když to vysvětloval, znělo to tak absurdně, že mu " "nakonec uvěřili a poslali ho zpátky k pluku. na světě je málo věcí, které se nedají " "spravit pivem a dobrou náladou, dodával švejk vždycky a poručil si další." ) chars = sorted(set(text)) V = len(chars) stoi = {c: i for i, c in enumerate(chars)} itos = {i: c for i, c in enumerate(chars)} data = np.array([stoi[c] for c in text]) T, d, B, STEPS, LR, EPS = 24, 64, 16, 1500, 3e-3, 1e-5 Hd = 4 * d def randn(*s, scale): return rng.normal(size=s) * scale P = { 'wte': randn(V, d, scale=0.02), 'wpe': randn(T, d, scale=0.02), 'ln1_g': np.ones(d), 'ln1_b': np.zeros(d), 'Wq': randn(d, d, scale=0.02), 'Wk': randn(d, d, scale=0.02), 'Wv': randn(d, d, scale=0.02), 'Wo': randn(d, d, scale=0.02), 'ln2_g': np.ones(d), 'ln2_b': np.zeros(d), 'W1': randn(d, Hd, scale=0.02), 'b1': np.zeros(Hd), 'W2': randn(Hd, d, scale=0.02), 'b2': np.zeros(d), 'lnf_g': np.ones(d), 'lnf_b': np.zeros(d), 'Wh': randn(d, V, scale=0.02), 'bh': np.zeros(V), } mask = np.triu(np.ones((T, T)), 1).astype(bool) def layernorm(x, g, b): mu = x.mean(-1, keepdims=True); xc = x - mu inv = 1.0 / np.sqrt((xc * xc).mean(-1, keepdims=True) + EPS); xn = xc * inv return xn * g + b, (xn, inv, g) def layernorm_bw(dout, cache): xn, inv, g = cache; dxn = dout * g dx = inv * (dxn - dxn.mean(-1, keepdims=True) - xn * (dxn * xn).mean(-1, keepdims=True)) return dx, (dout * xn).sum((0, 1)), dout.sum((0, 1)) def softmax(z): e = np.exp(z - z.max(-1, keepdims=True)); return e / e.sum(-1, keepdims=True) def mm_bw(x, w, dout): return dout @ w.T, np.einsum('btm,btn->mn', x, dout) def get_batch(): ix = rng.integers(0, len(data) - T - 1, size=B) return np.stack([data[i:i+T] for i in ix]), np.stack([data[i+1:i+T+1] for i in ix]) def forward(X, Y=None): c = {'X': X} h0 = P['wte'][X] + P['wpe'][np.arange(T)] x1, c['ln1'] = layernorm(h0, P['ln1_g'], P['ln1_b']) q, k, v = x1 @ P['Wq'], x1 @ P['Wk'], x1 @ P['Wv'] att = np.where(mask, -1e9, np.einsum('bid,bjd->bij', q, k) / np.sqrt(d)) p = softmax(att); o = np.einsum('bij,bjd->bid', p, v); a = o @ P['Wo'] h1 = h0 + a x2, c['ln2'] = layernorm(h1, P['ln2_g'], P['ln2_b']) z = x2 @ P['W1'] + P['b1']; zr = np.maximum(0, z); m = zr @ P['W2'] + P['b2'] h2 = h1 + m xf, c['lnf'] = layernorm(h2, P['lnf_g'], P['lnf_b']) logits = xf @ P['Wh'] + P['bh'] c.update(x1=x1, q=q, k=k, v=v, p=p, o=o, x2=x2, z=z, zr=zr, xf=xf) if Y is None: return logits, c probs = softmax(logits); n = X.shape[0] * T loss = -np.log(probs[np.arange(X.shape[0])[:, None], np.arange(T)[None, :], Y] + 1e-12).mean() c.update(probs=probs, Y=Y); return loss, c def backward(c): g = {key: np.zeros_like(val) for key, val in P.items()} X, Y, probs = c['X'], c['Y'], c['probs']; Bs = X.shape[0]; n = Bs * T dl = probs.copy(); dl[np.arange(Bs)[:, None], np.arange(T)[None, :], Y] -= 1; dl /= n g['Wh'] = np.einsum('btd,btv->dv', c['xf'], dl); g['bh'] = dl.sum((0, 1)); dxf = dl @ P['Wh'].T dh2, g['lnf_g'], g['lnf_b'] = layernorm_bw(dxf, c['lnf']) dm = dh2.copy(); dh1 = dh2.copy() dzr, g['W2'] = mm_bw(c['zr'], P['W2'], dm); g['b2'] = dm.sum((0, 1)); dz = dzr * (c['z'] > 0) dx2, g['W1'] = mm_bw(c['x2'], P['W1'], dz); g['b1'] = dz.sum((0, 1)) d_ln, g['ln2_g'], g['ln2_b'] = layernorm_bw(dx2, c['ln2']); dh1 += d_ln da = dh1.copy(); dh0 = dh1.copy(); do, g['Wo'] = mm_bw(c['o'], P['Wo'], da) dp = np.einsum('bid,bjd->bij', do, c['v']); dv = np.einsum('bij,bid->bjd', c['p'], do) datt = c['p'] * (dp - (dp * c['p']).sum(-1, keepdims=True)) / np.sqrt(d) dq = np.einsum('bij,bjd->bid', datt, c['k']); dk = np.einsum('bij,bid->bjd', datt, c['q']) dx1q, g['Wq'] = mm_bw(c['x1'], P['Wq'], dq) dx1k, g['Wk'] = mm_bw(c['x1'], P['Wk'], dk) dx1v, g['Wv'] = mm_bw(c['x1'], P['Wv'], dv) d_ln, g['ln1_g'], g['ln1_b'] = layernorm_bw(dx1q + dx1k + dx1v, c['ln1']); dh0 += d_ln g['wpe'][np.arange(T)] = dh0.sum(0); np.add.at(g['wte'], X, dh0) return g mAd = {k: np.zeros_like(v) for k, v in P.items()} vAd = {k: np.zeros_like(v) for k, v in P.items()} b1, b2 = 0.9, 0.999 def sample(n=200, temp=0.55, seed="pan švejk "): ctx = [stoi.get(ch, 0) for ch in seed]; out = list(seed) for _ in range(n): x = np.array([ctx[-T:]]) if x.shape[1] < T: x = np.pad(x, ((0, 0), (T - x.shape[1], 0))) logits, _ = forward(x) pr = softmax(logits[0, -1] / temp) nxt = rng.choice(V, p=pr); out.append(itos[nxt]); ctx.append(nxt) return ''.join(out) def longest_copied(g): best = 0 for i in range(len(g)): j = i + best + 1 while j <= len(g) and g[i:j] in text: best = j - i; j += 1 return best print("vocab:", V, " parametrů:", sum(int(np.prod(v.shape)) for v in P.values())) for step in range(1, STEPS + 1): X, Y = get_batch() loss, c = forward(X, Y); grads = backward(c) for k in P: mAd[k] = b1 * mAd[k] + (1 - b1) * grads[k] vAd[k] = b2 * vAd[k] + (1 - b2) * grads[k] ** 2 P[k] -= LR * (mAd[k] / (1 - b1 ** step)) / (np.sqrt(vAd[k] / (1 - b2 ** step)) + 1e-8) if step == 1 or step % 250 == 0: print(f"krok {step:4} loss {float(loss):.3f}") print() out = sample(220, 0.55) print("=== co mini-GPT napsal ===") print(out) print() print(f"nejdelší úsek opsaný DOSLOVA z trénovacího textu: {longest_copied(out)} znaků z {len(out)}") print("(zbytek model složil sám ze vzorců, které se naučil)")

To je ono. Celý jazykový model, od nuly, který se právě naučil psát švejkovinu. A ten poslední řádek je důkaz: pokud opsal jen pár desítek znaků z dvou stovek, zbytek opravdu složil sám. Není to vyhledávací tabulka, je to model, který se naučil vzorce.

A když mu dáme celou knihu?

Korpus v kódu výš je malý a model se ho při delším tréninku naučí nazpaměť. Co se stane, když mu místo pár vět dáme celého Švejka, všech 1,2 milionu znaků? Stáhl jsem celou knihu z Wikisource (je public domain) a natrénoval na ní ten samý model. Můžeš si ji celou přečíst i stáhnout tady.

Stane se přesně to, co od učení chceme: model úplně přestane opisovat. Z 270 vygenerovaných znaků teď bere doslova z knihy jen 16. Tak velký text si prostě nemá jak zapamatovat, takže je donucen se učit obecné vzorce. Vypadá to takhle:

pan švejk za stál poručík dub neděli musí vodu věděl … povídal, že je tak se na říkalice, a který se přemýšlí pokračoval…

Je to drsné, uznávám. Ale podívej se, co se děje: jsou to skutečná česká slova ze švejkovského světa (poručík, neděli, nemocní, pána), poskládaná do vět, které v knize nikdy nebyly. Opsaných 16 znaků z 270 je tvrdý důkaz, že model negeneruje opisováním, ale ze vzorců. Jen je na souvislý smysl moc malý: jeden blok, pár set tisíc parametrů.

A to je celé finále v kostce. Aby ten samý model skládal vzorce do smysluplných vět, musel by být mnohem, mnohem větší. Rozdíl mezi „pan švejk za stál poručík dub" a odstavcem od ChatGPT není jiný nápad. Je to měřítko.

Co se vlastně stalo

Stojí za to se zastavit. Dali jsme stroji hromadu textu a jednoduchý úkol: hádej další znak. Žádná pravidla, žádný slovník, žádná gramatika. A on se z čistě statistického tlaku naučil mezery, slova, interpunkci, větnou stavbu i Haškův tón. A skládá z toho věty, které v knize nikdy nebyly.

Přesně tohle dělá GPT-4. Vážně. Stejný úkol (hádej další token), stejná architektura (transformer bloky na sobě), stejné učení (cross-entropy a gradient descent). Všechno, co jsi v kurzu postavil, v něm je taky. Liší se jen měřítkem, přesně jak jsi viděl o kousek výš na celé knize: víc dat a větší model dělí roztomilé švejkovské blábolení od nástroje, co umí psát kód.

Cvičení

Shrnutí

• Mini-GPT je všechno z kurzu pohromadě: embeddingy a pozice, transformer blok, závěrečná vrstva na logity, softmax. Trénuje se jako bigram.
• Generuje se autoregresivně, znak po znaku.
• Rozdíl mezi generalizací a memorováním je celá hra. Měříme ho délkou doslova opsaného úseku.
• Malý model na malém korpusu sklouzne k overfittingu (memoruje). Únik je víc dat, než se vejde do paměti.
• Proto jsou opravdové modely obří. Stejný nápad jako tvůj mini-GPT, jiné měřítko.

Co bude příště

Postavil sis vlastní GPT a na vlastní oči viděl, kde naráží. Zbývá jediná, bonusová lekce, čistě na čtení.

V Lekci 11 (Co dělá GPT-4 jiné) si projdeme, co všechno se mezi naším mini-GPT a opravdovým chatbotem ještě děje: obří měřítko a data (přesně ten lék na memorování, co jsme tu odhalili), instruction tuning a RLHF.