Lekce 06 · 15 min čtení

Bigram neural model

První opravdu trénovaný model. Forward pass, cross-entropy a gradient descent slepené v trénovací smyčce.

Úvod

Tohle je lekce, kde se to všechno spojí. Máme tokeny, embeddingy, forward pass i gradient descent. Teď je slepíme do první sítě, kterou opravdu natrénujeme. Žádné ručně nastavené váhy. Dáme jí Švejka a necháme ji, ať si pravidla najde sama.

Postavíme bigramový model, úplně stejný úkol jako v lekci 1: z jednoho slova hádej další. Tam jsme si přechody počítali do tabulky. Teď je necháme síť naučit se. A na konci uvidíš hezkou věc: vyjde jí skoro to samé, jen ne sčítáním, ale učením.

Co stavíme

Model je nejmenší možný. Na vstupu jeden token, na výstupu rozdělení nad tím, co přijde dál. Uvnitř je jen váhová matice W: pro každý token jeden řádek se skóre všech možných pokračování.

Forward pass znáš z lekce 4. Vezmi řádek matice pro aktuální token, to jsou logity, a prožeň je softmaxem na pravděpodobnosti:

$$\text{logity} = W[\text{aktuální token}], \qquad p = \text{softmax}(\text{logity})$$

To je celý model. Žádná skrytá vrstva, žádné kouzlo. Veškerá inteligence je schovaná v těch číslech v W. A ta čísla na začátku nastavíme na nuly a necháme gradient descent, ať je dotlačí, kam mají.

Nová chyba: cross-entropy

V lekci 5 jsme měřili chybu čtvercem odchylky. To je fajn na čísla, ale my teď předpovídáme pravděpodobnosti. Potřebujeme chybu, která říká „jak moc model věřil tomu, co se opravdu stalo". Od toho je cross-entropy:

$$\text{loss} = -\frac{1}{N} \sum \log p(\text{správný token})$$

Slovy: podívej se, jakou pravděpodobnost model přiřkl tokenu, který opravdu přišel, a vezmi záporný logaritmus. Když model dal správné odpovědi vysokou pravděpodobnost, logaritmus je skoro nula a chyba malá. Když ji málem vyloučil, logaritmus vystřelí a chyba je velká. Trefa do černého má loss nula.

To je přesně ten signál, který chceme minimalizovat. Zbytek je gradient descent z minulé lekce, jen ho teď pustíme na celý korpus.

Trénink běží

Tady je ten model naživo. Trénuje se přímo v prohlížeči gradient descentem. Klikni trénuj a sleduj dvě věci najednou: jak loss klesá a jak se předpověď po slově pan postupně zaostřuje z nudné placky na špičku u švejk:

Na začátku (epocha 0) jsou váhy nulové, takže model hádá úplně náhodně a všem tokenům dává stejnou pravděpodobnost. Loss startuje vysoko. Jak se učí, váhy se tvarují podle dat a rozdělení se zaostřují. Klikej i na jiné tokeny nahoře a koukni, co se model naučil po nich.

V kódu

Teď to napíšeme pořádně, s numpy. Je to celá trénovací smyčka, jakou používá úplně každá síť na světě: forward pass, loss, gradient, krok. Pořád dokola. První spuštění chvilku potrvá, protože se stahuje numpy.

python · pyodide

Načíst & spustitResetCopy

import numpy as np # Mrňavý korpus text = ("pan švejk řekl pan švejk se vrátil pan švejk pije pivo " "pan lukáš čekal pan lukáš řekl švejk pije pivo švejk se vrátil") tokens = text.split() vocab = sorted(set(tokens)) stoi = {w: i for i, w in enumerate(vocab)} V = len(vocab) # Trénovací dvojice (aktuální token -> další token) jako indexy xs = np.array([stoi[tokens[i]] for i in range(len(tokens) - 1)]) ys = np.array([stoi[tokens[i + 1]] for i in range(len(tokens) - 1)]) # Váhy: řádek = aktuální token, sloupec = skóre dalšího tokenu. Start na nule. W = np.zeros((V, V)) lr = 8.0 def softmax(z): z = z - z.max(axis=1, keepdims=True) e = np.exp(z) return e / e.sum(axis=1, keepdims=True) for step in range(1, 201): logits = W[xs] # forward: vyber řádky probs = softmax(logits) # -> pravděpodobnosti loss = -np.log(probs[np.arange(len(ys)), ys]).mean() # cross-entropy dlogits = probs.copy() # gradient lossu... dlogits[np.arange(len(ys)), ys] -= 1 # ...je probs - onehot(cíl) dlogits /= len(ys) gradW = np.zeros_like(W) np.add.at(gradW, xs, dlogits) # nasčítej do správných řádků W -= lr * gradW # krok proti gradientu (lekce 5) if step == 1 or step % 50 == 0: print(f"krok {step:3}: loss={loss:.3f}") # Co se model naučil po slově "pan"? print() row = softmax(W[[stoi["pan"]]])[0] for w in vocab: if row[stoi[w]] > 0.01: print(f" P({w} | pan) = {row[stoi[w]]:.2f}")

Aha moment

Koukni na výstup. Po pan dal model švejk zhruba 0,6 a lukáš zhruba 0,4. A teď to nejlepší: v korpusu je pan švejk třikrát a pan lukáš dvakrát. Tři ku dvěma. To je přesně 0,6 ku 0,4.

Model se sám naučil ty frekvence z dat, aniž bychom mu jednu jedinou spočítali ručně. Vyšla mu stejná tabulka jako v lekci 1, jen k ní došel gradient descentem místo počítáním. To je hezké potvrzení, že to celé funguje, jak má.

A je to taky důvod, proč nás bigram dlouho neudrží. Když se nejlíp natrénovaný model jen vrátí k počítací tabulce, nic nového se nenaučil. Pořád kouká jen jedno slovo dozadu. Skutečná síla přijde, až se model naučí koukat na celý kontext.

Cvičení

Shrnutí

• Spojili jsme všechno dohromady: token jde dovnitř, vybere řádek vah W, softmax udělá pravděpodobnosti, cross-entropy změří chybu, gradient descent posune váhy. To je trénovací smyčka.
• Cross-entropy je správná chyba pro pravděpodobnosti: $-\frac{1}{N}\sum \log p(\text{správný token})$. Trefa s jistotou = loss nula.
• Model jsme nenastavili ručně. Naučil se sám, jen z dat a sjíždění z kopce.
• Natrénovaný bigram dá skoro stejné pravděpodobnosti jako počítací tabulka z lekce 1. Učení a počítání tady vedou ke stejnému cíli.
• Bigram pořád kouká jen jedno slovo dozadu. To je jeho strop.

Co bude příště

Náš model má pořád tu samou slabinu jako v lekci 1: vidí jedno slovo a nic víc. „Pan Švejk řekl poslušně" zvládne, ale o větu dál ztratí nit.

V Lekci 7 (Self-attention) přijde nápad, který tohle rozbil a nastartoval celou éru velkých modelů: nechat každý token, ať se sám podívá na ostatní tokeny v kontextu a rozhodne se, které z nich jsou teď důležité. Je to srdce transformeru a budeme si ho rozebírat pomaleji než cokoliv dosud.