Lekce 04 · 16 min čtení

Neuronka (forward pass)

Co se děje, když vektor projde jednou vrstvou. Lineární vrstva, softmax, předpověď dalšího tokenu.

Úvod

Máme slova jako vektory. Teď s nimi konečně něco spočítáme. Cíl je pořád stejný jako od první lekce: vzít kontext a odhadnout, jaký token přijde dál. Jen už to nebudeme dělat tabulkou, ale neuronovou sítí.

To slovo zní jako něco z mozku nebo ze sci-fi. Ve skutečnosti je „neuronová síť" jen hromada násobení a sčítání, plus jedna funkce navrch. V téhle lekci si projdeme forward pass: cestu od vstupního vektoru k pravděpodobnosti dalšího tokenu. Žádné učení zatím, jen průchod dat sítí. Učení necháme na příště.

Jeden neuron

Začneme tím nejmenším kouskem. Neuron dostane na vstupu pár čísel, každé vynásobí svojí váhou, sečte to a přičte jedno číslo navíc zvané bias. To je celé.

Řekněme, že vstup popisuje kontext třemi čísly: kolik je v něm „pití", „vojny" a „postav". Neuron, který hlídá token pivo, bude mít velkou váhu u „pití" a skoro nulovou u „vojny". Když pak dostane kontext plný piva, jeho výstup vyletí nahoru.

$$\text{výstup} = w_1 x_1 + w_2 x_2 + w_3 x_3 + b$$

Tomu výslednému číslu se říká logit. Je to zatím syrové skóre, ne pravděpodobnost. Může být klidně záporné nebo větší než jedna. Pravděpodobnost z něj uděláme až za chvíli.

Vrstva je jen matice

Jeden neuron předpovídá jeden token. My ale chceme skóre pro všechny kandidáty naráz: pivo, hospoda, regiment, Švejk. Takže neuronů postavíme vedle sebe víc, každý se svojí řádkou vah. A z řádek vah se stane matice.

Spočítat všechny logity najednou pak není nic jiného než maticové násobení: matice vah $W$ krát vstupní vektor $x$, plus vektor biasů $b$.

$$\text{logity} = W x + b$$

Nelekej se toho zápisu. Maticové násobení tady znamená přesně tohle: vezmi každou řádku matice, vynásob ji po složkách se vstupem, sečti. Jeden řádek, jeden logit. Čtyři řádky, čtyři logity. To je všechno, co se v „lineární vrstvě" děje.

Zkus si to. Posouvej vstupní signály a sleduj, jak řádky vah převedou kontext na logity a jak se z nich pak stanou pravděpodobnosti:

Když přidáš „pití", vyletí pivo a hospoda. Když přidáš „vojnu", začne vyhrávat regiment. Ty váhy jsem nastavil ručně, aby to dávalo smysl, ale v reálném modelu přesně tahle čísla model najde sám trénováním. O tom je příští lekce.

Softmax: z logitů pravděpodobnosti

Logity jsou syrová skóre. Můžou být záporná, různě velká, nedají se sečíst na jedničku. Potřebujeme z nich udělat pravděpodobnosti: samá kladná čísla, co dohromady dají 1. Od toho je tu softmax.

$$\text{softmax}(z)_i = \frac{e^{z_i}}{\sum_j e^{z_j}}$$

Slovy: každý logit pošli přes $e^x$ (čímž se stane kladným a větší rozdíly se ještě zvýrazní), a pak vyděl součtem všech, aby to dohromady dalo jedničku. Logit, který byl největší, dostane největší kus pravděpodobnosti.

V kódu

Pojďme celý forward pass napsat ručně, bez numpy, ať je vidět, že na maticovém násobení není nic magického. Vstup, váhy, logity, softmax, předpověď. Klikni Run.

python · pyodide

Načíst & spustitResetCopy

import math # Vstupní vektor (kontext): [pití, vojna, postava] x = [0.8, 0.2, 0.4] # Váhová matice W: jeden řádek = jeden kandidát na další token # pití vojna postava W = [ [ 2.0, -0.5, 0.0], # pivo [ 1.6, -0.3, 0.4], # hospoda [-0.5, 2.0, 0.3], # regiment [ 0.3, 0.4, 1.8], # švejk ] b = [0.2, 0.1, 0.1, 0.3] # bias pro každý token tokens = ["pivo", "hospoda", "regiment", "švejk"] # 1) Lineární vrstva: logit = řádek vah krát vstup, plus bias. # (Tohle je maticové násobení, ručně.) def linear(W, x, b): out = [] for row, bias in zip(W, b): s = sum(w * xi for w, xi in zip(row, x)) out.append(s + bias) return out # 2) Softmax: z logitů udělej pravděpodobnosti (kladné, součet = 1) def softmax(logits): m = max(logits) # odečtení maxima = numerická stabilita exps = [math.exp(l - m) for l in logits] s = sum(exps) return [e / s for e in exps] logits = linear(W, x, b) probs = softmax(logits) for tok, lo, p in zip(tokens, logits, probs): print(f"{tok:9} logit={lo:+.2f} p={p:6.1%}") best = tokens[probs.index(max(probs))] print(f"\nKontrola součtu pravděpodobností: {sum(probs):.3f}") print(f"Nejpravděpodobnější další token: {best}")

Zkus změnit vstup x. Dej „vojnu" nahoru (x = [0.1, 0.9, 0.3]) a pusť to znovu. Uvidíš, že favorit přeskočí na regiment. Přesně to dělá síť pořád dokola: vezme kontext, prožene ho vrstvou, vyplivne rozdělení nad tokeny.

Cvičení

Shrnutí

• Neuron = vynásob vstupy vahami, sečti, přičti bias. Výsledek je logit, syrové skóre.
• Vrstva je jen víc neuronů vedle sebe, takže celý výpočet je maticové násobení $Wx + b$. Jeden řádek vah, jeden logit.
• Softmax převede logity na pravděpodobnosti: samá kladná čísla se součtem 1. $\text{softmax}(z)_i = \frac{e^{z_i}}{\sum_j e^{z_j}}$.
• Celé dohromady je forward pass: kontext jde dovnitř, rozdělení nad tokeny jde ven.
• Váhy jsme tu nastavili ručně. V reálu si je model najde sám.

Co bude příště

Pořád jsme jen prohnali čísla sítí. Funguje to jen proto, že jsem váhy ručně nastavil, aby to dávalo smysl. To je ale podvod. V reálu nikdo neví, jaké váhy napsat, a u milionů čísel by to ani nešlo.

V Lekci 5 (Učení) přijde to nejdůležitější: jak síť ty správné váhy najde sama. Začne s náhodnými čísly, podívá se, jak moc se spletla, a kousek po kousku se posune správným směrem. Říká se tomu gradient descent a je to motor, který roztáčí celou dnešní AI.