Lekce 05 · 16 min čtení

Učení (gradient descent)

Jak si síť najde svoje váhy sama. Loss, gradient, learning rate a sjíždění z kopce.

Úvod

V minulé lekci jsme prohnali kontext sítí a vypadla z toho předpověď. Fungovalo to ale jen proto, že jsem váhy nastavil ručně, aby dávaly smysl. To je podvod. V reálu má model miliony vah a nikdo netuší, jaká čísla tam napsat.

Tahle lekce je o tom, jak si síť ta čísla najde sama. Princip je překvapivě lidský: zkus to, koukni, jak moc ses spletl, a posuň se kousek tím správným směrem. A pak znovu. A znovu. Tomu postupu se říká gradient descent a roztáčí prakticky celou dnešní AI.

Loss: jak moc se model plete

Aby se model mohl zlepšovat, musí nejdřív vědět, jak moc je špatný. Od toho je loss (česky chyba): jedno číslo, které říká, jak daleko jsou předpovědi modelu od pravdy. Velký loss = velký omyl. Loss nula = trefa.

Typicky se počítá jako průměr čtverců odchylek: vezmi rozdíl mezi tím, co model řekl, a tím, co mělo být, umocni na druhou (ať jsou kladné i záporné chyby stejně zlé) a zprůměruj.

$$\text{loss} = \frac{1}{N} \sum (\text{předpověď} - \text{pravda})^2$$

Celé učení je teď jen jeden cíl: udělej loss co nejmenší. Otázka je jak.

Gradient: kudy z kopce

Představ si loss jako kopec. Na vodorovné ose je váha, na svislé chyba. Ty stojíš někde na svahu a chceš dolů, do údolí, kde je chyba nejmenší. Jenže je mlha a vidíš jen kousek pod nohy.

Co uděláš? Nahmatáš, kterým směrem to jde nejprudčeji dolů, a uděláš krok tam. A přesně tohle ti řekne gradient: je to sklon kopce v místě, kde stojíš. Říká, kterým směrem chyba nejrychleji roste. Takže když chceš dolů, jdeš přesně opačným směrem, než ukazuje gradient.

To je celý trik. Gradient ukazuje do kopce, ty jdeš z kopce.

Jeden krok dolů

Krok se dělá takhle: vezmi váhu, spočítej v tom místě gradient a posuň se proti němu o kousek. Ten kousek řídí learning rate (rychlost učení), označuje se $\eta$:

$$w_{\text{nová}} = w - \eta \cdot \text{gradient}$$

A pak znovu, ze nové pozice. Krok za krokem se kutálíš do údolí, gradient se cestou zmenšuje (svah je u dna mírnější) a kroky se přirozeně zkracují, až se zastavíš skoro na dně.

Zkus si to. Měň learning rate a sleduj, co kulička dělá:

Pohraj si hlavně s learning rate, protože je to nejošemetnější číslo v celém učení:

• Moc malý a kulička se plíží jako hlemýžď, trénink trvá věčnost.
• Tak akorát a hezky sklouzne do dna za pár kroků.
• Moc velký a kulička přeskočí dno, vyletí na druhou stranu výš, než byla, a začne se rozhoupávat až úplně uteče. Toho se reálně bojí každý, kdo trénuje sítě.

V kódu

Pojďme model opravdu něco naučit. Máme pár bodů, u kterých zhruba platí y = 2·x, jenže model to neví. Začne s vahou 0 a sám si má číslo 2 najít, jen z dat a gradient descentu. Update váhy si napíšeme ručně. Klikni Run.

python · pyodide

Načíst & spustitResetCopy

# Data: skutečný vztah je y = 2*x, ale model ho nezná xs = [1, 2, 3, 4] ys = [2, 4, 6, 8] w = 0.0 # začneme s nulovou vahou lr = 0.02 # learning rate, velikost kroku def loss(w): # průměr čtverců odchylek předpovědi (w*x) od pravdy (y) return sum((w * x - y) ** 2 for x, y in zip(xs, ys)) / len(xs) def grad(w): # sklon loss podle w: průměr z 2*x*(w*x - y) return sum(2 * x * (w * x - y) for x, y in zip(xs, ys)) / len(xs) print(f"start: w={w:.3f} loss={loss(w):.3f}") for step in range(1, 21): g = grad(w) w = w - lr * g # MANUÁLNÍ update váhy: krok proti gradientu if step == 1 or step % 4 == 0: print(f"krok {step:2}: w={w:.3f} loss={loss(w):.3f}") print(f"\nNaučená váha: w={w:.3f} (pravda je 2.0)")

Koukni, jak loss klesá a w se plíží k dvojce. Nikdo modelu neřekl, že odpověď je 2. Jen se opakovaně díval, jak moc se plete, a posouval vahu z kopce. Tohle je celé učení v kostce. Pravá síť dělá přesně totéž, jen pro miliony vah naráz.

Cvičení

Shrnutí

• Loss je jedno číslo, jak moc se model plete. Cíl učení je udělat ho co nejmenší.
• Gradient je sklon loss: ukazuje směr, kterým chyba nejrychleji roste. Učení jde proti němu, tedy z kopce dolů.
• Krok: $w_{\text{nová}} = w - \eta \cdot \text{gradient}$. Learning rate $\eta$ řídí, jak velký ten krok je.
• Moc malý learning rate = pomalu. Moc velký = řešení uteče. Tak akorát = pěkná konvergence do dna.
• Opakuj dokola pro všechny váhy a model se naučí sám. Tohle je motor celé dnešní AI.

Co bude příště

Máme všechny dílky: tokeny, embeddingy, forward pass i učení. Čas je slepit dohromady.

V Lekci 6 (Bigram neural model) postavíme první opravdu trénovaný model. Žádné ručně nastavené váhy. Dáme mu Švejka, necháme ho hádat další token, počítat loss a sjíždět z kopce, dokud se sám nenaučí, že po slově pan často přijde Švejk. Asi 30 řádků a poprvé uvidíš trénovací smyčku v plné kráse.