Lekce 07 · 20 min čtení

Self-attention

Jak nechat každé slovo podívat se na ostatní a vzít si od nich, co potřebuje. Query, Key, Value a scaled dot-product attention.

Úvod

Tahle lekce je ta nejdůležitější v celém kurzu. Self-attention je nápad, na kterém stojí každý dnešní velký model. Vezmeme si na něj víc času a víc příkladů než na cokoliv dosud. Když ti něco nebude dávat smysl napoprvé, je to normální. Mně to trvalo dlouho.

Začnu příkladem mimo AI. Sedíš v hospodě a kolem tebe běží tři konverzace naráz. Tvůj mozek nedává všem stejnou pozornost. Když někdo o dva stoly dál řekne tvoje jméno, okamžitě se naladíš tam. Když padne slovo, které tě zajímá, ucho se otočí. Filtruješ šum a soustředíš se na to, co je teď relevantní.

Přesně tohle dělá self-attention. Každé slovo ve větě se rozhlédne po ostatních slovech a vytáhne si od nich informaci, kterou zrovna potřebuje. A je úplně jedno, jestli to relevantní slovo stojí hned vedle, nebo o dvacet slov dál.

Proč to vůbec chceme

Vzpomeň si na náš bigram. Ten viděl vždycky jen jedno slovo dozadu. „Pan Švejk řekl poslušně" zvládl, ale o větu dál ztratil nit. Problém je, že jazyk je plný vztahů na dálku.

Ve větě „Švejk, kterého rytmistr den předtím seřval, se spokojeně usmál" patří „usmál se" ke „Švejk", ne k „rytmistr". Ta dvě slova dělí půl věty. Bigram nemá šanci. Potřebujeme mechanismus, který nechá „usmál" sáhnout přes celou větu zpátky ke „Švejk". A to je attention.

Tři role: Query, Key, Value

Tady je celý trik. Každé slovo dostane tři různé vektory, každý hraje jinou roli. Drž se téhle hospodské analogie, fakt to pomáhá:

• Query (dotaz): co dané slovo zrovna hledá. Jako bys do místnosti zakřičel „kdo tu mluví o pivu?".
• Key (klíč): co dané slovo nabízí, čím se ohlašuje. Jako cedulka na čele „já jsem o pivu".
• Value (hodnota): co slovo skutečně předá dál, když si ho někdo vybere. Vlastní obsah, který přispěje.

Query, Key i Value vzniknou z embeddingu slova, každý přes svoji váhovou matici (ty se model naučí). Pro nás teď stačí: každé slovo má dotaz, klíč a hodnotu.

Skóre: kdo se ke komu hodí

Jak slovo pozná, na koho se má dívat? Porovná svůj dotaz s klíčem každého slova. A porovnání dvou vektorů už umíme z lekce 3: skalární součin. Čím víc si dotaz a klíč sednou, tím vyšší skóre.

$$\text{skóre}(i, j) = \frac{Q_i \cdot K_j}{\sqrt{d}}$$

To dělení $\sqrt{d}$ (kde $d$ je délka vektorů) je jen technická pojistka. Když jsou vektory dlouhé, skalární součiny vycházejí velké a softmax by z nich udělal moc ostré špičky, se kterými se pak špatně trénuje. Vydělením to zkrotíme. Ber to jako hlasitost staženou na rozumnou úroveň.

Skóre pak proženeme softmaxem (taky z lekce 4), zvlášť pro každé slovo. Tím dostaneme váhy pozornosti: kladná čísla se součtem 1, která říkají, jak moc se dané slovo dívá na každé jiné.

Tady je to naživo. Klikni na řádek (na slovo, které model zrovna zpracovává) a koukni, kam se dívá. Zkus i kauzální masku:

Všimni si, jak to dává smysl. Sloveso vypil se dívá na svůj podmět i předmět (pan, švejk, pivo). Předmět pivo se dívá zpátky na sloveso vypil. Předložka v se lepí na hospodě. Nikdo to slovu neřekl, vyplývá to ze shody dotazů a klíčů.

Výstup: vážený mix hodnot

Váhy pozornosti zatím jen říkají, kam se dívat. Co s tím? Vezmeme hodnoty (Value) všech slov a uděláme jejich vážený průměr podle těch vah. Slovo, na které se hodně díváme, přispěje do výsledku hodně. Slovo, které ignorujeme, skoro vůbec.

$$\text{výstup}_i = \sum_j \text{váha}(i, j) \cdot V_j$$

A to je celá self-attention pohromadě:

$$\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d}}\right) V$$

Každé slovo si tím přimíchá do své reprezentace informaci z relevantních slov v kontextu. vypil po průchodu attention „ví", kdo pil a co. Přesně ten vztah na dálku, který bigramu chyběl.

V kódu

Napíšeme celou scaled dot-product attention v numpy. Pár řádků, ale je v nich schovaná půlka moderní AI. Pro názornost dáme jako hodnoty (V) jednotkovou matici, takže výstup rovnou ukáže, z koho se každé slovo namíchalo.

python · pyodide

Načíst & spustitResetCopy

import numpy as np tokens = ["pan", "švejk", "vypil", "pivo", "v", "hospodě"] # Ručně nastavené Q (co slovo hledá) a K (co nabízí). # Dimenze = [osoba, pití, místo, sloveso]. Q = np.array([ [0,0,0,0], # pan [0,0,0,3], # švejk -> hledá sloveso [3,3,0,0], # vypil -> hledá osobu + pití [0,0,0,3], # pivo -> hledá sloveso [0,0,3,0], # v -> hledá místo [0,0,0,0], # hospodě ], dtype=float) K = np.array([ [3,0,0,0], # pan = osoba [3,0,0,0], # švejk = osoba [0,0,0,3], # vypil = sloveso [0,3,0,0], # pivo = pití [0,0,1,0], # v [0,0,3,0], # hospodě = místo ], dtype=float) V = np.eye(len(tokens)) # hodnota = identita, ať vidíme čistý mix def softmax(z): z = z - z.max(axis=1, keepdims=True) e = np.exp(z) return e / e.sum(axis=1, keepdims=True) d = Q.shape[1] scores = Q @ K.T / np.sqrt(d) # skóre = Q·K, škálované weights = softmax(scores) # po řádcích: kam se každé slovo dívá out = weights @ V # vážený mix hodnot i = tokens.index("vypil") print("Kam se dívá 'vypil':") order = np.argsort(-weights[i]) for j in order: if weights[i][j] > 0.05: print(f" {tokens[j]:9} {weights[i][j]:.0%}")

Zkus si vybrat jiné slovo (změň "vypil" třeba na "v" nebo "pivo") a koukni, na co se dívá. Tahle jedna funkce, softmax(Q @ K.T / sqrt(d)) @ V, je doslova jádro transformeru. Zbytek architektury jsou už jen chytré obaly kolem ní.

Cvičení

Shrnutí

• Self-attention nechá každé slovo podívat se na ostatní a vzít si od nich relevantní informaci, i přes velkou vzdálenost ve větě.
• Každé slovo má tři vektory: Query (co hledám), Key (co nabízím), Value (co předám dál).
• Skóre = skalární součin dotazu a klíče, vydělený $\sqrt{d}$. Softmax z něj udělá váhy pozornosti se součtem 1.
• Výstup slova je vážený průměr hodnot ostatních slov podle těch vah.
• Celé naráz: $\text{softmax}\!\left(\frac{QK^\top}{\sqrt{d}}\right)V$.
• Kauzální maska zakáže koukat dopředu, což je nutné pro generování.

Co bude příště

Jedna attention je jeden úhel pohledu. Jenže ve větě běží víc vztahů zároveň: kdo s kým, co kde, kdy. Jedna hlava pozornosti to všechno naráz neuhlídá.

V Lekci 8 (Multi-head + poziční kódování) pustíme na větu víc hlav pozornosti naráz, každou se svým úhlem pohledu, a jejich výstupy slepíme. A vyřešíme jeden tichý problém, kterého sis možná všiml: attention sama o sobě vůbec neví, v jakém pořadí slova jdou. To opravíme pozičním kódováním.