Lekce 03 · 14 min čtení

Embeddings

Jak dát slovům souřadnice ve významovém prostoru. Vektory, kosinová podobnost, nejbližší sousedé.

Úvod

Z minulé lekce máme tokeny. Jenže token je pořád jen číslo, ID řádku ve slovníku. Token pivo má třeba číslo 472 a token hospoda číslo 9000. A pro model jsou ta dvě čísla úplně cizí, stejně jako 472 a 473. Žádný vztah, žádná blízkost, nic. Přitom my víme, že pivo a hospoda k sobě patří.

Potřebujeme slovům dát čísla, která něco říkají o jejich významu. Ne jedno číslo, ale celý seznam čísel. Tomu seznamu se říká vektor a celému nápadu embedding: každý token dostane svůj vektor a tokeny s podobným významem budou mít podobné vektory.

To je celý trik téhle lekce. Pojďme si ho rozebrat.

Slovo jako vektor

Vektor je jen seznam čísel. [0.9, 0.1, 0.8] je vektor o třech rozměrech. Můžeš si ho představit jako souřadnice bodu v prostoru: tři čísla, tři osy, jeden bod.

A teď ten nápad: dej každému slovu souřadnice tak, aby slova s podobným významem ležela blízko sebe. pivo kousek od hospoda. regiment kousek od kasárna. A naopak pivo a regiment daleko od sebe, protože spolu nemají moc společného.

Reálné embeddingy mají stovek rozměrů, což si nikdo neumí představit. Ale princip je vidět už na dvou. Tahle mapa má jen dvě osy a každé slovo je jeden bod. Klikni na nějaké a podívej se, kdo mu leží nejblíž:

Všimni si, že se slova sama seskupila do shluků podle kontextu, ve kterém se ve Švejkovi objevují. Hospodská slova v jednom rohu, vojna v druhém, postavy ve třetím. Nikdo je tam neposadil ručně podle významu. Kdyby tyhle souřadnice vznikly z reálného textu, vznikly by z toho, jak se slova používají vedle sebe. A přesně to se v opravdovém modelu děje, jen v mnoha rozměrech najednou.

Jak změříme „blízkost"

Říkám „blízko" a „daleko", ale jak se to měří u vektorů? Nejčastější míra je kosinová podobnost. Místo vzdálenosti bodů se dívá na úhel mezi dvěma vektory (mezi šipkami z počátku do těch bodů).

Spočítá se takhle:

$$\text{cos}(A, B) = \frac{A \cdot B}{\lVert A \rVert \, \lVert B \rVert}$$

V čitateli je skalární součin (vynásob složky po dvojicích a sečti), ve jmenovateli délky obou vektorů (aby na výsledek nezáleželo, jak jsou vektory dlouhé, jen kterým směrem míří). Výsledek je číslo mezi −1 a 1:

• 1 znamená „míří stejným směrem", tedy hodně podobný význam.
• 0 znamená „kolmé na sebe", tedy nesouvisí.
• −1 znamená „přesně opačný směr".

Důležité je to, že kosinová podobnost kouká jen na směr, ne na délku. Slovo použité 1000× a slovo použité 10× můžou mířit stejným směrem a být si plně podobné, i když jejich vektory mají různou velikost.

V kódu

Pojďme to spočítat. Vezmeme pár slov, dáme jim malé ruční vektory a změříme, co je čemu podobné. Klikni Run.

python · pyodide

Načíst & spustitResetCopy

import math # Maličké ruční embeddingy. (V reálu mají stovky rozměrů a model si je najde sám.) emb = { "pivo": [0.9, 0.1, 0.8, 0.0], "hospoda": [0.8, 0.2, 0.9, 0.1], "rum": [0.85, 0.05, 0.7, 0.0], "regiment": [0.1, 0.9, 0.0, 0.8], "kasárna": [0.2, 0.85, 0.1, 0.9], "švejk": [0.45, 0.5, 0.4, 0.45], } def dot(a, b): return sum(x * y for x, y in zip(a, b)) # skalární součin def norm(a): return math.sqrt(dot(a, a)) # délka vektoru def cosine(a, b): return dot(a, b) / (norm(a) * norm(b)) # kosinová podobnost print(f"cos(pivo, hospoda) = {cosine(emb['pivo'], emb['hospoda']):.3f}") print(f"cos(pivo, regiment) = {cosine(emb['pivo'], emb['regiment']):.3f}") print() # Nejbližší soused: ke každému slovu najdi nejpodobnější jiné def nearest(word): others = [(w, cosine(emb[word], v)) for w, v in emb.items() if w != word] return max(others, key=lambda pair: pair[1]) for w in emb: nn, sim = nearest(w) print(f"{w:9} -> nejblíž '{nn}' ({sim:.3f})")

Koukni na výstup. cos(pivo, hospoda) vyjde skoro 1, protože jejich vektory míří skoro stejným směrem. cos(pivo, regiment) je o dost níž. A nejbližší soused každého slova sedí s tím, co bys čekal: pivo k hospodě, regiment ke kasárnám. Švejk leží někde mezi vším, protože se motá po celé knize.

Tohle je celé jádro vyhledávání podle významu. Když dnešní nástroj „najde podobné dokumenty" nebo „odpoví na otázku z tvých poznámek", pod kapotou často dělá přesně tohle: spočítá vektory a hledá nejbližší sousedy.

Slavný trik: počítání s významy

Když jsou slova vektory, můžeš s nimi počítat. Nejznámější příklad z angličtiny: vezmi vektor slova king, odečti man, přičti woman, a nejbližší soused výsledku je queen. Vektor jako by v sobě nesl složku „královskost" a složku „pohlaví" zvlášť, takže se s nimi dá hýbat.

Nečekej od toho zázraky, u řady dvojic to nevyjde a je v tom dost přitažené za vlasy. Ale jako ukázka, že se v těch číslech opravdu schovává kus struktury významu, je to pořád pěkné.

Cvičení

Shrnutí

• Token je jen ID. Aby model chápal význam, dáme každému tokenu vektor, což je seznam čísel neboli souřadnice bodu v prostoru.
• Slova s podobným významem mají podobné vektory a leží blízko sebe. Shluky na mapě vznikají z toho, jak se slova používají vedle sebe.
• Blízkost měříme kosinovou podobností: $\text{cos}(A,B) = \frac{A \cdot B}{\lVert A\rVert\,\lVert B\rVert}$. Výsledek je od −1 (opačné) přes 0 (nesouvisí) po 1 (stejný směr).
• Kosinová podobnost kouká na směr, ne na délku vektoru.
• Embeddingy nejsou psané ručně, model si je najde sám při trénování.

Co bude příště

Máme slova jako vektory. Teď s nimi potřebujeme něco užitečného spočítat, a od toho je tu neuronová síť.

V Lekci 4 (Neuronka, forward pass) vezmeme vektor na vstupu, prožene ho jedna vrstva čísel a na výstupu dostaneme předpověď dalšího tokenu. Uvidíš, že „vrstva neuronové sítě" je jen maticové násobení plus jedna funkce navrch. Nic, co bys nezvládl ručně na papíře. A přesně to si zkusíme.