Lekce 01 · 12 min čtení

Co je jazykový model?

Bigramy nad Švejkem, pravděpodobnost dalšího slova, první intuice.

Úvod

Jazykový model je program, který si tipuje, jaké slovo přijde v textu jako další. To je celé. Není v tom (zatím) žádná magie, žádné porozumění, žádné vědomí — jen statistika tipovaná velmi dobře.

Moderní LLM — ten, co ti dopisuje maily, kód i výmluvy — je v jádru přesně to samé, co budeme stavět dnes. Jen má kontext mnohem delší než jedno slovo a tabulku pravděpodobností mnohem větší. Princip zůstává — kouknout na dosavadní text, spočítat, co je nejpravděpodobnější příští token, vybrat. Opakovat.

V téhle lekci si na tom postavíme intuici nad Osudy dobrého vojáka Švejka. Když nám náš model vygeneruje:

„Pan Švejk se vrátil do hospody U Kalicha."

…tak je to triumf. Když vygeneruje:

„Pan se Švejk hospody U vrátil."

…tak je to taky zajímavé, jen to chce ještě trochu práce.

Hlavní koncept: bigram

Začneme s nejjednodušším možným modelem: bigram. To slovo znamená dvojici — „bi" jako dvě, „gram" jako jednotka. Bigramový model si pamatuje, jaká dvojice slov se v textu vyskytuje a jak často.

Když mu dáš slovo pan, koukne se do svojí tabulky, najde řádek pan a vidí: „po pan přijde nejčastěji Švejk, pak Lukáš, pak rytmistr..." Vybere si podle pravděpodobnosti a pokračuje dál.

Klikni si na různá slova nahoře a koukni, jak vypadají přechody. Všimni si dvou věcí:

1. poslušně má v podstatě jen jednoho následovníka. Pokud jsi někdy četl Švejka, víš proč. Pokud ne — užiješ si to.
2. pan je velmi predikovatelné: pět nejčastějších slov pokrývá 76 % všech výskytů. Naproti tomu to je rozházenější — i pět top slov pokryje jen dvě třetiny.

To je důležitý insight: některá slova jsou prediktivnější než jiná. „poslušně" má entropii skoro nulovou. „to" je entropický chaos. Dobrý model si toho všímá. (O entropii víc později, zatím to ber jako „míru překvapení".)

Matika (krátká, slibujeme)

Bigramový model je vlastně jen tabulka podmíněných pravděpodobností. Chceme spočítat:

$$P(\text{další slovo} \mid \text{předchozí slovo})$$

Čteme to jako „pravděpodobnost dalšího slova za podmínky, že předchozí slovo bylo nějaké konkrétní". Spočítáme to z dat takhle:

$$P(w_2 \mid w_1) = \frac{\text{count}(w_1, w_2)}{\text{count}(w_1)}$$

Slovy: spočítej, kolikrát se v korpusu objevila dvojice (w_1, w_2), a vyděl tím, kolikrát se objevilo samotné w_1. Hotovo.

Příklad. Řekněme, že v korpusu se pan objevilo 1000×, a z toho po pan následovalo Švejk 320×. Pak:

$$P(\text{Švejk} \mid \text{pan}) = \frac{320}{1000} = 0{,}32$$

Tedy 32% šance, že po pan přijde Švejk. (Což zhruba sedí s tím, co vidíš v exploreru nahoře.)

V kódu

Pojďme to napsat. Klikni Run — Pyodide se načítá ~10 sekund první spuštění, pak je rychlý.

python · pyodide

Načíst & spustitResetCopy

from collections import Counter, defaultdict import re # Mini-korpus: pár vět od Haška (později nahradíme celým textem) text = """ Pan Švejk se vrátil do hospody. Pan Lukáš čekal v hospodě. Pan Švejk řekl: poslušně hlásím, pane nadporučíku. Pan Lukáš odpověděl: Švejku, vy jste idiot. Pan Švejk řekl: poslušně hlásím, pane nadporučíku, ano jsem. """ # 1) Tokenizace — nakrájíme text na slova (zatím jednoduše regexem) tokens = re.findall(r"\w+", text.lower()) print(f"Počet tokenů: {len(tokens)}") print(f"Prvních 10: {tokens[:10]}") # 2) Spočítáme bigramy bigrams = Counter(zip(tokens, tokens[1:])) unigrams = Counter(tokens) # 3) Podmíněná pravděpodobnost P(w2 | w1) def p_next(w1, w2): if unigrams[w1] == 0: return 0.0 return bigrams[(w1, w2)] / unigrams[w1] print() print(f"P(švejk | pan) = {p_next('pan', 'švejk'):.2f}") print(f"P(lukáš | pan) = {p_next('pan', 'lukáš'):.2f}") print(f"P(hlásím | poslušně) = {p_next('poslušně', 'hlásím'):.2f}")

Tři věci, co se tu staly:

• Tokenizace přes regex — \w+ posbírá všechno, co vypadá jako slovo (písmena + čísla, žádná interpunkce). Hrubě, ale stačí. V příští lekci uvidíš, proč je tokenizace celá samostatná věda.
• Counter(zip(tokens, tokens[1:])) — zip posunutý o jedna vytvoří dvojice sousedních slov. Counter je spočítá. Tři řádky, kompletní bigramový statistický základ.
• p_next dělí: počet dvojic / počet prvních slov. Přesně ten vzorec z předchozí sekce.

Generování

Když máme pravděpodobnosti, můžeme i generovat text — vezmi startovní slovo, zvol další podle pravděpodobnosti, opakuj.

python · pyodide

Načíst & spustitResetCopy

import random from collections import Counter, defaultdict import re text = """ Pan Švejk se vrátil do hospody. Pan Lukáš čekal v hospodě. Pan Švejk řekl: poslušně hlásím, pane nadporučíku. Pan Lukáš odpověděl: Švejku, vy jste idiot. Pan Švejk řekl: poslušně hlásím, pane nadporučíku, ano jsem. Švejk se usmál a šel pro pivo. """ tokens = re.findall(r"\w+", text.lower()) bigrams = defaultdict(Counter) for w1, w2 in zip(tokens, tokens[1:]): bigrams[w1][w2] += 1 def sample_next(w1): options = bigrams[w1] if not options: return None words, counts = zip(*options.items()) return random.choices(words, weights=counts, k=1)[0] # Vygeneruj 15 slov začínaje od "pan" random.seed(42) # pro reprodukovatelnost word = "pan" out = [word] for _ in range(14): word = sample_next(word) if word is None: break out.append(word) print(" ".join(out))

Spusť to víckrát s jinými seedy (změň 42 na 0, 1, 7...) a koukni, co ti to vygeneruje. Bude to znít jako Švejk, jen s rapidně klesající soudržností po prvních pár slovech. Což dává smysl — model si pamatuje jen jedno slovo nazpátek. „Pan Švejk řekl poslušně hlásím" je super, ale jakmile začne odbočovat, ztratil thread.

Cvičení

Shrnutí

• Jazykový model = předpovídá další slovo. Žádné porozumění, jen pravděpodobnost.
• Bigram je nejjednodušší varianta — kouká na předchozí slovo a vybírá podle tabulky.
• Tu tabulku spočteš z dat: $P(w_2 \mid w_1) = \text{count}(w_1, w_2) / \text{count}(w_1)$.
• Generování je sampling z té tabulky, opakovaně.
• Po pár slovech to ztratí soudržnost — protože model si pamatuje jen jedno slovo zpátky. To není bug, to je fundamentální limit bigramu.

Co bude příště

Jak vidíš, regex tokenizace funguje, ale je hloupá. „Švejk", „Švejka", „Švejkovi" pro ni jsou tři úplně různá slova, mezi kterými nemá žádnou souvislost. A nepokrývá ani interpunkci.

V Lekci 2 — Tokenizace si ukážeme BPE (byte-pair encoding) — chytrý algoritmus, který dokáže rozdělit Švejkovi na Švejk + ovi a propojit tak různé formy stejného slova. Je to ten samý algoritmus, co používá většina moderních LLM.