16. 12. 2025 Jak poznáme, že je AI „dobrá“? Testování a evaluace jazykových modelů

Jak se volá AI model přes API (např. v Pythonu)? Jak posílat testovací prompty? Jak ukládat odpovědi?

Ochutnávka testování:

{"questions": [{"type": "multiple-choice", "question": "V originální básni od E.A. Poea se objevuje jedno zvíře, je to:", "options": [{"a": "Netopýr"}, {"b": "Krkavec"}, {"c": "Havran"}], "answer": ["b"]}, {"type": "exact-text"

2.12.2025 AI: širší pohled, rizika a predikce

• Jak pomocí argumentace strukturovat vlastní přemýšlení o AI?

• Jaké metody se používají k predikci budoucího vývoje AI a jaké mají silné a slabé stránky?

• Jaké AI riziko je nejzávažnější, pokud bychom rozhodovali jako grantmakeři? (opět jsme upřednostnili riziko šíření znalostí o nebezpečných biologických látkách)

• Proč je predikce vývoje AI nejistá a metodicky obtížná?

• Které predikční přístupy vyvolaly největší zájem? (biological anchors, benchmarky)

18. 11. 2025 Umělá inteligence a jazykové modely

Tokenizace - jak model „čte“ text

• Seznámili jste se s tím, že AI nepracuje přímo s písmeny nebo slovy, ale s tokeny = čísly.

• Programovali jste vlastní tokenizaci po znacích (character-level) a zkoumali metodu BPE, která opakovaně spojuje nejčastější dvojice tokenů.

• Vyzkoušej si https://platform.openai.com/tokenizer

• Stáhli jsme Shakespearův text, rozdělili na trénovací a validační část, hráli si také s dalšími texty (např. z Project Gutenberg) a pozorovali  rozdíly v generovaných výstupech pro různé datasety.

• Seznámili jste se s typy datasetů, které se používají v moderním AI výzkumu:

  • Wikitext – pro unsupervised pretraining

  • Alpaca – instruction tuning

  • HH-RLHF – lidská preference pro alignment

  • GSM8K, MBPP – dataset pro matematické a programovací úlohy (reasoning)

4. 11. 2025 Trénování neuronové sítě na rozpoznávání číslic (MNIST)

Pracovali jsme v prostředí Google Colab, kde jsme trénovali neuronovou síť na klasifikaci ručně psaných číslic (dataset MNIST). Prošli jsme celým procesem strojového učení – od stažení a přípravy dat, jejich analýzy a vizualizace, přes definici a trénování modelu až po vyhodnocení výsledků. 

Vyzkoušeli jsme si menší programovací úlohy a experimenty, například úpravu modelu pro rozpoznávání jiných číslic.

„Všichni studenti úspěšně pracovali s připraveným kódem i zadanými úlohami. Náročnější se ukázala matematická část, kterou by bylo možné do budoucna zjednodušit."

„Bylo to dobře udělané, prezentace i výklad.“

  

23. 10. 2025 Matematika v učení neuronových sítí

• Opakování: neuron, multilayer perceptron.

• Zavedení loss funkce jako ukazatele chybovosti modelu.

• Praktický příklad: výpočet loss u lineární regrese na datech cen nemovitostí.

• Výpočet derivace kvadratické funkce pomocí diferenciálu → pochopení principu gradient descent.

Zajímavá otázka studentů:

• Jak vypadá graf loss funkce v prostoru s 10¹² rozměry?

Zpětná vazba:

„Líbí se mi interaktivní přístup. Hlavně to, že na věci přicházím formou malých úloh, které mě nakonec dovedou k řešení. Např. jak jsme se dostali od grafu kvadratické funkce k počítání sklonu roviny.“

7. 10. 2025 Matematika neuronových sítí 

Ŕešili jsme Booleovské funkce a jejich reprezentaci pomocí neuronů... jde o takové malé „ano–ne hry“ pro počítače a hrají roli při rozhodování neuronu.

Představ si, že máš vypínače – každý může být buď zapnutý (1) nebo vypnutý (0). Podle toho, jak jsou vypínače nastavené, funkce řekne „ano“ (1) nebo „ne“ (0).

Například:

• Pokud jsou oba vypínače zapnuté, rozsvítí se světlo  → funkce typu AND.

• Když stačí, aby byl zapnutý alespoň jeden, je to funkce OR.

• A když má být světlo jen při jednom zapnutém, je to funkce XOR.

Propojili jsme tak matematické koncepty (vektory a skalární součin) s principy umělé inteligence.

Názorně: grafické vysvětlení neuronových sítí

„Vektory znám z fyziky, ale že je potkám v umělé inteligenci, to je nečekané.“

  

23. 9. 2025 Úvod do různých perspektiv na AI – od technických a matematických základů přes inženýrské přístupy až po humanitní a společenské souvislosti.

• Matematická ochutnávka: základní lineární algebra pro perceptron.

• Inženýrská část: vysvětlení typů strojového učení; určovali jsme, jaký druh ML využívají konkrétní aplikace.

• Praktické cvičení: trénování jednoduché neuronové sítě pro rozpoznávání předmětů pomocí kamery.

• Širší perspektiva: stručná historie AI, diskuse o AGI a superinteligenci.

  

 

4. setkání 4. 11. 2025 Jak fungují velké modely typu GPT

5. setkání 18. 11. 2025 Benefity a rizika pokročilé AI

6. setkání 2. 12. 2025 Vytváření testů pro AI modely

7. setkání 16. 12. 2025 Automatické evaluace AI modelů skrze API

8. setkání 6. 1. 2026 Predikování budoucího vývoje