前回に引き続き、現代の LLM の原型である GPT-2 を題材に、「テキストを入力して次の単語を予測する」推論の仕組みを、Python の実装コードを追いながら解説します。

お気軽にご参加ください。

【注意】 主催者は AI の専門家ではありません。 あまり凄いことは期待しないでください。

テキスト

【簡約版】GPT-2 推論エンジン入門（「Embedding」セクションから）

• 扱うのは推論のみで、学習は対象外です。
• 数式の厳密な導出よりも、コードと図で直感的に理解することを重視します。

参加方法

参加登録後、「参加者への情報」欄にDiscordの招待リンクが表示されます。

進め方

Discordのボイスチャットを利用します。

本文を読みながら、出て来たトピックスについて議論します。

事前にスライド等は用意しません。

スケジュール

1. 【完了】埋め込みモデルを触ってみよう
2. GPT-2 推論エンジン入門 ← 今ここ！
3. ICL（文脈内学習：In-Context Learning）
4. RAG（検索拡張生成：Retrieval-Augmented Generation）
5. LLM を制御するハーネスの初歩
6. MCP（Model Context Protocol）
7. diffusers を触ってみよう
8. 画像生成エンジン入門