圖 1
自注意力 · 疊卡燈箱
點詞卡換提問的詞 · ← → 切換步驟
松山高中資訊科 周立德
第 1 步 · 準備中
小貓
坐在
墊子
上
因為
它
累了
W
Q
W
K
W
V
1
2
3
4
小貓
小貓
坐在
墊子
上
1
2
3
4
0
1
0
2
0
3
0
4
因為
小貓
它
0
1
2
3
4
動作
0
1
2
3
坐在
累了
墊子
0
1
2
3
3
地點
0
1
2
3
上
因為
0
1
2
3
2
狀態
0
1
2
3
1
2
3
4
坐在
小貓
坐在
墊子
上
因為
它
累了
它
0
2
4
6
8
1
誰
2
狀態
3
地點
4
動作
照度
0
墊子
上
因為
它
累了
它
累了
0
1
2
3
1
誰
0
1
2
3
÷√4 = ÷2
—
—
—
—
—
—
—
—
—
—
—
—
—
—
小貓
坐在
墊子
上
因為
它
累了
100%
分數
百分比
總量 100%
「它」的新向量
[ ]
步驟
◀
1
製作 Q/K/V
2
比對分數
3
換算成百分比
4
混合 Value
▶
提問的詞
裝上 50% 減光片(÷√4 = ÷2)
光影特效(電腦較慢時可關掉)
音效
播放動畫(系統設定「減少動態」時預設關閉)
延伸學習
原本的機制:詞語調配機
概念地圖:自注意力各概念的關係
架構圖:原本那台調配機是怎麼做出來的
直縫卡(Query):提問的詞在問什麼
橫縫卡(Key):每個詞的招牌
開窗卡(Value):每個詞真正給出去的內容
詞
橫縫卡(Key)
分數
÷2 後
百分比
真實模型是七個詞同時各自當一次提問的詞,一起做完這整套流程;這張圖一次只示範一個提問的詞,方便看清楚每一步。