專利師 115 年計算機結構考古題

我們在電腦A 上執行一個LLM 推論任務需時25 秒，工作頻率為2 GHz。 若要在電腦B 上只用70%的時間完成推論，並且電腦B 的架構調整後 導致該推論所需要的時鐘週期數是A 的1.3 倍，功耗則是A 的1.2 倍： ㈠電腦B 應具備多少工作頻率才能達到目標？（15 分） ㈡電腦B 執行該LLM 推論所消耗的能量為電腦A 的多少倍？（10 分）

CPI 與LLM 運算的指令集效能： ㈠CPI（cycles per instruction）是如何計算而來？（10 分） ㈡有那些因素會影響LLM 的訓練及運算過程的CPI？（15 分）

LLM 在一個管線化（pipelining）的CPU 裡執行： ㈠何謂pipelining？（5 分） ㈡有那些因素會影響LLM 在這CPU 的管線裡的執行效能？（10 分） ㈢在一個有10-stage pipeline 的高效能處理器裡執行LLM 的訓練。若有 10%的指令產生hazard，每個hazard 需多2 個clock cycles，則該程式 的CPI 值為何？（10 分）

LLM 與記憶體階層元件（DRAM, ROM, flash memory, cache memory, hard disk）： ㈠在LLM 的運算中，那一種記憶體裝置最接近CPU？（5 分） ㈡那些記憶體在斷電後仍能保存原來的資料？（10 分） ㈢LLM 裡的某個矩陣運算在電腦A 上執行，若cache miss rate = 0 時 CPI = 1.5。當cache miss rate = 8%，miss penalty = 20 clock cycles，則 該矩陣運算的CPI 值為何？（10 分）