教育行政 96 年教育測驗與統計考古題

名詞解釋：（每小題5 分，共20 分） 真實評量（authentic assessment） 猜是誰技術 Q 技術 Sten 分數

因為實作評量愈來愈受到重視，其信效度議題也益顯得重要。底下幾個小題是關於 評分者間信度係數計算的問題，請根據題意回答。 如果某小學舉辦美術寫生比賽，有10 名學生參賽，該校邀請了2 位知名的繪畫 專家擔任評審，評定的成績結果如下表。根據這樣的資料要用什麼樣的方法來計 算評分者間的信度係數？（5 分） 得 分 學生 第一位評審 第二位評審 A 85 82 B 57 52 C 78 88 D 64 78 E 92 85 F 45 68 G 55 47 H 82 76 I 30 20 J 74 55 請計算上表資料的評分者間信度係數。（7 分） 如果為了增加公平性，該校再邀請另一位專家來參與評審，結果就變成了每一位 參賽者的作品都由三位專家評過，此時可用什麼樣的方法來計算評分者間的信度 係數呢？（5 分） 如果說參加寫生比賽的學生有50 人，為了考慮專家審查的費用，因此只用兩位專 家；又考慮到目前實作評量評分方式的趨勢以及公平性的問題，因此該校請評審用 1-6 分的6 點計分的方式來進行評審，得到下列的結果，此時可用什麼樣的方法來 計算評分者間的信度係數呢？（4 分）用這個方法所得到的結果為何？（4 分） 評分者2 所評的分數 分數 1

以測驗分數X 與測驗分數Y 為座標之橫軸與縱軸，畫出二個散佈圖並分別說明X 與Y 的積差相關為-1，.85 的意義。（10 分）

何謂實作評量（performance assessment）？實作評量的優點與缺點為何？實作評量 的實施方法為何？（30 分）

某研究探討地區（A，分為北、中與南三個地區）與討論式、演講式、自修式三種 教學法（B）對高中學生學習興趣的影響，每一細格各有10 名不同的學生，共有 90 名學生參與此研究。請填寫以下變異數分析摘要表（每格2 分，共20 分），並 說明此研究中交互作用效果顯著代表的意義。（5 分） （請將下表繪製於試卷上作答，於本試題作答者，不予計分。） 變異數分析摘要表 變異來源 SS 自由度 （df） 均方 （MS） F 值 A（地區） （ ） （ ）

名詞解釋：（每小題5 分，共20 分） z 分配 z 分數 第一類型錯誤 樣本平均數的抽樣分配

1 B（教學法） （ ） 2 （ ）

某智力測驗之平均數為100，標準差為15，高中聯考之平均數為300，標準差為50， 智力測驗和高中聯考之間的效標關聯效度為0.80。甲生在此智力測驗之分數為110， 問：可預測其高中聯考會得幾分？其估計標準誤是多少？甲生在95%的信賴 水準時的高中聯考分數落在什麼範圍？（30 分）

AB （ ） （ ） （ ） 5* Error （ ） （ ） （ ） Total 333 89 *p＜.05 三、如果某校學生的身高平均數為165 公分，標準差為10 公分，體重平均數為55 公斤，標準差為5 公斤。小張身高與體重是175 公分與65 公斤。 請以Z 分數的概念來說明小張的身材在該校學生中是不是很平常？是身高還是體 重比較不正常？（10 分） 如果該校學生的身高與體重分佈狀況呈常態，那麼小張的身高與體重的PR 值為 多少？請以常態分配的圖形來協助回答。（10 分） 四、李芸編了一份測量同理心的量表，請問她可以如何檢驗這份量表所測的特質的確是 同理心？請列舉方法並加說明。（25 分）

測驗愈長信度愈高，這是許多人對信度的認知。 假設某一測驗有30 題選擇題，測量結果信度為0.58，當測驗長度增加至60 題時 ，試問信度是多少？（2 分） 前述增長為60 題的測驗，其分數信度有無可能不升反降？請具體說明是在何種情 況下發生。（8 分）

1986 年美國第四次修訂的比西量表（Stanford-Binet Scale）和以前的版本最大不同 之一是明確地將Cattell 的流體智力（fluid intelligence）與結晶智力（crystallized intelligence）的理論納入其測驗編製所依賴的架構。請說明流體智力與結晶智力的 含意與其間的關係。（20 分）

列小計 評分者1 6 0* 0 0 1 1 3 5 所評的分數 5 0 0 1 2 2 3 8 4 0 1 2 4 4 1 12 3 0 2 5 3 2 0 12 2 1

1 0 0 0 9 1 3 1 0 0 0 0 4 行小計 4 11 9 10 9 7 50 *人數。 96 年公務人員、關務人員升官等考試試題 類 科： 教育行政 全一張 （背面） 二、你服務的縣市教育局準備在其編製的國小學力測驗中加入開放式評量（如：申論題、 作文等），但擔心社會大眾對開放式評量計分的公平性與一致性提出質疑。 請說明評分過程中常見的偏誤（errors）有那些？其造成影響為何？（10 分） 具體說明可以透過那些方法降低評分偏誤及提高評分結果的一致性？（10 分） 三、某教師探討評量回饋對學生學習表現的影響，他將120 位學生隨機分配到五組（每 組24 位）接受不同的實驗。下表為各組的平均數與標準差，請根據資料回答問題 （α= .05）。 各組平均數與標準差 經常評量／ 正向回饋 很少評量／ 正向回饋 經常評量／ 負向回饋 很少評量／ 負向回饋 控制組 無回饋 平均數 17.50 14.50 11.0 9.5 10.0 標準差 3.65 3.55 3.68 2.83 3.12 變異數分析摘要表 SS df MS F 實驗處理 279.00 誤差 11.44 列出虛無假設與對立假設，並將變異數分析摘要表補齊與解釋結果？（7 分） 簡要說明為何我們要使用變異數來考驗各組平均數的差異？（6 分） 變異數分析摘要表中，何者為母群變異數的不偏估計值？（請以數據列出算式， 但不需計算）使用此值的基本假定為何？此與獨立樣本平均數t 考驗中的合併變 異數有何異同？（6 分） 請針對下列情境，選取理想的第一類錯誤率控制「比較」方法？（不需計算，但 要列出考驗的名稱並說明其控制錯誤率的單位）：（6 分） 若教師只想比較控制組與其他單一各組的差異； 若教師想進行各種可能的比較，包含簡單比較與複雜比較； 若該教師只想比較所有「兩兩組」（pairwise）的比較。 四、名詞解釋：（每小題6 分，共30 分） 不偏性（unbiasedness） 一致性（consistency） 有效性（efficiency） 第一類型錯誤（Type I error） 統計考驗力（power of test）