某機關A 為瞭解網路上使用者的評價,委託開發社交平台訊息意見分析
系統S。此系統S 針對該機關A 的訊息,從網路爬取下來後,對每則訊
息做出正向、負向、中立意見的預測。為評估系統S 的成效,機關A 對
S 產生的結果,由一位承辦人進行判斷,結果100 則訊息中,該承辦人
認為系統S 預測正確的有75 則。由於未達理想,系統S 改進3 個月後,
再重新爬取網路訊息100 則做預測,再交由同一名承辦人員判斷,這次
該承辦人認為系統S 預測正確的有90 則。請問:
這樣評估系統成效的方式,有何重大缺點?(10 分)
從那些方面可以改進此種評價方式?(15 分)