Home
學生控制台
註冊會員/登入
研究知情同意書
UeduGPTs
Aida 優學伴
Uedu Open
Uedu認知測驗
支援與訊息
Uptime 數據

UeduGPTs

--

Jupyters

4

AI 回覆桌面通知

AI 助教回覆完成時顯示桌面通知

聊天訊息通知

同學在討論區發送訊息時通知

聲音通知

每當有新通知時播放提示音

METHODOLOGY

UCG 認知組學測驗工具箱
方法論

14 個科學驗證的認知測驗如何測量學習者的認知能力特徵。涵蓋執行功能、處理速度、工作記憶、空間認知、語文能力與後設認知六大構念。

1. 理論基礎

1.1 Educational Omics 與 Cognomics

UCG(Uedu Cognomics)認知組學測驗工具箱是 Uedu 平台 Educational Omics 框架中 Cognomics(認知組學)維度的核心實作。Cognomics 關注學習者的認知歷程,透過標準化的認知測驗直接測量個體在注意力、工作記憶、執行功能等基礎認知能力上的表現,作為理解學習行為與學習成效的基底變項。

1.2 執行功能三因素模型

UCG 的測驗選擇以 Miyake et al. (2000) 提出的執行功能三因素模型為理論骨幹。該模型透過潛在變項分析,將執行功能區分為三個可分離但相關的成分:

  • Inhibition(抑制):壓抑優勢但不適當的反應,由 Stroop Task 與 Flanker Task 測量
  • Updating(更新):監控與更新工作記憶中的資訊,由 N-back Task 測量
  • Shifting(轉換):在不同任務集或心智設定之間靈活切換,由 Task Switching 測量

在此基礎上,UCG 擴展至處理速度、空間認知、語文能力與後設認知等構念,形成 6 大構念、14 個測驗的完整工具箱。

1.3 Web-based 認知測驗的適用性

傳統認知測驗多在實驗室環境中以專用軟體(如 E-Prime、PsychoPy)執行。UCG 採用 web-based 實施方式,主要依據 Reimers & Stewart (2015) 的研究結論:

  • 現代瀏覽器的 performance.now() 計時精度已達亞毫秒等級,足以支撐反應時間測量
  • 雖然 web-based 的絕對 RT 可能比實驗室略高(約 20-40ms),但個別差異的排序一致性足夠用於研究
  • Web-based 方式可大幅提升樣本量與生態效度,適合教育情境中的大規模施測
設計考量

UCG 測驗在精確度與可及性之間取得平衡:採用 requestAnimationFrame 雙幀同步確保刺激呈現的精確性,同時維持跨裝置(桌機、平板、手機觸控)的可用性。

2. 測驗工具箱架構

UCG 工具箱包含 6 大構念(constructs)14 個測驗工具(instruments),涵蓋從基礎認知處理到高階後設認知的完整認知能力光譜。

構念測驗名稱核心範式測量目標
執行功能
Executive Function
Stroop Task色字不一致干擾抑制控制(Inhibition)
Flanker Task側翼干擾抑制控制(Inhibition)
Task Switching任務集切換認知彈性(Shifting)
處理速度與注意力
Processing Speed & Attention
Simple RT簡單反應時間基礎處理速度
Choice RT選擇反應時間決策速度
PVT精神運動警覺作業持續性注意力
工作記憶
Working Memory
N-backN-back 作業工作記憶更新(Updating)
Corsi Block空間序列記憶視覺空間工作記憶容量
空間認知
Spatial Cognition
Mental Rotation心理旋轉空間推理能力
Symmetry Span對稱跨度作業空間工作記憶容量
UFOV有效視野視覺注意力範圍
語文能力
Verbal Ability
Grammatical Reasoning文法推理語言邏輯推理
Vocabulary詞彙量測驗結晶智力(詞彙知識)
後設認知
Metacognition
Confidence Calibration信心校準自我監控準確性
構念與測驗的對應關係

執行功能的三個子成分(Inhibition、Updating、Shifting)分別由不同測驗測量。Stroop 與 Flanker 同屬 Inhibition,但使用不同的干擾範式(語意 vs. 空間),可評估抑制控制的跨任務一致性。

3. 資料蒐集程序

3.1 知情同意

所有認知測驗資料的蒐集均依據 IRB 202507EM058 核准之研究倫理計畫,學生在首次進入測驗工具箱時需完成電子簽署知情同意書。同意書明確說明資料用途、保存期限與退出權利。

3.2 Trial-level 原始資料保留

UCG 完整保留每一個 trial 的原始資料,包含:

  • 刺激參數:condition(congruent/incongruent)、target、flankers、n-back level 等
  • 反應資料:reaction time (ms)、response key/position、accuracy
  • 時序資料:stimulus onset timestamp、response timestamp、inter-trial interval

Trial-level 原始資料可供研究者進行客製化分析(如 ex-Gaussian RT 分布擬合、序列效應分析等),不受平台預設計分方法的限制。

3.3 Server-side 預生成試序

每個測驗的 trial 序列由伺服器端預先生成並儲存,確保:

  • Reproducibility:相同的 session 重新執行會呈現相同的 trial 序列
  • 平衡設計:congruent/incongruent 比例、target 位置等依照實驗設計規則平衡
  • 防止操弄:client 端無法預知或修改即將出現的 trial

3.4 Client-side 精確計時

為確保反應時間測量的精確度,UCG 採用以下技術策略:

  • 高精度計時:使用 performance.now() 取代 Date.now(),精度達亞毫秒等級
  • 雙 requestAnimationFrame 同步:刺激呈現使用 requestAnimationFrame 巢狀呼叫(double-rAF),確保 DOM 更新與螢幕渲染同步,計時起點對齊實際像素繪製
  • 渲染確認:RT 計時從第二個 rAF 的 callback 開始,而非 DOM 修改的時間點

3.5 反應擷取

為支援跨裝置施測,UCG 同時監聽多種輸入事件:

  • 觸控/滑鼠:使用 pointerdown 事件(統一觸控與滑鼠輸入),避免觸控裝置 300ms 延遲
  • 鍵盤:使用 keydown 事件,支援桌機使用者以鍵盤快速反應
  • 防重複觸發:每個 trial 僅接受第一次有效反應,後續輸入忽略

4. 計分方法

各測驗依其實驗範式採用不同的核心指標。以下說明各 paradigm 的計分邏輯。

4.1 Stroop Task & Flanker Task(干擾效果)

指標計算方式意義
Interference Effect (RT)mean_RT(incongruent) - mean_RT(congruent)干擾效果大小,愈小表示抑制能力愈佳
Accuracy各 condition 正確率反映正確性,可計算 speed-accuracy tradeoff
Congruency Effect (Accuracy)acc(congruent) - acc(incongruent)準確率的干擾效果

4.2 N-back Task(訊號偵測)

指標計算方式意義
d-prime (d')Z(hit rate) - Z(false alarm rate)訊號偵測敏感度,愈高表示辨別力愈強
Hit Rate正確偵測 target 的比例對 target 的敏感度
False Alarm Rate誤判 non-target 為 target 的比例反應偏向(response bias)
d-prime 邊界修正

當 hit rate = 1.0 或 false alarm rate = 0.0 時,Z 分數為無限大。UCG 採用 1/(2N) 修正法:hit rate 修正為 1 - 1/(2N),false alarm rate 修正為 1/(2N),其中 N 為該 condition 的 trial 數。

4.3 Simple RT & Choice RT(處理速度)

指標計算方式意義
Simple RT單純反應的中位數 RT基礎神經傳導與運動反應速度
Choice RT選擇反應的中位數 RT決策處理速度
Choice - Simple Costmedian_RT(choice) - median_RT(simple)決策額外成本,反映中央處理速度

4.4 Task Switching(轉換成本)

指標計算方式意義
Switch Cost (RT)mean_RT(switch trials) - mean_RT(repeat trials)任務轉換的時間成本
Switch Cost (Accuracy)acc(repeat) - acc(switch)轉換造成的準確率下降

4.5 Corsi Block & Symmetry Span(記憶跨度)

指標計算方式意義
Max Span成功回憶的最大序列長度工作記憶容量上限
Span Productmax_span × proportion_correct_at_max_span綜合考量容量與穩定性

4.6 Mental Rotation(空間推理)

指標計算方式意義
RT by Angular Disparity各旋轉角度的平均正確 RT心理旋轉的線性函數斜率
Rotation RateRT 對角度的回歸斜率 (ms/degree)心理旋轉速度,愈小表示空間推理愈快
Accuracy各角度的正確率判斷正確性

4.7 PVT(精神運動警覺)

指標計算方式意義
Median RT所有有效 trial 的中位數 RT整體警覺反應速度
LapsesRT > 500ms 的 trial 數注意力失誤次數,反映持續性注意力的穩定性
1/RT (Reciprocal RT)各 trial 的 1000/RT 平均值速度指標,對慢反應更敏感

4.8 Grammatical Reasoning(文法推理)

指標計算方式意義
Accuracy正確判斷的比例語言邏輯推理能力
RT正確 trial 的中位數 RT推理處理速度

4.9 Confidence Calibration(信心校準)

指標計算方式意義
Calibration Errormean(|confidence - accuracy|) 各信心區間信心判斷與實際表現的偏差,愈小愈佳
Overconfidence Indexmean(confidence - accuracy)正值表示過度自信,負值表示信心不足

4.10 Vocabulary(詞彙量)

指標計算方式意義
Total Correct正確回答題數詞彙知識量(結晶智力指標)

4.11 UFOV(有效視野)

指標計算方式意義
Accuracy by Display Duration各呈現時間條件下的正確率視覺注意力處理速度的閾值

4.12 MOT(多目標追蹤)

指標計算方式意義
Max Targets Tracked能成功追蹤的最大目標數視覺注意力的同時追蹤容量

5. 資料品質控制

為確保認知測驗資料的有效性,UCG 在 trial 層級與 session 層級分別實施品質控制規則。

5.1 Trial 層級篩選

規則閾值處理方式理據
預期反應RT < 150ms標記為 anticipation,排除於分析低於人類最短反應時間,屬於預期性按鍵
極端值RT > 2000ms標記為 outlier,視分析需求決定保留或排除可能反映注意力分散或暫時離開

5.2 Session 層級驗證

規則閾值處理方式
有效 trial 比例≥ 80% 的 trial 需為有效(非 anticipation、非 timeout)低於閾值則整個 session 標記為 invalid
條件正確率任一 condition 正確率 < 70%該 condition 的資料標記為 flagged,需人工檢查

5.3 重測間隔警告

練習效應警告

若同一學生在 24 小時內重複施測同一認知測驗,系統會顯示練習效應(practice effects)警告,提醒研究者在分析時將此納入考量。認知測驗的 test-retest reliability 可能因短間隔重測而被高估。

5.4 Reliability Paradox 注意事項

Hedge, Powell & Sumner (2018) 指出,干擾效果(如 Stroop effect、Flanker effect)的效果量大且穩定,但其個別差異的信度(split-half reliability)卻可能偏低,此即所謂的「信度悖論(Reliability Paradox)」。原因在於:實驗效果的穩健性正是因為幾乎所有人都會產生相似的干擾效果,使得個體間的變異相對較小。

因此,研究者在使用 UCG 干擾效果指標進行個別差異分析時,應:

  • 報告 split-half reliability 或 Cronbach's alpha
  • 考慮使用 accuracy-based 指標作為替代或補充
  • 增加 trial 數以提升測量精度

6. 引用方式

方法論描述範本

學習者的認知能力透過 Uedu 平台的 UCG 認知組學測驗工具箱(Uedu Cognomics)收集,該工具箱包含 14 個 web-based 認知測驗,涵蓋 6 大構念:(1) 執行功能(Stroop Task、Flanker Task、Task Switching),(2) 處理速度與注意力(Simple RT、Choice RT、PVT),(3) 工作記憶(N-back、Corsi Block),(4) 空間認知(Mental Rotation、Symmetry Span、UFOV),(5) 語文能力(Grammatical Reasoning、Vocabulary),(6) 後設認知(Confidence Calibration)。測驗架構以 Miyake et al. (2000) 的執行功能三因素模型為基礎,並擴展至其他認知構念。所有測驗以 JavaScript 實作,使用 performance.now() 精確計時與雙 requestAnimationFrame 渲染同步。Trial-level 原始資料完整保留,含刺激參數、反應時間與準確率。資料品質控制包含 RT < 150ms 預期反應排除、RT > 2000ms 極端值標記、session 有效性驗證(≥ 80% 有效 trial),以及 24 小時重測間隔警告。本研究經 IRB 202507EM058 核准。詳細方法論說明見 https://uedu.tw/doc/ucg。

個別測驗引用格式

若論文僅使用部分測驗,可在方法論描述中列出具體使用的測驗,並引用對應的原始文獻。例如:

範例:僅使用 Stroop 與 N-back

抑制控制以 Stroop Task 測量(Stroop, 1935; MacLeod, 1991),核心指標為不一致與一致條件的反應時間差(interference effect)。工作記憶更新以 2-back Task 測量(Kane et al., 2007),核心指標為 d-prime。兩測驗均透過 Uedu UCG 工具箱以 web-based 方式施測(詳見 https://uedu.tw/doc/ucg)。

7. 參考文獻

  • Baddeley, A. D. (1968). A 3 min reasoning test based on grammatical transformation. Psychonomic Science, 10(10), 341-342.
  • Ball, K., & Owsley, C. (1993). The Useful Field of View test: A new technique for evaluating age-related declines in visual function. Journal of the American Optometric Association, 64(1), 71-79.
  • Corsi, P. M. (1972). Human memory and the medial temporal region of the brain (Doctoral dissertation). McGill University.
  • Dinges, D. F., & Powell, J. W. (1985). Microcomputer analyses of performance on a portable, simple visual RT task during sustained operations. Behavior Research Methods, Instruments, & Computers, 17(6), 652-655.
  • Eriksen, B. A., & Eriksen, C. W. (1974). Effects of noise letters upon the identification of a target letter in a nonsearch task. Perception & Psychophysics, 16(1), 143-149.
  • Hedge, C., Powell, G., & Sumner, P. (2018). The reliability paradox: Why robust cognitive tasks do not produce reliable individual differences. Behavior Research Methods, 50(3), 1166-1186.
  • Kane, M. J., Conway, A. R. A., Miura, T. K., & Colflesh, G. J. H. (2007). Working memory, attention control, and the N-back task: A question of construct validity. Journal of Experimental Psychology: Learning, Memory, and Cognition, 33(3), 615-622.
  • MacLeod, C. M. (1991). Half a century of research on the Stroop effect: An integrative review. Psychological Bulletin, 109(2), 163-203.
  • Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A., & Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex "frontal lobe" tasks: A latent variable analysis. Cognitive Psychology, 41(1), 49-100.
  • Pylyshyn, Z. W., & Storm, R. W. (1988). Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision, 3(3), 179-197.
  • Reimers, S., & Stewart, N. (2015). Presentation and response timing accuracy in Adobe Flash and HTML5/JavaScript Web experiments. Behavior Research Methods, 47(2), 309-327.
  • Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects. Science, 171(3972), 701-703.
  • Stroop, J. R. (1935). Studies of interference in serial verbal reactions. Journal of Experimental Psychology, 18(6), 643-662.