普遍來講,一個實驗會涉及非常多不同的變數。例如:想提升溶液的溶解度,我們可以選擇不同溶液、不同温度、不同攪拌速度、不同容器等等。又例如:想提升機器學習的效能,我們可以選擇不同神經網絡、不同深度、不同參數等。當中,我們希望找出最關鍵的變數,以達至用最低的成本,提供最高的效果。這個就是 2-way / 3-Way / N-Way ANOVA 的目標。
與 One-Way ANOVA (Single Factor ANOVA) 相似之處,N-Way ANOVA 的出發點,同樣是找出 μ1, μ2 ... μN 是否一致。不過,因為 ANOVA 能找出每個因子的重要性 (significance of each factors),所以它常被用作找出關鍵因子 (key factors) 的方法。
條件
所有假設條件與 One-Way ANOVA 一樣,除了可以有多個不同因子。
界定準則
與 One-Way ANOVA 一樣,它一樣能找出「這個因子 跟 實驗誤差 之間,到底有多大差距」。而且,由於 N-Way ANOVA 涉及多種變數,它也會找出「兩個(或以上)因子結合」的結果,繼而可以發現出不同因子之間千絲萬縷的關係。
用溶液溶解度的例子來講,我們不但可以找出「温度上升」、「攪拌速度上升」、「使用 B 溶液」可以提高溶解度,更能找到「温度上升+攪拌速度上升」、「使用 C 溶液+低温」、「使用 A 溶液+温度上升+攪拌速度上升」等的不同組合帶來的互動效果 (interaction effect)。對於找出奇怪的組合,十分有幫助。(例如用雞蛋汁做溶液的話,低温效果更好,所以高温並不一定能提升溶解度)
公式
以下只列出 Two-Way ANOVA 的公式,因為 N-Way ANOVA 涉及的公式太多,而且只是 Two-Way ANOVA 的延伸,更何況可交給電腦處理,所以就在此處省略掉。
假設數據的確會因為因子改變而改變,我們就可以用以下公式 (effect model) 表達其關係,當中 y 是指單一實驗結果,μ 是指總平均 (global mean),τ 是指因子 A 變化產生的影響,β 是指因子 B 變化產生的影響,ε 則指各數據與總平均之間的誤差:
由此可見,若果因子 A 變化的確會影響實驗結果的話,τ 的數值一定需要十分明顯,甚至必須比 ε 大得多,β 及 (τβ) 亦同理。從以上觀察,我們可以推算下面的公式:
以溶液實驗作為例子,假設 A 因子為溶液温度 (3 levels, 25°C / 50°C / 70°C),B 因子為攪拌速度 (2 levels, 10 rpm / 20 rpm),每個實驗重覆 4 次 (n = 4 replicates)。
- SSA (Sum of Square of Factor A) 指:
溶液在 25 度的平均,減去總平均,再次方,加上
溶液在 50 度的平均,減去總平均,再次方,加上
溶液在 70 度的平均,減去總平均,再次方,
然後除以 4 得到「溶液在三種不同温度的平均方差」,
再除 b (2) 得到「溶液在三種不同温度,面對兩種攪拌速度的平均方差」。 - SSB (Sum of Square of Factor B) 指:
溶液在 10 rpm 速度的平均,減去總平均,再次方,加上
溶液在 20 rpm 速度的平均,減去總平均,再次方,
然後除以 4 得到「溶液在兩種不同攪拌速度的平均方差」,
再除 a (2) 得到「溶液在兩種不同温度,面對三種温度的平均方差」。 - SSAB (Sum of Square of Factor AB) 指:
10 rpm + 25°C 的平均,減去 25°C 的總平均,再減去 10 rpm 的總平均,再加總平均,再次方,如此類推,目標得出「溶液在固定温度與攪拌速度下的平均方差」。
界定準則與判定
跟 One-Way 檢測一樣,我們同樣使用 Significance Level (α) 及 F-distribution 來判斷。
補充資料:使用 F-distribution 的原因,主要是因為兩個 Chi-Square Distribution 相除的結果,而 SS 因為是二次方,所以是 t-Distribution 的二次方,也就是 Chi-Square Distribution。而使用 t-Distribution 的原因,是因為數據中的 variance 是估計而得。這段不明白也不重要,只需知道如何使用公式表或電腦運算即可。
使用電腦運算
使用圖形化的 SPSS 可參考:https://statistics.laerd.com/spss-tutorials/two-way-anova-using-spss-statistics.php
使用 MATLAB 可參考:https://www.mathworks.com/help/stats/anova2.html
小結
N-Way ANOVA 對於 Factor Screening 特別有用,因為可以從多個因子中選擇較重要的因子,並將不必要的因子除掉,令日後的實驗步驟得以簡化。同時,選取重要因子,可以幫助我們以更少的成本,提升系統整體效能。當然,有時候,即使該因子的統計重要性 (statistical significance) 再高,我們也要考慮現實的重要性 (practical significance)。換句話說,有時候知道結果,也未必可以減低成本(例如提升温度代表需要更多電力)。這個時候,我們就需要更深入的 cost optimization 和 opportunity cost calculation,才能做出正確決定。