繼續(xù)討論可用性測試中各種原則的靈活運用和注意事項。

五．發(fā)現(xiàn)問題：真的 VS 假的

判斷發(fā)現(xiàn)問題的真假，初看上去似乎不是個困難。多數(shù)或全部參與者都遇到的問題毫無疑問是明顯的可用性問題。或許有人會建議，根據(jù)參與者中發(fā)現(xiàn)該問題的人數(shù)比例來判斷：比例高是真問題，比例低是假問題。前半句話可以接受，后半句話則有待商榷。
雖然可用性測試是相對嚴(yán)謹(jǐn)?shù)挠脩粞芯糠椒?，但是其對無關(guān)變量控制的嚴(yán)格程度和真正的心理學(xué)實驗還是有一定的差距；并且心理學(xué)實驗對每組參與者數(shù)量的最低要求是30人，這樣得出的結(jié)論（數(shù)量比例）才具有推論至一般的意義。而可用性測試一般才8人左右的參與人數(shù)（盡管招募的參與者在質(zhì)的方面非常具有代表性），但卻無法把可用性測試中出現(xiàn)的所有數(shù)量比例簡單推論至一般。8個參與者中有1人發(fā)現(xiàn)某個問題，不代表現(xiàn)實中出現(xiàn)同樣問題的真實用戶只有12.5%，更不代表這個問題不是真正的/嚴(yán)重的可用性問題。

問題的真假除了根據(jù)問題出現(xiàn)的次數(shù)比例，還有很重要的考慮點是：用戶“錯誤行為”背后的認(rèn)知/思考方式是否合乎邏輯？

這里順便借用一下諾曼《設(shè)計心理學(xué)》里談到的理論：概念模型——系統(tǒng)表象——心理模型。概念模型可認(rèn)為是產(chǎn)品設(shè)計人員對產(chǎn)品的設(shè)計思想；系統(tǒng)表象可認(rèn)為是產(chǎn)品展現(xiàn)出的交互界面；而心理模型則是用戶按照既往經(jīng)驗對如何操作該產(chǎn)品的設(shè)想。從這個角度來認(rèn)識，可用性問題則是“概念模型、系統(tǒng)表象、心理模型”三者的不吻合或矛盾。

通過分析用戶行為背后的認(rèn)知是否符合邏輯，來判斷發(fā)現(xiàn)的問題的真假，主要體現(xiàn)在以下幾點：

1.“概念模型、系統(tǒng)表象”的不一致

產(chǎn)品設(shè)計人員突然發(fā)現(xiàn)，界面的交互形式根本沒有反映出他原先的設(shè)計思想！

2.“系統(tǒng)表象、心理模型”的不一致

（1）用戶的思維方式受已有的同類產(chǎn)品的影響，并內(nèi)化接受，而新產(chǎn)品的“系統(tǒng)表象”和已有同類產(chǎn)品并不一致。

（2）用戶在日常生活經(jīng)驗中形成了許多并不科學(xué)地通俗理解世界的方式（比如通俗物理學(xué)、通俗心理學(xué)），但產(chǎn)品設(shè)計人員沒有意識到用戶在以這樣一種“自認(rèn)正確”的錯誤方式來理解和使用產(chǎn)品。

如果發(fā)現(xiàn)的可用性問題屬于以上情況，那么即使只有一個參與者碰到，它也非?？赡苁且粋€真正的可用性問題。

例如：讓用戶登錄購彩網(wǎng)站，查看自己上次購彩結(jié)果。大多數(shù)用戶點擊【個人中心】去查看，有2個用戶點擊【開獎公告】去查看，發(fā)現(xiàn)只有開獎號碼，沒有任何購彩結(jié)果信息后，再去點擊【個人中心】。僅2個人出現(xiàn)了稍微的偏差，而且很快就找到了正確的頁面，這貌似應(yīng)該不算什么問題。

但若追究其行為背后的邏輯，并與其他用戶的反饋（“我上次買的號碼沒有直接顯示出來？”“這里看不到開獎的號碼??？”）聯(lián)系起來，可以判斷用戶的心理模型和產(chǎn)品的系統(tǒng)表象不一致。用戶希望能同時對照著開獎號碼和自己買的號碼很方便地核對，而網(wǎng)站卻割裂兩部分放在不同的頁面，因此需要將這2個用戶碰到的問題當(dāng)作真正的可用性問題來對待。

六．研究方法：定性 VS 定量

可用性測試，很多時候被認(rèn)為是一種定性研究方法；但也有人說它是一種定量研究方法。究竟是怎么回事呢？

個人認(rèn)為，可用性測試實質(zhì)上結(jié)合了定性和定量兩種方法的特點，到底哪種成分更多，要看你的使用目的以及細(xì)節(jié)上如何操作。

定量研究的思路是基于對一定數(shù)量樣本的測量，以將研究所得的結(jié)論推廣至總體。除了強調(diào)樣本的代表性，還對樣本的數(shù)量有具體的要求，同時會考慮抽樣誤差、置信度、置信區(qū)間的度量。并且定量研究過程中非常注重對某些自變量操控、及無關(guān)變量的控制。

而定性研究重視對主觀意義的理解（如背后隱藏的原因），采用解釋建構(gòu)的方法，比如訪談法等。

平時工作中以“形成式可用性”測試為主，即便它稍微偏向于定性研究，但在允許的范圍內(nèi)，我個人還是盡可能地遵循著定量研究的方法去實施。這樣整個測試過程的嚴(yán)謹(jǐn)性能得到保證，結(jié)論的客觀程度相對更高（近幾個世紀(jì)來，量化研究一直是科學(xué)研究的主要范式，也正是這個原因）。具體做法如下：

1.在任務(wù)的設(shè)置上：因為參與者可能存在差別較大的亞群體，不可能要求完成完全相同的任務(wù)。但必定會設(shè)置大部分基本的、都需要完成的公共任務(wù)，再針對不同亞群體設(shè)置少量的特殊任務(wù)。在后期統(tǒng)計分析的時候，基本的公共任務(wù)則可以進(jìn)行數(shù)量化的統(tǒng)計，并橫向比較。

2.在測試過程中：關(guān)注參與者完成任務(wù)時的相關(guān)行為，用數(shù)字來記錄（以0、0.5、1分別表示失敗、幫助/提示下成功、成功）。主試盡量少地言語及體態(tài)姿勢的干擾，只在必要時進(jìn)行適當(dāng)?shù)匮哉Z交流。

3.在報告呈現(xiàn)：對任務(wù)完成情況（效率、完成率）統(tǒng)計呈現(xiàn)，對不同任務(wù)的完成情況進(jìn)行比較，對亞群體間的任務(wù)完成情況進(jìn)行比較，對所有可用性問題按數(shù)量化指標(biāo)進(jìn)行排序等?；蛘弑容^迭代前后獨特問題的頻次是否減少，以及嚴(yán)重程度高的等級里面可用性問題數(shù)量的變化情況。

4.測試過后，我們通常還會收集用戶自我報告式的數(shù)據(jù)，作為“感知可用性”的一個總體反映。

（1）推薦使用系統(tǒng)可用性量表（SUS），因為有研究表明SUS在少量樣本時即可產(chǎn)生較為一致的評分結(jié)果。

（2）為減少用戶在填寫這些量表時的反應(yīng)心向，不要求填寫任何個人信息，且主試最好暫時回避。

（3）只統(tǒng)計分析所有參與者SUS量表總分的平均值，切勿再拆分比較亞群體之間的差異，因為即便信效度再高的量表，當(dāng)樣本量極小時都會變得很不靠譜！

七．問題優(yōu)先級：單指標(biāo) VS 多指標(biāo)

除了在可用性測試過程中，最終報告也必須體現(xiàn)出量化、客觀地特點。例如，報告發(fā)現(xiàn)的可用性問題的列表，我也會以量化的方式排列出問題的優(yōu)先級別。

這樣做的好處在于：首先，發(fā)現(xiàn)的可用性問題肯定有一些比另一些更嚴(yán)重；其次，考慮到產(chǎn)品和設(shè)計人員的精力和資源總是有限的，必須幫助他們梳理出最亟需整改的問題。站在別人的角度考慮問題，這樣他們才能更“友好地”接受我們的報告。

可用性問題列表的排序，涉及到采用單指標(biāo)還是多指標(biāo)、以及指標(biāo)分為幾級的問題。

先就量化的客觀性而言，“出現(xiàn)頻率”指標(biāo)是最客觀、最易量化的；而其它三個指標(biāo)都需分析人員的主觀判斷。

就指標(biāo)的代表意義而言，“嚴(yán)重程度”、“出現(xiàn)頻率”與用戶體驗最相關(guān)，與用研人員的職責(zé)也最相關(guān)。另兩個指標(biāo)可能更多地是產(chǎn)品人員的職責(zé)。

就指標(biāo)的價值而言，多個指標(biāo)的綜合顯然比單一指標(biāo)更有價值。

基于上述考慮，實際工作中我會選擇“嚴(yán)重程度”和“出現(xiàn)頻率”兩個指標(biāo)的綜合，作為可用性問題的優(yōu)先級指標(biāo)。“嚴(yán)重程度”分為3級，而不是5級（分析人員主觀判斷時，3級指標(biāo)的誤差率要低于5級指標(biāo)）；“出現(xiàn)頻率”采用計算的具體數(shù)值，而非4級分類。這兩個指標(biāo)合并時，采用1：1的權(quán)重，具體公式為：

問題優(yōu)先級=嚴(yán)重程度的級別+出現(xiàn)頻率的具體值×3

八．報告呈現(xiàn)：優(yōu)點 VS 問題 VS 建議

當(dāng)產(chǎn)品設(shè)計人員辛辛苦苦做出的產(chǎn)品卻被你報告上羅列的各種問題批評得一無是處時，即便理智上認(rèn)可你的成果，情感上也很難接受。因此報告中列出哪怕一條最重要的優(yōu)點，也會讓產(chǎn)品設(shè)計人員感到欣慰、感受到你中立的態(tài)度，增加對報告的接納程度。列出優(yōu)點的另一個好處是，在測試中被參與者多次自發(fā)提及的優(yōu)點確實帶給用戶某種驚喜；當(dāng)你在報告中再次強調(diào)時，可以避免在后期迭代開發(fā)中丟失掉原本的優(yōu)點。

問題的列舉肯定是報告中非常重要的部分，但切勿羅列出清單就草草了事，因為：

1.某個（些）問題和另一個（些）問題是有關(guān)聯(lián)的，但是報告中的問題列表部分卻割裂了這些聯(lián)系。

2.產(chǎn)品設(shè)計人員無法一直參與旁聽/觀察可用性測試的過程，導(dǎo)致對報告中文字描述的問題缺乏感性認(rèn)識。

3.只提問題卻不提供解決方案，就不是“建設(shè)性地提問”！

因此，我們需要在可用性測試報告的后半部分提出針對重要問題的解決方案。其目標(biāo)并非是強迫產(chǎn)品設(shè)計人員一定要采納我們提出方案，而是：（1）把一些相關(guān)問題聯(lián)系起來看，（2）加深報告閱讀者對于問題的感性認(rèn)識和背后原因的理解，（3）使整個報告的思路更清晰、完整，（4）我們還可學(xué)到一些交互設(shè)計和產(chǎn)品的知識。

總之，可用性測試施行起來既簡單又復(fù)雜。簡單是因為不管你如何施行，終究能發(fā)現(xiàn)一些問題；復(fù)雜則在于發(fā)現(xiàn)可用性問題的質(zhì)量、重要性、對測試的利用效率、對產(chǎn)品設(shè)計人員的幫助程度可能相距甚遠(yuǎn)。一次成功的可用性測試體現(xiàn)在從前期策劃、測試過程、后期報告等整個過程中是否遵循了這些原則，并在某些難以兩全的原則面前做到合理的權(quán)衡取舍。

可用性測試的權(quán)衡之道（一）