1. 簡介
本文關(guān)注于一個(gè)實(shí)施自動(dòng)化測試框架的組織的主要方面和影響。本文的意圖是提供一些能夠成功的實(shí)施自動(dòng)化測試的指導(dǎo)方針。

2. 測試自動(dòng)化的神話
有很多關(guān)于自動(dòng)化測試的神話。其中的一些是真實(shí)的，而其他的一些是不正確的設(shè)想，這些不正確的設(shè)想會(huì)嚴(yán)重的威脅到實(shí)施自動(dòng)化測試的成功。本文將向大家介紹幾種我們面臨的主要幾種關(guān)于測試自動(dòng)化的神話：

2.1. 我們?cè)跁r(shí)間上是緊迫的 － 項(xiàng)目已經(jīng)落后了 － 讓我們使用自動(dòng)化測試吧！
這種情況將不能成為現(xiàn)實(shí)。實(shí)際上，正確的思想應(yīng)該是 － 我們時(shí)間急迫 － 我們決不應(yīng)該使用自動(dòng)化測試。

如果項(xiàng)目已經(jīng)陷入到了麻煩之中，不建議實(shí)施自動(dòng)化的功能測試。項(xiàng)目很可能因?yàn)樾枰罅康臏y試框架的準(zhǔn)備和實(shí)施會(huì)被托跨。我餓建議將重點(diǎn)放在以下的事情上：

• 優(yōu)化測試的過程。調(diào)查并建議在目前工作基礎(chǔ)上的測試方法和過程。建議借鑒 RUP 的相關(guān)思想和過程。
• 引進(jìn)或者使單元/組件測試正式化。這是我們能夠快速獲得受益的很好的方法。如果正式的組件測試被使用，我建議可以使用 Rational PurifyPlus 進(jìn)行單元或者組件測試。根據(jù)我的經(jīng)驗(yàn)盡早的使用 Rational PurifyPlus 是非常值得的。在一個(gè)引入和 Rational PurifyPlus 的項(xiàng)目中，通常會(huì)在組件的級(jí)別得到 百分之三十的性能提升。
• 僅僅在項(xiàng)目團(tuán)隊(duì)能夠?qū)?下列問題的回答是"Yes"時(shí)：
  • 項(xiàng)目能夠被適當(dāng)?shù)耐蒲印?
  • 存在能夠通過實(shí)施自動(dòng)化測試被達(dá)到的精確的目標(biāo)。
  • 項(xiàng)目具備建立適當(dāng)?shù)臏y試框架的必要條件。

  那么，你可以在一個(gè)時(shí)間緊迫的項(xiàng)目中適當(dāng)?shù)膶?shí)施測試自動(dòng)化。但是根據(jù)經(jīng)驗(yàn)這種情況是很難發(fā)生的。

總而言之，我只能說"對(duì)不起，銀彈根本不存在"。

2.2. 測試自動(dòng)化就是捕獲和回放
在過去的日子中，自動(dòng)化的測試工具只是被看作是一種捕獲和回放的工具。當(dāng)前這個(gè)神話仍然在很多測試人員的思想中。而事實(shí)上自動(dòng)化測試已經(jīng)遠(yuǎn)不止捕獲和回放這么簡單了。按照成熟度自動(dòng)化的測試可以被劃分為 5 個(gè)級(jí)別。

2.2.1. 級(jí)別 1：捕獲和回放

這是使用自動(dòng)化測試的最低的級(jí)別，同時(shí)這并不是自動(dòng)化測試最有用的使用方式。

2.2.2. 級(jí)別 2：捕獲、編輯和回放

在這個(gè)級(jí)別中，你使用自動(dòng)化的測試工具來捕獲你想要測試的功能。將測試腳本中的任何寫死的測試數(shù)據(jù)，比如名字、賬號(hào)等等，從測試腳本的代碼中完全刪除，并將他們轉(zhuǎn)換成為變量。

你能夠使用這種技術(shù)通過快速的編制一些測試腳本以檢驗(yàn)?zāi)愕南敕▉硖剿髂愕念A(yù)定的測試設(shè)計(jì)。當(dāng)我在沒有任何象需求或者設(shè)計(jì)模型這樣的文檔的情況下第一次操作一個(gè)產(chǎn)品時(shí)和我需要獲得一系列內(nèi)部構(gòu)建版本的穩(wěn)定性的第一印象時(shí)，我使用過這種技術(shù)。通常如果適當(dāng)?shù)能浖渲霉芾恚⊿CM）與良好的內(nèi)建設(shè)計(jì)相結(jié)合時(shí)，使用級(jí)別 2 的技術(shù)已經(jīng)足夠了。

2.2.3. 級(jí)別 3：編程和回放

這個(gè)級(jí)別是面對(duì)多個(gè)構(gòu)建版本的有效使用測試自動(dòng)化的第一個(gè)級(jí)別。你需要在實(shí)際的投資開始顯現(xiàn)之前確保團(tuán)隊(duì)和客戶對(duì)項(xiàng)目的安全感。如果沒有對(duì)測試自動(dòng)化工具的適當(dāng)?shù)呐嘤?xùn)測試人員將不具備到達(dá)這個(gè)級(jí)別的能力。在自動(dòng)化測試工具中的所有測試功能都必須被很好的理解，并且要掌握測試腳本語言的知識(shí)。

級(jí)別 3 使你能夠使用自動(dòng)化測試并構(gòu)建不同的回歸測試（重用已有的自動(dòng)化測試用例）。根據(jù)我的經(jīng)驗(yàn)在看到更多切實(shí)的回報(bào)之前，為了達(dá)到這個(gè)級(jí)別，有大量的工作和影響項(xiàng)目的活動(dòng)必須被做。因此快速的建立和證明自動(dòng)化測試的價(jià)值是至關(guān)重要的。找到乏味的測試（例如，邊緣測試和特定的功能測試用例是首先進(jìn)行自動(dòng)化測試的良好候選者）。首先創(chuàng)建少量的能夠測試一些基本功能（比如，登陸和創(chuàng)建用戶等）的測自動(dòng)化測試用例。

2.2.4. 級(jí)別 4：數(shù)據(jù)驅(qū)動(dòng)的測試

對(duì)于自動(dòng)化測試來說這是一個(gè)專業(yè)的測試級(jí)別。你現(xiàn)在要利用測試工具提供的所有的測試功能。你擁有一個(gè)強(qiáng)大的測試框架，這個(gè)測試框架是基于能夠使你根據(jù)被測試系統(tǒng)的變化快速創(chuàng)建一個(gè)測試腳本的測試功能庫的。維護(hù)的成本相對(duì)是比較低的。你在你的測試中會(huì)使用到大量真實(shí)的數(shù)據(jù)。

級(jí)別 4 要求一些非常良好的測試數(shù)據(jù)。一個(gè)測試人員必須要花費(fèi)一些時(shí)間來識(shí)別在哪里收集數(shù)據(jù)和收集哪些數(shù)據(jù)。使用現(xiàn)實(shí)生活中的數(shù)據(jù)是最基本的以從測試中得到完全的回報(bào)。使用適當(dāng)?shù)臄?shù)據(jù)將為你提供通常僅僅在項(xiàng)目的后期才會(huì)發(fā)現(xiàn)的或者是有客戶發(fā)現(xiàn)的錯(cuò)誤的能力?，F(xiàn)在你能夠通過使用現(xiàn)實(shí)的數(shù)據(jù)開運(yùn)行大量的測試。

2.2.5. 級(jí)別 5：使用動(dòng)作詞的測試自動(dòng)化

這是自動(dòng)化測試的最高級(jí)別。主要的思想是將測試用例從測試工具中分離出來。這個(gè)級(jí)別要求有一個(gè)具有高技能測試人員測小的團(tuán)隊(duì)，這些測試人員能夠?qū)y試工具的非常深層次的知識(shí)與他們具備的較深的編程能力結(jié)合起來。這個(gè)團(tuán)隊(duì)負(fù)責(zé)在測試工具中生成并維護(hù)測試的功能性，能夠使測試工具從外部的來源，比如 excel 表或者數(shù)據(jù)庫中執(zhí)行測試用例。這種測試概念最初是由 CMG 開發(fā)的。與 CMG 方案相比，其他的可能的開放源碼的方案有被 Carl Nagle 和SAS Institute 開發(fā)的 DDE。使用 DDE 的概念，關(guān)注點(diǎn)是當(dāng)在Excel表中創(chuàng)建測試用例的時(shí)候，放置使用包括被使用的特定動(dòng)作詞語的一些類型的模板。執(zhí)行的過程是從 Excel 表中讀取測試用例，并將測試用例轉(zhuǎn)換成為測試工具能夠理解的形式，然后使用不同的測試功能來執(zhí)行測試。

這個(gè)概念變得越來越流，因?yàn)闇y試與用例一起使用是非常有用的。

如果工具不具備使用內(nèi)建的對(duì)象映射的可能性，那么這個(gè)方案對(duì)于消除與 GUI 相關(guān)的大部分維護(hù)成本是優(yōu)秀的。在一些組織中已經(jīng)創(chuàng)建了這種方案，并且他們其中的一些已經(jīng)實(shí)現(xiàn)了高度的自動(dòng)化（60%），并且他們都得到了巨大的回報(bào)。如果測試框架是適當(dāng)?shù)?，我們能夠使?excel 來生成實(shí)際的測試用例。

這個(gè)級(jí)別對(duì)于那些按照正規(guī)基礎(chǔ)使用用例的組織或者項(xiàng)目來說是非常優(yōu)秀的。有多少測試用的估計(jì)是被需要的，并且當(dāng)用例適當(dāng)時(shí)需要做的工作也是非常簡單的。你可以集中時(shí)間來生成第一個(gè)包含被需要的"對(duì)象映射"的測試用例（主流程）。依靠被測試應(yīng)用的復(fù)雜程度，通常這會(huì)花費(fèi)大約半天到一天的時(shí)間。后續(xù)的被需要的每一個(gè)測試用例大概會(huì)花費(fèi) 15 到 20 分鐘的時(shí)間，因?yàn)橥ǔ６鄶?shù)的測試用例可以復(fù)制已有的測試用例，并對(duì)其進(jìn)行必要的修改，通常這種修改是有限的。動(dòng)作詞語框架能夠通過使用用例使緊密的并行測試用例的開發(fā)變得可能。

2.3. 我們不需要培訓(xùn)！
我們所有的人都在某一些方面具有一定的經(jīng)驗(yàn)，我們沒有時(shí)間能夠花費(fèi)在使用新工具的培訓(xùn)上。當(dāng)一個(gè)對(duì)自動(dòng)化工具還不是很熟悉的組織或者項(xiàng)目團(tuán)隊(duì)開始實(shí)施自動(dòng)化測試時(shí)，培訓(xùn)和指導(dǎo)是至關(guān)重要的。如果我們?cè)试S組織或者項(xiàng)目團(tuán)隊(duì)在沒有關(guān)于應(yīng)該如何做的任何知識(shí)的情況下實(shí)施自動(dòng)化的測試，那將肯定會(huì)以失敗告終。用于實(shí)施自動(dòng)化測試方案的預(yù)算會(huì)被超出，測試會(huì)被延誤并且更壞的情況是自動(dòng)化測試將被放棄。組織和項(xiàng)目團(tuán)隊(duì)需要盡量避免一些認(rèn)識(shí)上的缺陷，尤其是自動(dòng)化測試的維護(hù)成本和當(dāng)測試人員嘗試和確認(rèn)工具如何工作時(shí)產(chǎn)生的挫敗感。你需要確保你的測試過程是適當(dāng)?shù)?－ 如果測試過程是不合理的，引入自動(dòng)化測試只會(huì)給軟件組織或者項(xiàng)目團(tuán)隊(duì)帶來更大的混亂。因此，我建議希望實(shí)施自動(dòng)化測試方案的組織或者項(xiàng)目團(tuán)隊(duì)?wèi)?yīng)該在實(shí)施之前建立"訓(xùn)練營"，并將重點(diǎn)放在培訓(xùn)測試團(tuán)隊(duì)能夠很好的利用一個(gè)原型的項(xiàng)目上。

為第一個(gè)原型項(xiàng)目制定一個(gè)實(shí)施計(jì)劃，下面包括原型項(xiàng)目的最小化的描述：

• 當(dāng)先狀態(tài)
• 我們希望實(shí)現(xiàn)什么 － 建立成功的因素
• 期待的回報(bào)（第一次自動(dòng)化測試工作被期望驗(yàn)證什么）
• 找到一個(gè)"簡單的"測試的痛處并盡力的通過自動(dòng)化測試解決它，這可以被作為在同一時(shí)間上使測試運(yùn)行在多個(gè)平臺(tái)上的樣例
• 說明被需要的資源和時(shí)間
• ......

一開始你就要大聲的說出成功的信心 － 讓人們了解你所展示的進(jìn)展。這將吸引更多的關(guān)注和資源。

2.4. 我們必須 100% 的自動(dòng)化
從管理的角度來說，100% 的自動(dòng)化目標(biāo)只是一個(gè)從理論上可能達(dá)到的，但是實(shí)際上達(dá)到 100% 的自動(dòng)化的代價(jià)是十分昂貴的。

一個(gè) 40-60% 的利用自動(dòng)化的程度已經(jīng)是非常好的了。達(dá)到這個(gè)級(jí)別以上將增加測試相關(guān)的維護(hù)成本。由于對(duì)每一個(gè)構(gòu)建版本的需求變化的復(fù)雜度，你將花費(fèi)更多的時(shí)間在變更測試用例上以使他們能夠正確的運(yùn)行。在這種情況下，通過告知管理層 100% 的自動(dòng)化目標(biāo)是相當(dāng)昂貴的來確立一個(gè)合理的期望值才是明智之舉。對(duì)于決定自動(dòng)化一個(gè)測試用例的一般規(guī)則是這個(gè)測試用例必須被運(yùn)行 4 次以上。這個(gè)數(shù)字是基于用戶對(duì)測試工具有良好的技能并且有一個(gè)良好的測試框架的。如果情況不是這樣的化，整個(gè)數(shù)字能夠是 10-20次或者更高。一個(gè)例子，在一個(gè)項(xiàng)目中測試人員花費(fèi)和兩周的時(shí)間將手工測試的 23天的任務(wù)轉(zhuǎn)換成了自動(dòng)化測試的用例。在完成使，項(xiàng)目能夠在 4 個(gè)小時(shí)在多個(gè)平臺(tái)上運(yùn)行相同數(shù)量的測試用例。

2.5. 測試框架
測試框架對(duì)于產(chǎn)生成功的測試自動(dòng)化的適當(dāng)基礎(chǔ)是重要的。很多考慮必須被解決以使測試自動(dòng)化更加有效地被使用。重點(diǎn)必須在：

• 維護(hù)成本
  維護(hù)成本是成功的使用自動(dòng)化測試的最重要的問題之一。維護(hù)成本直接聯(lián)系到前面已經(jīng)提到過的自動(dòng)化測試的成熟度。組織或者項(xiàng)目必須至少要在成熟度的 3 級(jí)使用高度的測試庫才能使維護(hù)和更新測試功能變得容易。
• 測試數(shù)據(jù)
  什么樣類型的數(shù)據(jù)將被使用？要為每一個(gè)測試用例生成測試數(shù)據(jù)還是使用在被測試應(yīng)用中已有的數(shù)據(jù)。在很多的情況下一個(gè)測試數(shù)據(jù)被創(chuàng)建了，刪除他們是不可能的。
• 可測試性
  自動(dòng)化測試方案能夠有效的測試嗎？例如，被適當(dāng)命名的對(duì)象（不僅僅是索引 Id）。一個(gè)簡單的例子是所有的對(duì)話框都有相同的 ＃id 和相同的標(biāo)題，所不同的僅僅是顯示的文字信息。當(dāng)測試應(yīng)該覆蓋多種語言的方案時(shí)，對(duì)話框的測試就是一個(gè)挑戰(zhàn)。
• 測試人員的技能
  被包括在自動(dòng)化測試的創(chuàng)建中的人員應(yīng)該具有什么樣的技能呢？如果他們具有良好的開發(fā)背景，那么成熟度 3 級(jí)是足夠了。如果他們有很少的或者根本沒有開發(fā)的經(jīng)驗(yàn)，我們被迫使找到或者培訓(xùn)一個(gè)自動(dòng)化測試專家的小組，并直接到達(dá)成熟度 5 級(jí)，在成熟度 5 級(jí)測試的創(chuàng)建與實(shí)際的測試執(zhí)行被分離開。
• 一個(gè)好的構(gòu)建過程
  自動(dòng)化測試的引入在"構(gòu)建團(tuán)隊(duì)"上加入了一些約束。為了實(shí)現(xiàn)自動(dòng)化測試的高利用率（回歸測試），要求具有一個(gè)高的構(gòu)建頻率。每周僅僅運(yùn)行自動(dòng)化的測試不是好的自動(dòng)化測試的使用率。將回歸測試增加到每天一次將幫助快速的發(fā)現(xiàn)新的問題并使開發(fā)人員更加容易的發(fā)現(xiàn)問題的根源，因?yàn)閷?duì)測試的反饋時(shí)間是比較短的（開發(fā)人員能夠記住他們昨天做了什么）。
• 所有權(quán)
  不同的測試庫的所有權(quán)的定義是重要的。一個(gè)好的方案會(huì)將測試庫的組織劃分為三個(gè)級(jí)別：
  
  • 級(jí)別 1 － 全局的
    這個(gè)一個(gè)通常的級(jí)別。被存儲(chǔ)在這個(gè)級(jí)別的測試功能能夠被所有的項(xiàng)目訪問。通用的和通常的功能象登陸、創(chuàng)建一個(gè)用戶都是這個(gè)級(jí)別很好的候選者。
  • 級(jí)別 2 － 項(xiàng)目
    在這個(gè)級(jí)別的測試功能是與特定的測試項(xiàng)目相關(guān)的，但是通常在項(xiàng)目中有用的比一定在項(xiàng)目外是有用的。通常級(jí)別 2 是級(jí)別 1 的功能的提供者。
  • 級(jí)別 3 － 腳本
    功能被直接關(guān)聯(lián)到特定的測試腳本。 I在這個(gè)級(jí)別中，通常一個(gè)測試功能的第一個(gè)版本是被開發(fā)的。在新的測試腳本的創(chuàng)建期間已有測試功能的重用性被發(fā)現(xiàn)，并被移到了級(jí)別 2 中。

  在這個(gè)級(jí)別上盡量最小化功能的數(shù)量，因?yàn)樗鼘⒃黾泳S護(hù)工作量。

還有很多有關(guān)測試框架的問題，但是這里所提及的是一些基本的要被解決的問題。

3. 在哪里使用自動(dòng)化測試
有很多的情況下使用自動(dòng)化的測試可以降低測試成本。我將盡量的突出在自動(dòng)化測試中的不同的測試技術(shù)

4. 什么時(shí)候使用自動(dòng)化測試
我對(duì)什么時(shí)候應(yīng)該使用自動(dòng)化測試和什么時(shí)候應(yīng)該使用手工測試進(jìn)行了一個(gè)概要的總結(jié)：

如果你正在從事自動(dòng)化測試，那么一定要記住要關(guān)注將自動(dòng)化測試與手工測試結(jié)合起來使用。首先，對(duì)于自動(dòng)化測試率的目標(biāo)是 10/90 （10% 的自動(dòng)化測試和 90% 的手工測試）。當(dāng)這些目標(biāo)都實(shí)現(xiàn)了，可以將自動(dòng)化測試的使用率提高。記住創(chuàng)建自動(dòng)化測試的測試用例要比創(chuàng)建手工測試的測試用例花費(fèi)更多的時(shí)間。不要將你所有的測試時(shí)間都用在自動(dòng)化的測試用例上。同時(shí)也要記住在測試期間對(duì)每一個(gè)被發(fā)現(xiàn)的錯(cuò)誤都要花費(fèi)一定的時(shí)間去處理。

5. 自動(dòng)化測試的好處
如果你正在你的組織中引入自動(dòng)化測試，記住有很多不同的方面被包含了進(jìn)了。今天在測試工作如何被進(jìn)行上有很多不同的視圖。為了能夠成功的實(shí)施自動(dòng)化測試你應(yīng)該提出這些問題：

• 測試覆蓋什么？－ 我們沒有覆蓋什么？
• 由于遺漏的測試我們沒有發(fā)現(xiàn)的"bug"會(huì)帶來什么樣的成本？
• 由于不好的測試，破壞已有功能性的成本是多少？
• 如果"瑣碎的"測試被每天的運(yùn)行，對(duì)于你的項(xiàng)目意味著什么？
• 如果我們能夠每天向開發(fā)人員提供他們最近代碼變更相關(guān)的反饋，對(duì)項(xiàng)目有怎樣的影響？

這些問題都能夠被自動(dòng)化測試滿足。你必須從自動(dòng)化測試成熟度的級(jí)別 1 或者 級(jí)別 2 開始，并開始測量結(jié)果。根據(jù)我的經(jīng)驗(yàn)快速的向開發(fā)人員反饋并每天運(yùn)行測試對(duì)于向自動(dòng)化測試成熟度的級(jí)別 4或者 級(jí)別 5 是非常有好處的。

自動(dòng)化測試有以下的貢獻(xiàn)：

• 降低風(fēng)險(xiǎn) － 你知道你測試了什么和沒測試什么
• 測試能在項(xiàng)目的早期開始并隨著時(shí)間一直擴(kuò)展
• 快速的反饋 － 自動(dòng)化測試用例能夠隨時(shí)的運(yùn)行
• 在多個(gè)平臺(tái)上的測試能夠同時(shí)進(jìn)行
• 更好的估計(jì) － 你能夠?qū)y試進(jìn)度和被使用的時(shí)間有更好的了解
• 優(yōu)秀人員的集中 － 你能夠得到一個(gè)專家的團(tuán)隊(duì)，并將他們的知識(shí)傳播給其他的項(xiàng)目
• 喜悅 -你和你的團(tuán)隊(duì)正獲得著成功

參考資料

1. Rational 培訓(xùn)課程 TST170: Principles of Software Testing for Testers
2. Rational培訓(xùn)課程TST275: Essentials of Test Management with Rational TestManager
3. Rational培訓(xùn)課程PRJ480 Mastering the Management of Iterative Development v2003.06.00
4. 參考書：Software Test Automation by Fewster & Graham
5. http://safsdev./FRAMESDataDrivenTestAutomationFrameworks.htm