個人認為做為一個網(wǎng)絡運維工程師，熟練使用軟件只是一個基本本領，更重要的是在運維過程中學習到哪些新知識新本領以及在這過程中如何去排查網(wǎng)絡故障解決疑難雜癥，這才是至關重要的地方。以下將介紹我常用的軟件及網(wǎng)絡故障排查思路、故障處置等方式方法。

1、本人常用的軟件有4款，分別是：SecureCRT、Putty、tftp、子網(wǎng)掩碼計算器；

第一款：SecureCRT

SecureCRT是一款支持ssh登錄網(wǎng)絡設備和服務器設備的終端仿真程序，支持 SSH1，SSH2，Telnet，RLogin，Serial，和 TAPI 等協(xié)議。這款軟件基本每天都在用，每天都需要登錄到不同的網(wǎng)絡設備查看設備配置。

第二款：Putty

putty是一款支持Raw、telnet、rlogin、ssh、串口的連接軟件，該軟件完全免費、體積小、操作簡單、方便使用，它可以讓用戶對窗口進行自定義設置，還可以將連接過的設備進行會話保存，方便用戶下次使用無需再次輸入ip地址和或主機名稱即可連接。

第三款：tftp

TFTP全稱是：Trivial File Transfer Protocol即簡單文件傳輸協(xié)議，是TCP/IP協(xié)議族中的一個用來在客戶機與服務器之間進行簡單文件傳輸?shù)膮f(xié)議，提供不復雜、開銷不大的文件傳輸服務。端口號為69。該軟件使用最多的場景就是對設備進行iOS升級時，時長會用到它，該軟件體積小、操作簡單。

第四款：子網(wǎng)掩碼計算器

該工具可自動劃分A、B、C類IP，可以輸出劃分后的子網(wǎng)掩碼、子網(wǎng)位、最多子網(wǎng)數(shù)、主機位、最多主機數(shù)以及所有的子網(wǎng)列表，并可以將結(jié)果保存到文本文件。

以上四款軟件是個人經(jīng)常使用的。

接下來將分享個人的一些經(jīng)驗，有不足之處還請各位指正。

網(wǎng)絡事件發(fā)生后，以快速排除故障、盡快恢復業(yè)務為最高目標。用戶報障、工程師巡檢或監(jiān)控時發(fā)現(xiàn)網(wǎng)絡設備或線路故障時，網(wǎng)絡工程師應盡快根據(jù)事件現(xiàn)象進行故障定位。故障定位后有應急預案的，按應急預案處理；沒有應急預案的，根據(jù)分析結(jié)果，由所屬團隊出具解決方案，經(jīng)批準后按方案進行處理。

一、網(wǎng)絡故障排查思路

當故障發(fā)生時，遵循以下排查思路：

1、 首先盡可能準確收集故障信息：故障發(fā)生時間、故障現(xiàn)象、影響范圍。了解故障表現(xiàn)出來的現(xiàn)象，然后才能確定可能產(chǎn)生這些現(xiàn)象的故障根源或癥結(jié)，對網(wǎng)絡故障做出完整、清晰的描述是第一步。

2、 根據(jù)用戶反映的故障現(xiàn)象，結(jié)合網(wǎng)管告警，判斷是個別終端故障還是同時影響多個用戶的網(wǎng)絡故障。

3、 根據(jù)網(wǎng)絡故障影響范圍，工程師根據(jù)經(jīng)驗判斷最可能的原因，并進行驗證，如確實為該處故障，立即制定相應解決方法，如果不是，進行系統(tǒng)排障。

4、 系統(tǒng)性網(wǎng)絡排障有三種方法：按照OSI七層模型，有自上而下（應用層到物理層）、自下而上（物理層到應用層）和從中間層（網(wǎng)絡層）入手的排障方法。

5、 明顯屬于應用層故障的，如到DNS服務器網(wǎng)絡可達，但DNS無法解析或解析異常，可從應用層開始從上向下進行排查。

6、 對于明顯屬于物理層故障的，如網(wǎng)卡燈不亮、光模塊不發(fā)光、網(wǎng)管告警顯示相關網(wǎng)絡設備存在硬件告警的，可優(yōu)先從物理層開始，從下至上進行排障。

7、 對于無法確定是物理層故障或應用層故障的，可以先從OSI七層模型的中間層-網(wǎng)絡層開始進行故障定位。

8、 源到目的業(yè)務端口不可達：如果業(yè)務系統(tǒng)訪問對端不通，可根據(jù)源目地址、TCP端口等信息，執(zhí)行源到目地址和端口的聯(lián)通性測試：從源地址telnet目的地址的TCP業(yè)務端口，看能否建立連接。如果無法建立連接，可以使用tracert檢查路由是否正確，定位出錯的網(wǎng)絡設備或網(wǎng)段，在該設備上檢查設備CPU、內(nèi)存利用率是否異常，設備日志是否有告警信息，路由協(xié)議是否正常，ARP信息是否正確，地址轉(zhuǎn)換是否正常，并發(fā)連接數(shù)是否正常，雙機是否正常，在路徑中所有防火墻上檢查安全策略是否開放。

9、 源到目的端口可達但傳輸速度慢：如果業(yè)務端口可達，但傳輸速度慢，使用ping大包（2000字節(jié)）和tracert檢查無規(guī)律丟包和明顯延遲的網(wǎng)絡位置，在該設備上檢查設備CPU、內(nèi)存利用率是否異常，設備日志是否有告警信息，路由協(xié)議和VRRP協(xié)議是否正常，地址轉(zhuǎn)換是否正常，并發(fā)連接數(shù)是否正常，雙機是否正常，接口有無錯誤計數(shù)或?qū)＞€帶寬是否擁塞，從網(wǎng)絡層往上或往下進行故障原因的分析。

10、 如果業(yè)務路徑經(jīng)過專線，需判斷專線是否異常，點對點連通性丟包率超過萬分之五（注意QOS影響），接口輸入錯誤或CRC出現(xiàn)連續(xù)增長，則需要聯(lián)系運營商進行專線排查。

11、 如果連通性、設備性能、鏈路質(zhì)量安全策略都沒有問題，則需要進一步對業(yè)務系統(tǒng)的負載均衡配置情況、業(yè)務系統(tǒng)本身情況、DNS解析情況進行分析和排查。

12、 對于疑難故障，則需要聯(lián)系業(yè)務部門獲取業(yè)務依賴關系，理清數(shù)據(jù)訪問路徑，通過流量分析工具進行進一步的原因分析。

下面列出一些常見的網(wǎng)絡故障及其處理方式：

二、故障處置

網(wǎng)絡方面常見故障及其處理方法：

1. 普通接入故障。了解用戶故障的相關信息，如用戶辦公地點、用戶準入系統(tǒng)認證是否通過、用戶終端是否進入正確的VLAN、能否正確獲取IP地址、用戶網(wǎng)線連接情況、用戶所接入交換機狀態(tài)或接入端口狀態(tài)等進行排查分析。找到故障原因后，進行相應的故障處理。

2. 網(wǎng)絡設備配置故障。根據(jù)用戶反饋的故障現(xiàn)象， 了解相關網(wǎng)絡結(jié)構(gòu)或配置是否最近修改過，即問題出現(xiàn)是否與網(wǎng)絡變化有關，是否近期的變更造成，對相關變更方案和變更操作情況進行回溯和排查，對相關訪問策略、路由策略等配置情況進行排查，判斷故障是否因為設備配置原因造成。如是，按照ITIL流程提出變更申請，審批通過后進行配置變更。

3. 鏈路利用率過高。當網(wǎng)絡遭受攻擊或網(wǎng)絡內(nèi)病毒爆發(fā)時，會出現(xiàn)帶寬利用率過高或設備CPU利用率過高等異?，F(xiàn)象。此時應通知安全工程師通過安全監(jiān)控平臺檢查網(wǎng)絡內(nèi)是否存在網(wǎng)絡攻擊，同時登陸相關的網(wǎng)絡設備，實時分析是否有異常流量，如存在異常流量通知相關團隊進行處理，必要時可以通過斷開網(wǎng)絡端口或使用ACL的方式對該問題主機實施斷網(wǎng)。

4. 設備性能異常。在網(wǎng)絡設備遭受攻擊或網(wǎng)絡內(nèi)存在環(huán)路的情況下會出現(xiàn)此類性能異常。此時應通知安全工程師通過安全監(jiān)控平臺檢查網(wǎng)絡內(nèi)是否存在網(wǎng)絡攻擊，同時登陸相關的網(wǎng)絡設備，分析設備性能異常原因，對故障源進行定位，對攻擊主機進行上報，通知相關團隊進行處理，必要時通過關閉網(wǎng)絡端口或斷開的方式對該問題主機或環(huán)路端口實施斷網(wǎng)，對引起廣播風暴的接口進行關閉。

5. 設備軟件故障。對設備軟件BUG引起的故障，提出臨時解決方案，根據(jù)臨時解決方案，經(jīng)審批后作為臨時應急措施實施?，F(xiàn)場工程師收集故障信息并記錄后，向設備廠商開CASE，和廠商共同分析故障。根據(jù)廠商推薦的軟件更新版本，按照ITIL流程進行版本升級。

6. 設備硬件故障。判斷為硬件故障的，收集故障信息，如有備件，使用存放在備件庫房的備件進行故障部件的更換，將配置恢復至新的設備中。對故障信息進行記錄，向設備廠商開case進行硬件的更換。

7. 廣域網(wǎng)線路故障。發(fā)現(xiàn)故障后由負責工程師即刻向運營商進行線路故障申告，配合運營商進行故障線路的分析處理。當一條線路發(fā)生故障時，該線路上承載的業(yè)務會自動迂回到其他線路上。但是當該線路不停翻轉(zhuǎn)（端口持續(xù)up/down）時，會對業(yè)務造成影響，這時應首先關閉該線路端口或斷開該線路的BGP連接，使該線路不再承載流量，然后向運營商進行故障申告，配合運營商進行故障排查，待線路恢復后重新啟用該線路。

8. Internet出口線路流量異常。當Internet出口線路受到DDOS攻擊時，會造成線路流量擁塞而無法訪問internet。網(wǎng)銀線路已購買運營商的防DDOS攻擊服務，應立即通知運營商進行流量清洗。辦公互聯(lián)網(wǎng)線路未購買防DDOS攻擊服務，情況嚴重時應考慮關閉該條線路到internet的連接。

9. 雙機故障：查看雙機熱備狀態(tài)、查看配置同步狀態(tài)，查看物理鏈路，檢查相關配置，如配置正確但主設備異?；虺霈F(xiàn)雙活時，可以在收集完成相關信息后，在行方批準后把應用切換到備機或把主設備重啟或把主設備從網(wǎng)絡隔離。

10. 其他故障。對于非配置引起的無法確定的故障，現(xiàn)場工程師收集故障信息并記錄后，即刻向設備廠商開CASE，和廠商共同分析故障，根據(jù)廠商提供的解決方案，按照ITIL流程進行配置變更。