背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說(shuō)明：

1. Kernel版本：4.14
2. ARM64處理器
3. 使用工具：Source Insight 3.5， Visio

1. 概述

從本文開(kāi)始，將會(huì)針對(duì)PCIe專(zhuān)題來(lái)展開(kāi)，涉及的內(nèi)容包括：

1. PCI/PCIe總線(xiàn)硬件；
2. Linux PCI驅(qū)動(dòng)核心框架；
3. Linux PCI Host控制器驅(qū)動(dòng)；

不排除會(huì)包含PCIe外設(shè)驅(qū)動(dòng)模塊，一切隨緣。

 
作為專(zhuān)題的第一篇，當(dāng)然會(huì)先從硬件總線(xiàn)入手。
進(jìn)入主題前，先講點(diǎn)背景知識(shí)。
在PC時(shí)代，隨著處理器的發(fā)展，經(jīng)歷了幾代I/O總線(xiàn)的發(fā)展，解決的問(wèn)題都是CPU主頻提升與外部設(shè)備訪(fǎng)問(wèn)速度的問(wèn)題：

1. 第一代總線(xiàn)包含ISA、EISA、VESA和Micro Channel等；
2. 第二代總線(xiàn)包含PCI、AGP、PCI-X等；
3. 第三代總線(xiàn)包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統(tǒng)中最常用的高速總線(xiàn)，PCIe在PCI的基礎(chǔ)上發(fā)展而來(lái)，在軟件上PCIe與PCI是后向兼容的，PCI的系統(tǒng)軟件可以用在PCIe系統(tǒng)中。

 
本文會(huì)分兩部分展開(kāi)，先介紹PCI總線(xiàn)，然后再介紹PCIe總線(xiàn)，方便在理解上的過(guò)渡，開(kāi)始旅程吧。

2. PCI Local Bus

2.1 PCI總線(xiàn)組成

• PCI總線(xiàn)（Peripheral Component Interconnect，外部設(shè)備互聯(lián)），由Intel公司提出，其主要功能是連接外部設(shè)備；
• PCI Local Bus，PCI局部總線(xiàn)，局部總線(xiàn)技術(shù)是PC體系結(jié)構(gòu)發(fā)展的一次變革，是在ISA總線(xiàn)和CPU總線(xiàn)之間增加的一級(jí)總線(xiàn)或管理層，可將一些高速外設(shè)，如圖形卡、硬盤(pán)控制器等從ISA總線(xiàn)上卸下，而通過(guò)局部總線(xiàn)直接掛接在CPU總線(xiàn)上，使之與高速CPU總線(xiàn)相匹配。PCI總線(xiàn)，指的就是PCI Local Bus。

先來(lái)看一下PCI Local Bus的系統(tǒng)架構(gòu)圖：

從圖中看，與PCI總線(xiàn)相關(guān)的模塊包括：

1. Host Bridge，比如PC中常見(jiàn)的North Bridge（北橋）；
   圖中處理器、Cache、內(nèi)存子系統(tǒng)通過(guò)Host Bridge連接到PCI上，Host Bridge管理PCI總線(xiàn)域，是聯(lián)系處理器和PCI設(shè)備的橋梁，完成處理器與PCI設(shè)備間的數(shù)據(jù)交換。其中數(shù)據(jù)交換，包含處理器訪(fǎng)問(wèn)PCI設(shè)備的地址空間和PCI設(shè)備使用DMA機(jī)制訪(fǎng)問(wèn)主存儲(chǔ)器，在PCI設(shè)備用DMA訪(fǎng)問(wèn)存儲(chǔ)器時(shí)，會(huì)存在Cache一致性問(wèn)題，這個(gè)也是Host Bridge設(shè)計(jì)時(shí)需要考慮的；
   此外，Host Bridge還可選的支持仲裁機(jī)制，熱插拔等；

2. PCI Local Bus；
   PCI總線(xiàn)，由Host Bridge或者PCI-to-PCI Bridge管理，用來(lái)連接各類(lèi)設(shè)備，比如聲卡、網(wǎng)卡、IDE接口等。可以通過(guò)PCI-to-PCI Bridge來(lái)擴(kuò)展PCI總線(xiàn)，并構(gòu)成多級(jí)總線(xiàn)的總線(xiàn)樹(shù)，比如圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI總線(xiàn)就構(gòu)成一顆總線(xiàn)樹(shù)，同屬一個(gè)總線(xiàn)域；

3. PCI-To-PCI Bridge；
   PCI橋，用于擴(kuò)展PCI總線(xiàn)，使采用PCI總線(xiàn)進(jìn)行大規(guī)模系統(tǒng)互聯(lián)成為可能，管理下游總線(xiàn)，并轉(zhuǎn)發(fā)上下游總線(xiàn)之間的事務(wù)；

4. PCI Device；
   PCI總線(xiàn)中有三類(lèi)設(shè)備：PCI從設(shè)備，PCI主設(shè)備，橋設(shè)備。
   PCI從設(shè)備：被動(dòng)接收來(lái)自Host Bridge或者其他PCI設(shè)備的讀寫(xiě)請(qǐng)求；
   PCI主設(shè)備：可以通過(guò)總線(xiàn)仲裁獲得PCI總線(xiàn)的使用權(quán)，主動(dòng)向其他PCI設(shè)備或主存儲(chǔ)器發(fā)起讀寫(xiě)請(qǐng)求；
   橋設(shè)備：管理下游的PCI總線(xiàn)，并轉(zhuǎn)發(fā)上下游總線(xiàn)之間的總線(xiàn)事務(wù)，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。

2.2 PCI總線(xiàn)信號(hào)定義

PCI總線(xiàn)是一條共享總線(xiàn)，可以?huà)旖佣鄠€(gè)PCI設(shè)備，PCI設(shè)備通過(guò)一系列信號(hào)與PCI總線(xiàn)相連，包括：地址/數(shù)據(jù)信號(hào)、接口控制信號(hào)、仲裁信號(hào)、中斷信號(hào)等。如下圖：

• 左側(cè)紅色框里表示的是PCI總線(xiàn)必需的信號(hào)，而右側(cè)藍(lán)色框里表示的是可選的信號(hào)；
• AD[31:00]：地址與數(shù)據(jù)信號(hào)復(fù)用，在傳送時(shí)第一個(gè)時(shí)鐘周期傳送地址，下一個(gè)時(shí)鐘周期傳送數(shù)據(jù)；
• C/BE[3:0]#：PCI總線(xiàn)命令與字節(jié)使能信號(hào)復(fù)用，在地址周期中表示的是PCI總線(xiàn)命令，在數(shù)據(jù)周期中用于字節(jié)選擇，可以進(jìn)行單字節(jié)、字、雙字訪(fǎng)問(wèn)；
• PAR：奇偶校驗(yàn)信號(hào)，確保AD[31:00]和C/BE[3:0]#傳遞的正確性；
• Interface Control：接口控制信號(hào)，主要作用是保證數(shù)據(jù)的正常傳遞，并根據(jù)PCI主從設(shè)備的狀態(tài)，暫停、終止或者正常完成總線(xiàn)事務(wù)：
  • FRAME#：表示PCI總線(xiàn)事務(wù)的開(kāi)始與結(jié)束；
  • IRDY#：信號(hào)由PCI主設(shè)備驅(qū)動(dòng)，信號(hào)有效時(shí)表示PCI主設(shè)備數(shù)據(jù)已經(jīng)ready；
  • TRDY#：信號(hào)由目標(biāo)設(shè)備驅(qū)動(dòng)，信號(hào)有效時(shí)表示目標(biāo)設(shè)備數(shù)據(jù)已經(jīng)ready；
  • STOP#：目標(biāo)設(shè)備請(qǐng)求主設(shè)備停止當(dāng)前總線(xiàn)事務(wù)；
  • DEVSEL#：PCI總線(xiàn)的目標(biāo)設(shè)備已經(jīng)準(zhǔn)備好；
  • IDSEL：PCI總線(xiàn)在配置讀寫(xiě)總線(xiàn)事務(wù)時(shí)，使用該信號(hào)選擇PCI目標(biāo)設(shè)備；
• Arbitration：仲裁信號(hào)，由REQ#和GNT#組成，與PCI總線(xiàn)的仲裁器直接相連，只有PCI主設(shè)備需要使用該組信號(hào)，每條PCI總線(xiàn)上都有一個(gè)總線(xiàn)仲裁器；
• Error Reporting：錯(cuò)誤信號(hào)，包括PERR#奇偶校驗(yàn)錯(cuò)誤和SERR系統(tǒng)錯(cuò)誤；
• System：系統(tǒng)信號(hào)，包括時(shí)鐘信號(hào)和復(fù)位信號(hào)；

看一下C/BE[3:0]都有哪些命令吧：

2.3 PCI事務(wù)模型

PCI使用三種模型用于數(shù)據(jù)的傳輸：

1. Programmed I/O：通過(guò)IO讀寫(xiě)訪(fǎng)問(wèn)PCI設(shè)備空間；
2. DMA：PIO的方式比較低效，DMA的方式可以直接去訪(fǎng)問(wèn)主存儲(chǔ)器而無(wú)需CPU干預(yù)，效率更高；
3. Peer-to-peer：兩臺(tái)PCI設(shè)備之間直接傳送數(shù)據(jù)；

2.4 PCI總線(xiàn)地址空間映射

PCI體系架構(gòu)支持三種地址空間：

1. memory空間：
   針對(duì)32bit尋址，支持4G的地址空間，針對(duì)64bit尋址，支持16EB的地址空間；

2. I/O空間
   PCI最大支持4G的IO空間，但受限于x86處理器的IO空間（16bits帶寬），很多平臺(tái)將PCI的IO地址空間限定在64KB；

3. 配置空間
   x86 CPU可以直接訪(fǎng)問(wèn)memory空間和I/O空間，而配置空間則不能直接訪(fǎng)問(wèn)；
   每個(gè)PCI功能最多可以有256字節(jié)的配置空間；
   PCI總線(xiàn)在進(jìn)行配置的時(shí)候，采用ID譯碼方式，使用設(shè)備的ID號(hào)，包括Bus Number，Device Number，Function Number和Register Number，每個(gè)系統(tǒng)支持256條總線(xiàn)，每條總線(xiàn)支持32個(gè)設(shè)備，每個(gè)設(shè)備支持8個(gè)功能，由于每個(gè)功能最多有256字節(jié)的配置空間，因此總的配置空間大小為：256B * 8 * 32 * 256 = 16M；

   有必要再進(jìn)一步介紹一下配置空間：
   x86 CPU無(wú)法直接訪(fǎng)問(wèn)配置空間，通過(guò)IO映射的數(shù)據(jù)端口和地址端口間接訪(fǎng)問(wèn)PCI的配置空間，其中地址端口映射到0CF8h - 0CFBh，數(shù)據(jù)端口映射到0CFCh - 0CFFh；
   

   • 圖為配置地址寄存器構(gòu)成，PCI的配置過(guò)程分為兩步：
     1. CPU寫(xiě)CF8h端口，其中寫(xiě)的內(nèi)容如圖所示，BUS，Device，F(xiàn)unction能標(biāo)識(shí)出特定的設(shè)備功能，Doubleword來(lái)指定配置空間的具體某個(gè)寄存器；
     2. CPU可以IO讀寫(xiě)CFCh端口，用于讀取步驟1中的指定寄存器內(nèi)容，或者寫(xiě)入指定寄存器內(nèi)容。這個(gè)過(guò)程有點(diǎn)類(lèi)似于通過(guò)I2C去配置外接芯片；

   那具體的配置空間寄存器都是什么樣的呢？每個(gè)功能256Byte，前邊64Byte是Header，剩余的192Byte支持可選功能。有種類(lèi)型的PCI功能：Bridge和Device，兩者的Header都不一樣。

   • Bridge
     

   • Device
     

配置空間中有個(gè)寄存器字段需要說(shuō)明一下：Base Address Register，也就是BAR空間，當(dāng)PCI設(shè)備的配置空間被初始化后，該設(shè)備在PCI總線(xiàn)上就會(huì)擁有一個(gè)獨(dú)立的PCI總線(xiàn)地址空間，這個(gè)空間就是BAR空間，BAR空間可以存放IO地址空間，也可以存放存儲(chǔ)器地址空間。

• PCI總線(xiàn)取得了很大的成功，但隨著CPU的主頻不斷提高，PCI總線(xiàn)的帶寬也捉襟見(jiàn)肘。此外，它本身存在一些架構(gòu)上的缺陷，面臨一系列挑戰(zhàn)，包括帶寬、流量控制、數(shù)據(jù)傳送質(zhì)量等；
• PCIe應(yīng)運(yùn)而生，能有效解決這些問(wèn)題，所以PCIe才是我們的主角；

3. PCI Express

3.1 PCIe體系結(jié)構(gòu)

先看一下PCIe架構(gòu)的組成圖：

• Root Complex：CPU和PCIe總線(xiàn)之間的接口可能會(huì)包含幾個(gè)模塊（處理器接口、DRAM接口等），甚至可能還會(huì)包含芯片，這個(gè)集合就稱(chēng)為Root Complex，它作為PCIe架構(gòu)的根，代表CPU與系統(tǒng)其它部分進(jìn)行交互。廣義來(lái)說(shuō)，Root Complex可以認(rèn)為是CPU和PCIe拓?fù)渲g的接口，Root Complex會(huì)將CPU的request轉(zhuǎn)換成PCIe的4種不同的請(qǐng)求（Configuration、Memory、I/O、Message）；
• Switch：從圖中可以看出，Swtich提供扇出能力，讓更多的PCIe設(shè)備連接在PCIe端口上；
• Bridge：橋接設(shè)備，用于去連接其他的總線(xiàn)，比如PCI總線(xiàn)或PCI-X總線(xiàn)，甚至另外的PCIe總線(xiàn)；
• PCIe Endpoint：PCIe設(shè)備；
• 圖中白色的小方塊代表Downstream端口，灰色的小方塊代表Upstream端口；

前文提到過(guò)，PCIe在軟件上保持了后向兼容性，那么在PCIe的設(shè)計(jì)上，需要考慮在PCI總線(xiàn)上的軟件視角，比如Root Complex的實(shí)現(xiàn)可能就如下圖所示，從而看起來(lái)與PCI總線(xiàn)相差無(wú)異：

• Root Complex通常會(huì)實(shí)現(xiàn)一個(gè)內(nèi)部總線(xiàn)結(jié)構(gòu)和多個(gè)橋，從而扇出到多個(gè)端口上；
• Root Complex的內(nèi)部實(shí)現(xiàn)不需要遵循標(biāo)準(zhǔn)，因此都是廠(chǎng)家specific的；

而Switch的實(shí)現(xiàn)可能如下圖所示：

• Switch就是一個(gè)擴(kuò)展設(shè)備，所以看起來(lái)像是各種橋的連接路由；

3.2 PCIe數(shù)據(jù)傳輸

• 與PCI總線(xiàn)不同（PCI設(shè)備共享總線(xiàn)），PCIe總線(xiàn)使用端到端的連接方式，互為接收端和發(fā)送端，全雙工，基于數(shù)據(jù)包的傳輸；
• 物理底層采用差分信號(hào)（PCI鏈路采用并行總線(xiàn)，而PCIe鏈路采用串行總線(xiàn)），一條Lane中有兩組差分信號(hào)，共四根信號(hào)線(xiàn)，而PCIe Link可以由多條Lane組成，可以支持1、2、4、8、12、16、32條；

PCIe規(guī)范定義了分層的架構(gòu)設(shè)計(jì)，包含三層：

1. Transaction層

   • 負(fù)責(zé)TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負(fù)責(zé)QoS，流控、排序等功能；

2. Data Link層

   • 負(fù)責(zé)DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負(fù)責(zé)鏈接錯(cuò)誤檢測(cè)和校正，使用Ack/Nak協(xié)議來(lái)確保傳輸可靠；

3. Physical層

   • 負(fù)責(zé)Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種類(lèi)型的包傳輸；

數(shù)據(jù)包的封裝與解封裝，與網(wǎng)絡(luò)包的創(chuàng)建與解析很類(lèi)似，如下圖：

• 封裝的時(shí)候，在Payload數(shù)據(jù)前添加各種包頭，解析時(shí)是一個(gè)逆向的過(guò)程；

來(lái)一個(gè)更詳細(xì)的PCIe分層圖：

3.3 PCIe設(shè)備的配置空間

為了兼容PCI軟件，PCIe保留了256Byte的配置空間，如下圖：

此外，在這個(gè)基礎(chǔ)上將配置空間擴(kuò)展到了4KB，還進(jìn)行了功能的擴(kuò)展，比如Capability、Power Management、MSI中斷等：

• 擴(kuò)展后的區(qū)域?qū)⑹褂肕MIO的方式進(jìn)行訪(fǎng)問(wèn)；

草草收?qǐng)霭桑瑢?duì)PCI和PCIe有一些輪廓上的認(rèn)知了，可以開(kāi)始Source Code的軟件分析了，欲知詳情、下回分解！

參考

《PCI Express Technology 3.0》
《pci local bus specification revision 3.0》
《PCIe體系結(jié)構(gòu)導(dǎo)讀》
《PCI Express系統(tǒng)體系結(jié)構(gòu)標(biāo)準(zhǔn)教材》