背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. Kernel版本：4.14
2. ARM64處理器，Contex-A53，雙核
3. 使用工具：Source Insight 3.5， Visio

1. 概述

組調(diào)度（task_group）是使用Linux cgroup(control group)的cpu子系統(tǒng)來實(shí)現(xiàn)的，可以將進(jìn)程進(jìn)行分組，按組來分配CPU資源等。
比如，看一個(gè)實(shí)際的例子：
A和B兩個(gè)用戶使用同一臺(tái)機(jī)器，A用戶16個(gè)進(jìn)程，B用戶2個(gè)進(jìn)程，如果按照進(jìn)程的個(gè)數(shù)來分配CPU資源，顯然A用戶會(huì)占據(jù)大量的CPU時(shí)間，這對(duì)于B用戶是不公平的。組調(diào)度就可以解決這個(gè)問題，分別將A、B用戶進(jìn)程劃分成組，并將兩組的權(quán)重設(shè)置成占比50%即可。

帶寬（bandwidth）控制，是用于控制用戶組（task_group）的CPU帶寬，通過設(shè)置每個(gè)用戶組的限額值，可以調(diào)整CPU的調(diào)度分配。在給定周期內(nèi)，當(dāng)用戶組消耗CPU的時(shí)間超過了限額值，該用戶組內(nèi)的任務(wù)將會(huì)受到限制。

由于組調(diào)度和帶寬控制緊密聯(lián)系，因此本文將探討這兩個(gè)主題，本文的討論都基于CFS調(diào)度器，開始吧。

2. task_group

• 組調(diào)度，在內(nèi)核中是通過struct task_group來組織的，task_group本身支持cfs組調(diào)度和rt組調(diào)度，本文主要分析cfs組調(diào)度。
• CFS調(diào)度器管理的是sched_entity調(diào)度實(shí)體，task_struct（代表進(jìn)程）和task_group（代表進(jìn)程組）中分別包含sched_entity，進(jìn)而來參與調(diào)度；

關(guān)于組調(diào)度的相關(guān)數(shù)據(jù)結(jié)構(gòu)，組織如下：

• 內(nèi)核維護(hù)了一個(gè)全局鏈表task_groups，創(chuàng)建的task_group會(huì)添加到這個(gè)鏈表中；
• 內(nèi)核定義了root_task_group全局結(jié)構(gòu)，充當(dāng)task_group的根節(jié)點(diǎn)，以它為根構(gòu)建樹狀結(jié)構(gòu)；
• struct task_group的子節(jié)點(diǎn)，會(huì)加入到父節(jié)點(diǎn)的siblings鏈表中；
• 每個(gè)struct task_group會(huì)分配運(yùn)行隊(duì)列數(shù)組和調(diào)度實(shí)體數(shù)組（以CFS為例，RT調(diào)度類似），其中數(shù)組的個(gè)數(shù)為系統(tǒng)CPU的個(gè)數(shù)，也就是為每個(gè)CPU都分配了運(yùn)行隊(duì)列和調(diào)度實(shí)體；

對(duì)應(yīng)到實(shí)際的運(yùn)行中，如下：

• struct cfs_rq包含了紅黑樹結(jié)構(gòu)，sched_entity調(diào)度實(shí)體參與調(diào)度時(shí)，都會(huì)掛入到紅黑樹中，task_struct和task_group都屬于被調(diào)度對(duì)象；
• task_group會(huì)為每個(gè)CPU再維護(hù)一個(gè)cfs_rq，這個(gè)cfs_rq用于組織掛在這個(gè)任務(wù)組上的任務(wù)以及子任務(wù)組，參考圖中的Group A；
• 調(diào)度器在調(diào)度的時(shí)候，比如調(diào)用pick_next_task_fair時(shí)，會(huì)從遍歷隊(duì)列，選擇sched_entity，如果發(fā)現(xiàn)sched_entity對(duì)應(yīng)的是task_group，則會(huì)繼續(xù)往下選擇；
• 由于sched_entity結(jié)構(gòu)中存在parent指針，指向它的父結(jié)構(gòu)，因此，系統(tǒng)的運(yùn)行也能從下而上的進(jìn)行遍歷操作，通常使用函數(shù)walk_tg_tree_from進(jìn)行遍歷；

2.2 task_group權(quán)重

• 進(jìn)程或進(jìn)程組都有權(quán)重的概念，調(diào)度器會(huì)根據(jù)權(quán)重來分配CPU的時(shí)間。
• 進(jìn)程組的權(quán)重設(shè)置，可以通過/sys文件系統(tǒng)進(jìn)行設(shè)置，比如操作/sys/fs/cgoup/cpu/A/shares；

調(diào)用流程如下圖：

• sched_group_set_shares來完成最終的設(shè)置；
• task_group為每個(gè)CPU都分配了一個(gè)sched_entity，針對(duì)當(dāng)前sched_entity設(shè)置更新完后，往上對(duì)sched_entity->parent設(shè)置更新，直到根節(jié)點(diǎn)；
• shares的值計(jì)算與load相關(guān)，因此也需要調(diào)用update_load_avg進(jìn)行更新計(jì)算；

看一下實(shí)際的效果圖吧：

• 寫節(jié)點(diǎn)操作可以通過echo XXX > /sys/fs/cgroup/cpu/A/B/cpu.shares；
• 橙色的線代表傳入?yún)?shù)指向的對(duì)象；
• 紫色的線代表每次更新涉及到的對(duì)象，包括三個(gè)部分；
• 處理完sched_entity后，繼續(xù)按同樣的流程處理sched_entity->parent；

3. cfs_bandwidth

先看一下/sys/fs/cgroup/cpu下的內(nèi)容吧：

• 有兩個(gè)關(guān)鍵的字段：cfs_period_us和cfs_quota_us，這兩個(gè)與cfs_bandwidth息息相關(guān)；
• period表示周期，quota表示限額，也就是在period期間內(nèi)，用戶組的CPU限額為quota值，當(dāng)超過這個(gè)值的時(shí)候，用戶組將會(huì)被限制運(yùn)行（throttle），等到下一個(gè)周期開始被解除限制（unthrottle）；

來一張圖直觀理解一下：

• 在每個(gè)周期內(nèi)限制在quota的配額下，超過了就throttle，下一個(gè)周期重新開始；

3.1 數(shù)據(jù)結(jié)構(gòu)

內(nèi)核中使用struct cfs_bandwidth來描述帶寬，該結(jié)構(gòu)包含在struct task_group中。
此外，struct cfs_rq中也有與帶寬控制相關(guān)的字段。
還是來看一下代碼吧：

struct cfs_bandwidth {
#ifdef CONFIG_CFS_BANDWIDTH
	raw_spinlock_t lock;
	ktime_t period;
	u64 quota, runtime;
	s64 hierarchical_quota;
	u64 runtime_expires;

	int idle, period_active;
	struct hrtimer period_timer, slack_timer;
	struct list_head throttled_cfs_rq;

	/* statistics */
	int nr_periods, nr_throttled;
	u64 throttled_time;
#endif
};

• period：周期值；
• quota：限額值；
• runtime：記錄限額剩余時(shí)間，會(huì)使用quota值來周期性賦值；
• hierarchical_quota：層級(jí)管理任務(wù)組的限額比率；
• runtime_expires：每個(gè)周期的到期時(shí)間；
• idle：空閑狀態(tài)，不需要運(yùn)行時(shí)分配；
• period_active：周期性計(jì)時(shí)已經(jīng)啟動(dòng)；
• period_timer：高精度周期性定時(shí)器，用于重新填充運(yùn)行時(shí)間消耗；
• slack_timer：延遲定時(shí)器，在任務(wù)出列時(shí)，將剩余的運(yùn)行時(shí)間返回到全局池里；
• throttled_cfs_rq：限流運(yùn)行隊(duì)列列表；
• nr_periods/nr_throttled/throttled_time：統(tǒng)計(jì)值；

struct cfs_rq結(jié)構(gòu)中相關(guān)字段如下：

struct cfs_rq {
...
#ifdef CONFIG_CFS_BANDWIDTH
	int runtime_enabled;
	u64 runtime_expires;
	s64 runtime_remaining;

	u64 throttled_clock, throttled_clock_task;
	u64 throttled_clock_task_time;
	int throttled, throttle_count;
	struct list_head throttled_list;
#endif /* CONFIG_CFS_BANDWIDTH */
...
}

• runtime_enabled：周期計(jì)時(shí)器使能；
• runtime_expires：周期計(jì)時(shí)器到期時(shí)間；
• runtime_remaining：剩余的運(yùn)行時(shí)間；

3.2 流程分析

3.2.1 初始化流程

先看一下初始化的操作，初始化函數(shù)init_cfs_bandwidth本身比較簡(jiǎn)單，完成的工作就是將struct cfs_bandwidth結(jié)構(gòu)體進(jìn)程初始化。

• 注冊(cè)兩個(gè)高精度定時(shí)器：period_timer和slack_timer；
• period_timer定時(shí)器，用于在時(shí)間到期時(shí)重新填充關(guān)聯(lián)的任務(wù)組的限額，并在適當(dāng)?shù)臅r(shí)候unthrottlecfs運(yùn)行隊(duì)列；
• slack_timer定時(shí)器，slack_period周期默認(rèn)為5ms，在該定時(shí)器函數(shù)中也會(huì)調(diào)用distribute_cfs_runtime從全局運(yùn)行時(shí)間中分配runtime；
• start_cfs_bandwidth和start_cfs_slack_bandwidth分別用于啟動(dòng)定時(shí)器運(yùn)行，其中可以看出在dequeue_entity的時(shí)候會(huì)去利用slack_timer，將運(yùn)行隊(duì)列的剩余時(shí)間返回給tg->cfs_b這個(gè)runtime pool；
• unthrottle_cfs_rq函數(shù)，會(huì)將throttled_list中的對(duì)應(yīng)cfs_rq刪除，并且從下往上遍歷任務(wù)組，針對(duì)每個(gè)任務(wù)組調(diào)用tg_unthrottle_up處理，最后也會(huì)根據(jù)cfs_rq對(duì)應(yīng)的sched_entity從下往上遍歷處理，如果sched_entity不在運(yùn)行隊(duì)列上，那就重新enqueue_entity以便參與調(diào)度運(yùn)行，這個(gè)也就完成了解除限制的操作；

do_sched_cfs_period_timer函數(shù)與do_sched_cfs_slack_timer()函數(shù)都調(diào)用了distrbute_cfs_runtime()，該函數(shù)用于分發(fā)tg->cfs_b的全局運(yùn)行時(shí)間runtime，用于在該task_group中平衡各個(gè)CPU上的cfs_rq的運(yùn)行時(shí)間runtime，來一張示意圖：

• 系統(tǒng)中兩個(gè)CPU，因此task_group針對(duì)每個(gè)cpu都維護(hù)了一個(gè)cfs_rq，這些cfs_rq來共享該task_group的限額運(yùn)行時(shí)間；
• CPU0上的運(yùn)行時(shí)間，淺黃色模塊表示超額了，那么在下一個(gè)周期的定時(shí)器點(diǎn)上會(huì)進(jìn)行彌補(bǔ)處理；

3.2.2 用戶設(shè)置流程

用戶可以通過操作/sys中的節(jié)點(diǎn)來進(jìn)行設(shè)置：

• 操作/sys/fs/cgroup/cpu/下的cfs_quota_us/cfs_period_us節(jié)點(diǎn)，最終會(huì)調(diào)用到tg_set_cfs_bandwidth函數(shù)；
• tg_set_cfs_bandwidth會(huì)從root_task_group根節(jié)點(diǎn)開始，遍歷組調(diào)度樹，并逐個(gè)設(shè)置限額比率 ；
• 更新cfs_bandwidth的runtime信息；
• 如果使能了cfs_bandwidth功能，則啟動(dòng)帶寬定時(shí)器；
• 遍歷task_group中的每個(gè)cfs_rq隊(duì)列，設(shè)置runtime_remaining值，如果cfs_rq隊(duì)列限流了，則需要進(jìn)行解除限流操作；

3.2.3 throttle限流操作

cfs_rq運(yùn)行隊(duì)列被限制，是在throttle_cfs_rq函數(shù)中實(shí)現(xiàn)的，其中調(diào)用關(guān)系如下圖：

• 調(diào)度實(shí)體sched_entity入列時(shí)，進(jìn)行檢測(cè)是否運(yùn)行時(shí)間已經(jīng)達(dá)到限額，達(dá)到則進(jìn)行限制處理；
• pick_next_task_fair/put_prev_task_fair在選擇任務(wù)調(diào)度時(shí)，也需要進(jìn)行檢測(cè)判斷；

3.2.4 總結(jié)

總體來說，帶寬控制的原理就是通過task_group中的cfs_bandwidth來管理一個(gè)全局的時(shí)間池，分配給屬于這個(gè)任務(wù)組的運(yùn)行隊(duì)列，當(dāng)超過限額的時(shí)候則限制隊(duì)列的調(diào)度。同時(shí)，cfs_bandwidth維護(hù)兩個(gè)定時(shí)器，一個(gè)用于周期性的填充限額并進(jìn)行時(shí)間分發(fā)處理，一個(gè)用于將未用完的時(shí)間再返回到時(shí)間池中，大抵如此。

組調(diào)度和帶寬控制就先分析到此，下篇文章將分析CFS調(diào)度器了，敬請(qǐng)期待。