樣本不均衡問(wèn)題：指在訓(xùn)練的時(shí)候各個(gè)類別的樣本數(shù)量不均衡，由于檢測(cè)算法各不相同，以及數(shù)據(jù)集之間的差異，可能會(huì)存在正負(fù)樣本、難易樣本、類別間樣本這3種不均衡問(wèn)題。難分正樣本：錯(cuò)分成負(fù)樣本的正樣本，這部分樣本在訓(xùn)練過(guò)程中單個(gè)樣本的損失函數(shù)較高，但是該類占總體樣本的比例較小。難分負(fù)樣本：錯(cuò)分成正樣本的負(fù)樣本，這部分樣本在訓(xùn)練過(guò)程中單個(gè)樣本的損失函數(shù)教高，但是該類占總體樣本的比例教小。

IIoT：當(dāng)5G遇上TSN（時(shí)間敏感網(wǎng)絡(luò)）因此，對(duì)于第16版（3GPP R16），3GPP已開始對(duì)5G NR工業(yè)物聯(lián)網(wǎng)（IIoT）進(jìn)行新的研究，目標(biāo)是“集成5G和TSN網(wǎng)絡(luò)”。以太網(wǎng)和TSN的集成、進(jìn)一步增強(qiáng)的可靠性、靈活的上行鏈路調(diào)度、精確的時(shí)間同步、對(duì)TSN類型流量的支持，是該研究范圍中所包含的功能。3GPP R16的一個(gè)關(guān)鍵研究領(lǐng)域是“進(jìn)一步增強(qiáng)5G系統(tǒng)以支持TSN應(yīng)用的要求”，具體可以參見3GPP技術(shù)規(guī)范22.261《5G系統(tǒng)業(yè)務(wù)要求》。

神經(jīng)網(wǎng)絡(luò)的來(lái)源。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間段直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了(i-1)層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在(m-1)時(shí)刻的輸出！RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時(shí)間的長(zhǎng)度!正如我們上面所說(shuō)，“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過(guò)這次發(fā)生在時(shí)間軸上。除了DNN、CNN、RNN、ResNet（深度殘差）、LSTM之外，還有很多其他結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。

k均值算法[25]可謂所有聚類算法中知名度最高的，其歷史可以追溯到1967年，此后出現(xiàn)了大量的改進(jìn)算法，也有大量成功的應(yīng)用，是所有聚類算法中變種和改進(jìn)型最多的。Mean Shift算法[32]早在1995年就被用于聚類問(wèn)題，和DBSCAN算法[30]，OPTICS算法[31]一樣，同屬于基于密度的聚類算法。譜聚類算法[33]是聚類算法家族中年輕的小伙伴，誕生于2000年左右，它將聚類問(wèn)題轉(zhuǎn)化為圖切割問(wèn)題，這一思想提出之后，出現(xiàn)了大量的改進(jìn)算法。

k均值算法[25]可謂所有聚類算法中知名度最高的，其歷史可以追溯到1967年，此后出現(xiàn)了大量的改進(jìn)算法，也有大量成功的應(yīng)用，是所有聚類算法中變種和改進(jìn)型最多的。Mean Shift算法[32]早在1995年就被用于聚類問(wèn)題，和DBSCAN算法[30]，OPTICS算法[31]一樣，同屬于基于密度的聚類算法。譜聚類算法[33]是聚類算法家族中年輕的小伙伴，誕生于2000年左右，它將聚類問(wèn)題轉(zhuǎn)化為圖切割問(wèn)題，這一思想提出之后，出現(xiàn)了大量的改進(jìn)算法。

如果機(jī)器人踏上地雷，機(jī)器人就死了。如果機(jī)器人到達(dá)最終目標(biāo)，則機(jī)器人獲得100分?，F(xiàn)在的問(wèn)題是：我們?nèi)绾斡?xùn)練機(jī)器人以最短的路徑到達(dá)最終目標(biāo)且不踩地雷？每個(gè)Q表格分?jǐn)?shù)是機(jī)器人在該狀態(tài)下采取該行動(dòng)時(shí)將獲得的最大預(yù)期未來(lái)獎(jiǎng)勵(lì)。隨著機(jī)器人探索環(huán)境，ε率降低，機(jī)器人開始開發(fā)環(huán)境。在機(jī)器人游戲的情況下，反復(fù)迭代評(píng)分/獎(jiǎng)勵(lì)結(jié)構(gòu)是：可以使用Q-Learning來(lái)估計(jì)該函數(shù)，Q-Learning使用貝爾曼方程迭代地更新Q（s，a）。

（2）由于ReLU方法可以很好抑制梯度消失問(wèn)題，AlexNet拋棄了“預(yù)訓(xùn)練+微調(diào)”的方法，完全采用有監(jiān)督訓(xùn)練。具體原因是深層網(wǎng)絡(luò)雖然局部極值非常多，但是通過(guò)DL的BatchGradientDescent優(yōu)化方法很難陷進(jìn)去，而且就算陷進(jìn)去，其局部極小值點(diǎn)與全局極小值點(diǎn)也是非常接近，但是淺層網(wǎng)絡(luò)卻不然，其擁有較少的局部極小值點(diǎn)，但是卻很容易陷進(jìn)去，且這些局部極小值點(diǎn)與全局極小值點(diǎn)相差較大。

比如說(shuō)在 T1" role="presentation" style="position: relative;">T1T1 時(shí)刻，結(jié)點(diǎn) 1 的狀態(tài)接受來(lái)自結(jié)點(diǎn) 3 的上一時(shí)刻的隱藏狀態(tài)，因?yàn)榻Y(jié)點(diǎn) 1 與結(jié)點(diǎn) 3相鄰。比如說(shuō)給定一張圖G" role="presentation" style="position: relative;">GG，開始結(jié)點(diǎn) S" role="presentation" style="position: relative;">SS，對(duì)于任意一個(gè)結(jié)點(diǎn) E" role="presentation" style="position: relative;">EE，模型判斷開始結(jié)點(diǎn)是否可以通過(guò)圖游走至該結(jié)點(diǎn)。

sigmoid激活函數(shù)的性質(zhì)sigmoid激活函數(shù)的使用sigmoid激活函數(shù)python實(shí)現(xiàn)并畫圖。# Required Python Packageimport numpy as npdef sigmoid(inputs): """Calculate the sigmoid for the give inputs (array) :param inputs: :return: """sigmoid_scores = [1 / float(1 + np.exp(- x)) for x in inputs] return sigmoid_scoressigmoid_inputs = [2, 3, 5, 6]print "Sigmoid Function Output :: {}".format(sigmoid(sigmoid_inputs))

Sequence to Sequence 的各種形式Attention Mechanism.Attention 于機(jī)器翻譯Self-Attention文字識(shí)別中的 Attention推薦系統(tǒng)中的 AttentionAttention is all you needAttention 的用途與缺陷最后一點(diǎn)話參考文獻(xiàn)前言。Attention Mechanism的大量使用源于機(jī)器翻譯，機(jī)器翻譯本質(zhì)上是解決一個(gè)Sequence-to-Sequence問(wèn)題，所以這里從Sequence-to-Sequence講起，將要說(shuō)明為什么需要Attention，哪里使用Attention，以及如何使用Attention。

相關(guān)系數(shù)矩陣與熱力圖heatmap.# 生成熱力圖f,ax = plt.subplots(figsize=(10,5))sns.heatmap(corr,annot=True)# annot=True表示在方格內(nèi)顯示數(shù)值。fig = plt.figure()ax = fig.add_subplot(1,1,1)fig, ax = plt.subplots(1,3),其中參數(shù)1和3分別代表子圖的行數(shù)和列數(shù)，一共有 1x3 個(gè)子圖像。fig, ax = plt.subplots(1,3,figsize=(15,7))，這樣就會(huì)有1行3個(gè)15x7大小的子圖。

數(shù)值積分： 梯形規(guī)則。數(shù)值積分：梯形規(guī)則--復(fù)合梯形規(guī)則--辛普森規(guī)則--復(fù)合辛普森規(guī)則--龍貝格求積公式1.問(wèn)題描述。double fa = 0.2 + 25 * a - 200 * pow(a,2) + 675 * pow(a, 3) - 900 * pow(a, 4) + 400 * pow(a, 5);double fb = 0.2 + 25 * b - 200 * pow(b, 2) + 675 * pow(b, 3) - 900 * pow(b, 4) + 400 * pow(b, 5);double fa = 0.2 + 25 * a - 200 * pow(a, 2) + 675 * pow(a, 3) - 900 * pow(a, 4) + 400 * pow(a, 5);

R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk, Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, Saliency Detection via Graph-Based Manifold Ranking, CVPR 2013.2）Yao Qin, Huchuan Lu , Yiqun Xu, He Wang, Saliency Detection via Cellular Automata.

我們會(huì)事先定義一個(gè)迭代次數(shù) epoch，首先計(jì)算梯度向量 params_grad，然后沿著梯度的方向更新參數(shù) params，learning rate 決定了我們每一步邁多大。和 BGD 的一次用所有數(shù)據(jù)計(jì)算梯度相比，SGD 每次更新時(shí)對(duì)每個(gè)樣本進(jìn)行梯度更新，對(duì)于很大的數(shù)據(jù)集來(lái)說(shuō)，可能會(huì)有相似的樣本，這樣 BGD 在計(jì)算梯度時(shí)會(huì)出現(xiàn)冗余，而 SGD 一次只進(jìn)行一次更新，就沒有冗余，而且比較快，并且可以新增樣本。隨著梯度變的稀疏，Adam 比 RMSprop 效果會(huì)好。

這個(gè)“神經(jīng)元”是一個(gè)以 及截距 為輸入值的運(yùn)算單元，其輸出為 ，其中函數(shù) 被稱為“激活函數(shù)”。在本教程中，我們選用sigmoid函數(shù)作為激活函數(shù)。函數(shù)是sigmoid函數(shù)的一種變體，它的取值范圍為 ，而不是sigmoid函數(shù)的 。最后要說(shuō)明的是，有一個(gè)等式我們以后會(huì)經(jīng)常用到：如果選擇 ，也就是sigmoid函數(shù)，那么它的導(dǎo)數(shù)就是 （如果選擇tanh函數(shù)，那它的導(dǎo)數(shù)就是 ，你可以根據(jù)sigmoid（或tanh）函數(shù)的定義自行推導(dǎo)這個(gè)等式。

3D Hand Shape and Pose Estimation from a Single RGB ImageLiuhao Ge^, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, Junsong YuanIn IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019 (Oral).Minimum Near-Convex Shape DecompositionZhou Ren, Junsong Yuan, Wenyu LiuIn IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI), 35(10), 2546-2552, 2013.

for name, param in all_net.named_parameters(): if param.requires_grad: print("requires_grad: True ", name) else: print("requires_grad: False ", name)

深度學(xué)習(xí)激活函數(shù)們。在分類任務(wù)中，雙曲正切函數(shù)（Tanh）逐漸取代 Sigmoid 函數(shù)作為標(biāo)準(zhǔn)的激活函數(shù)，其具有很多神經(jīng)網(wǎng)絡(luò)所鐘愛的特征。Log Log 激活函數(shù)（由上圖 f(x) 可知該函數(shù)為以 e 為底的嵌套指數(shù)函數(shù)）的值域?yàn)?[0,1]，Complementary Log Log 激活函數(shù)有潛力替代經(jīng)典的 Sigmoid 激活函數(shù)。高斯激活函數(shù)（Gaussian）并不是徑向基函數(shù)網(wǎng)絡(luò)（RBFN）中常用的高斯核函數(shù)，高斯激活函數(shù)在多層感知機(jī)類的模型中并不是很流行。

MacBook pro電腦使用TeamViewer/VNC控制一臺(tái)搭載Ubuntu16.04系統(tǒng)的計(jì)算機(jī)。簡(jiǎn)單的想法就是用手上的Mac電腦去控制Ubuntu系統(tǒng)的那臺(tái)計(jì)算機(jī)，方法大概有兩種（目前我所了解的），一是使用ssh指令通過(guò)終端操作另一臺(tái)計(jì)算機(jī)：二是使用具有圖像化界面的遠(yuǎn)程控制軟件，如TeamViewer和VNC這樣的軟件。然后需要我們?cè)O(shè)置VNC的密碼，這個(gè)在我們使用Mac連接的時(shí)候需要用上，接著在終端輸入代碼：x11vnc -storepasswd.

（注）以業(yè)務(wù)為目的，且邀請(qǐng)人為日本政府省廳、國(guó)家獨(dú)立行政法人的研究機(jī)關(guān)的科長(zhǎng)級(jí)別以上或大學(xué)教授或副教授級(jí)別以上的人時(shí)，可以省略身元保證書，申請(qǐng)人持因公護(hù)照也可省略身元保證書。邀請(qǐng)機(jī)關(guān)的資料（國(guó)家或地方政府邀請(qǐng)時(shí)無(wú)需提交，國(guó)家獨(dú)立行政法人的研究機(jī)關(guān)的科長(zhǎng)級(jí)別以上的人時(shí)需要在職證明書，如果申請(qǐng)人持因公護(hù)照，可以省略）。(4)簡(jiǎn)介書或者宣傳冊(cè)等可說(shuō)明邀請(qǐng)機(jī)關(guān)情況的概要資料。