3.3　使用分類模型預測類標簽

有了這些工具，我們現在就可以開始進行第一個真正的分類示例了。

以蘭普威爾小鎮為例，那里的人們為他們的兩支球隊——蘭普威爾紅隊和蘭普威爾藍隊——而瘋狂。紅隊已經存在很長時間了，人們很喜歡這支隊伍。但是后來，一些外地來的富翁買下了紅隊的最佳射手，成立了一支新的球隊——藍隊。令多數紅隊球迷不滿的是，這位最佳射手將繼續帶領藍隊奪得冠軍。多年后，盡管一些球迷對他早期的職業選擇強烈不滿，但他還是回到了紅隊。可是不管怎么說，你會明白為什么紅隊的球迷和藍隊的球迷一直不能和睦相處。事實上，這兩隊的球迷是如此分裂，以至于他們從未在同一處居住過。我們甚至聽說過這樣的故事：當藍隊球迷搬到隔壁時，紅隊球迷就會故意離開。故事是真實的！

不管怎樣，我們是新到鎮上的，我們正挨家挨戶向人們推銷藍隊產品。然而，我們偶爾會遇到心在滴血的紅隊球迷因為我們推銷藍隊的東西而對我們大吼大叫，還把我們趕出他們的草坪。太不友好了！完全避開這些紅隊球迷，而只拜訪藍隊球迷，這樣壓力會小很多，我們的時間也能更好地被利用。

我們相信可以預測紅隊球迷的生活區，開始記錄我們的活動軌跡。如果我們路過紅隊球迷的家，則會在手邊的城鎮地圖上畫一個紅色的三角形；否則會畫一個藍色的正方形。一段時間后，我們對每個人的居住地有了一個很好的了解，如圖3-3所示。

可是，在圖3-3中，我們正在靠近一間標記為綠色圓圈的房子。我們應該敲他們的門嗎？我們試圖找到一些線索，以確定他們可能是哪個隊的球迷（也許在后門廊上掛著隊旗，可我們沒看到）。我們怎樣才能知道敲他們的門是安全的呢？

這個例子恰恰描述了監督學習算法可以解決的問題。我們有一堆觀測數據（房子、位置以及顏色），這些數據構成了我們的訓練數據。我們可以利用這些數據從經驗中學習，當我們要對一個新房子進行顏色預測的任務時，我們就可以做出明智的估計。

正如前面說過的那樣，紅隊球迷對他們的球隊充滿感情，所以他們永遠不會和藍隊球迷住在一起。我們能不能利用這些信息，觀察一下周圍的房子，再看看新房子里住的是哪個隊的球迷？

這正是k-NN算法能夠實現的。

3.3.1　理解k-NN算法

k-NN算法可以說是機器學習算法中最簡單的一個。原因是我們基本上只需要存儲訓練數據集。然后，要預測一個新的數據點，我們只需要找到訓練數據集中最近的數據點：它的最近鄰居。

簡而言之，k-NN算法認為一個數據點可能與其鄰居屬于同一類。想想看，如果我們的鄰居是紅隊球迷，我們可能也是紅隊球迷；否則，我們早就搬走了。對于藍隊球迷來說也是如此。

當然，有些鄰居可能稍微有點復雜。在這種情況下，我們可能不只要考慮我們的最近鄰居（k=1），而且還要考慮離我們最近的k個最近鄰居。讓我們繼續前面介紹過的例子，如果我們是紅隊球迷，我們不可能搬到大多數人都認為可能是藍隊球迷的社區。

這就是它的全部。

3.3.2　用OpenCV實現k-NN

使用OpenCV，通過cv2.ml.KNearest_Create()函數我們可以很容易創建一個k-NN模型。構建模型包括下列步驟：

1）生成一些訓練數據。

2）對于一個給定的數k，創建一個k-NN對象。

3）為我們要分類的一個新數據點找到k個最近鄰。

4）根據多數票分配新數據點的類標簽。

5）繪制結果。

首先，我們導入所有必要的模塊：OpenCV的k-NN算法模塊、NumPy的數據處理模塊、Matplotlib的繪圖模塊。如果你正在使用Jupyter Notebook，請不要忘記調用%matplotlib inline魔術命令：

1. 生成訓練數據

第一步是生成一些訓練數據。為此，我們將使用NumPy的隨機數生成器。正如3.2節討論過的，我們將固定隨機數生成器的種子，這樣重新運行腳本總是可以生成相同的值：

好了，現在讓我們開始吧。我們的訓練數據應該是什么樣子的呢？

在前面的例子中，每個數據點都是城鎮地圖上的一個房子。每個數據點都有兩個特征（即數據點在城鎮地圖上的位置坐標x和y）以及一個類標簽（即藍隊球迷居住地是一個藍色方塊，紅隊球迷居住地是一個紅色三角形）。

因此，單個數據點的特征在城鎮地圖上可以用x和y坐標的一個二元向量來表示。類似地，如果是一個藍色方塊，那么標簽是0；如果是一個紅色三角形，那么標簽是1。這個過程包括數據點生成、數據點繪制以及新數據點的標簽預測。讓我們來看看如何實現這些步驟：

1）隨機選擇地圖上的位置以及一個隨機標簽（0或者1），我們可以生成單個數據點。假設城鎮地圖的范圍是0≤x≤100和0≤y≤100。那么，我們可以生成一個隨機數據點，如下所示：

在上述輸出中我們可以看到，這將在0到100之間選擇兩個隨機整數。我們把第一個整數解釋為地圖上數據點的x坐標，第二個整數解釋為數據點的y坐標。

2）類似地，我們為數據點選擇一個標簽：

這個數據點的類是0，將其解釋為一個藍色方塊。

3）讓我們將這個過程封裝到一個函數中，該函數以生成的數據點數（即num_samples）和每個數據點的特征數（即num_features）作為輸入：

因為在我們的例子中，特征數是2，所以可以使用這個數作為默認的參數值。這樣，如果我們在調用函數時，沒有顯式地指定num_features，那么會將一個為2的值自動分配該函數。我相信你現在已經明白了。

我們要創建的數據矩陣應該有num_samples行num_features列，而且矩陣中的每個元素都應該是從（0, 100）范圍內隨機選取的一個整數：

類似地，我們要創建一個向量，包含（0, 2）范圍內的一個隨機整數標簽，對于所有樣本：

不要忘記讓函數返回生成的數據：

4）讓我們對該函數進行測試并生成任意數量的數據點，假設為11個數據點，其坐標是隨機選擇的：

5）正如我們在上述輸出中看到的那樣，train_data變量是一個11×2的數組，每一行對應一個數據點。通過在數組中建立索引來查看第一個數據點及其對應的標簽：

6）這就告訴我們第一個數據點是一個紅色三角形（因為它的類是1），在城鎮地圖上的位置是（x, y）=（71, 60）。如果需要，我們可以使用Matplotlib繪制城鎮地圖上的這個數據點：

我們得到的結果如圖3-4所示。

7）但是，如果我們想一次看到整個訓練集呢？讓我們為此編寫一個函數。應該把所有藍色方塊數據點的列表（all_blue）以及所有紅色三角形數據點的列表（all_red）作為函數的輸入：

8）我們的函數應該把所有的藍色數據點繪制成藍色方塊（使用顏色“b”和標記“s”），這可以使用matplotlib的scatter函數來實現。為了使其可以工作，我們必須以一個N×2的數組形式傳遞藍色數據點，其中N是樣本數。然后，all_blue [:, 0]包含數據點的所有x坐標，all_blue[:, 1]包含數據點的所有y坐標：

9）類似地，所有的紅色數據點也可以這樣實現：

10）最后，我們用標簽標注圖：

11）讓我們在數據集上試試看！首先，我們必須將所有的數據點拆分成紅色數據集和藍色數據集。使用下列命令，我們可以快速選擇前面創建的label數組中所有等于0的元素（ravel平展數組）：

12）所有藍色數據點是之前創建的train_data數組的所有行，對應的標簽是0：

13）對于所有的紅色數據點也可以這樣實現：

14）最后，讓我們繪制所有的數據點：

創建的圖如圖3-5所示。

現在是時候訓練分類器了。

2. 訓練分類器

與機器學習的所有其他函數一樣，k-NN分類器是OpenCV 3.1 ml模塊的一部分。使用下列命令，我們可以創建一個新的分類器：

然后，我們將訓練數據傳遞給train方法：

此處，我們必須讓knn知道我們的數據是一個N×2的數組（即每一行是一個數據點）。成功后，函數返回True。

3. 預測一個新數據點的標簽

knn提供的另一個非常有用的方法是findNearest。該方法可以基于其最近鄰居預測一個新數據點的標簽。

generate_data函數生成一個新的數據點實際上是很容易的！我們可以把一個新數據點看成大小為1的數據集：

我們的函數還會返回一個隨機標簽，可是我們對此并不感興趣。我們想用已訓練的分類器來預測！我們可以讓Python忽略一個帶有下劃線（_）的輸出值。

讓我們再來看看我們的城鎮地圖。我們將像前面那樣繪制訓練集，而且還將新數據點添加為一個綠色圓圈（因為我們還不知道這個數據點應該是藍色方塊還是紅色三角形）：

上述代碼將生成圖3-6（–環）。

如果你必須根據該數據點的鄰居來猜測的話，你會為新數據點分配什么標簽？藍色方塊，還是紅色三角形？

這要看情況，不是嗎？如果我們查看離該點最近的房屋（大概在（x, y）=（85, 75），在圖3-6中的虛線圓圈內），我們可能也會給新數據點分配一個三角形。這也正好是我們的分類器所預測的k=1：

這里，knn報告最近鄰居是250個任意單位距離，這個鄰居標簽是1（我們說過它對應于紅色三角形），因此，新數據點也應該標記為1。如果我們看看k=2的最近鄰居和k=3的最近鄰居，情況也是一樣的。但我們要注意不要令k為偶數，這是為什么呢？在圖3-6中（虛線圓圈）可以看到原因，在虛線圓圈內的6個最近鄰居中，有3個藍色方塊，3個紅色三角形——打平了！

最后，如果我們擴大搜索窗口，根據k=7的最近鄰居對新數據點進行分類，結果會怎樣呢（圖3-6中的實線圓圈）？

我們通過調用findNearest方法、k=7的鄰居找出答案：

此時，預測標簽變成了0（藍色方塊）。原因是，現在我們在實線圓圈內有4個鄰居是藍色方塊（標簽0），只有3個鄰居是紅色三角形（標簽1）。因此，多數票表明這個新數據點也應該是一個藍色方塊。

或者，可以使用predict方法進行預測。但是，首先我們需要設置k：

如果我們設置k=7會怎樣呢？讓我們來看看吧：

正如你所看到的，k-NN的結果隨k值的變化而變化。但是，通常我們事先并不知道k取什么值最合適。對于這個問題，最簡單的解決方案是嘗試一系列k值，看看哪個值表現最佳。在本書的后續章節中，我們將學習更復雜的解決方案。