(1)基于區(qū)域的跟蹤算法
視覺追蹤
基于區(qū)域的跟蹤算法基本思想是:將目標(biāo)初始所在區(qū)域的圖像塊作為目標(biāo)模板,將目標(biāo)模板與候選圖像中所有可能的位置進(jìn)行相關(guān)匹配,匹配度最高的地方即為目標(biāo)所在的位置。最常用的相關(guān)匹配準(zhǔn)則是差的平方和準(zhǔn)則,(Sum of Square Difference,SSD)。起初,基于區(qū)域的跟蹤算法中所用到的目標(biāo)模板是固定的,如 Lucas 等人提出 Lucas-Kanade 方法,該方法利用灰度圖像的空間梯度信息尋找最佳匹配區(qū)域,確定目標(biāo)位置。之后,更多的學(xué)者針對基于區(qū)域方法的缺點(diǎn)進(jìn)行了不同的改進(jìn),如:Jepson 等人提出的基于紋理特征的自適應(yīng)目標(biāo)外觀模型,該模型可以較好的解決目標(biāo)遮擋的問題,且在跟蹤的過程中采用在線 EM 算法對目標(biāo)模型進(jìn)行更新;Comaniciu 等人提出了基于核函數(shù)的概率密度估計(jì)的視頻目標(biāo)跟蹤算法,該方法采用核直方圖表示目標(biāo),通過 Bhattacharya 系數(shù)計(jì)算目標(biāo)模板與候選區(qū)域的相似度,通過均值漂移(MeanShift)算法快速定位目標(biāo)位置。 基于區(qū)域的目標(biāo)跟蹤算法采用了目標(biāo)的全局信息,比如灰度信息、紋理特征等,因此具有較高的可信度,即使目標(biāo)發(fā)生較小的形變也不影響跟蹤效果,但是當(dāng)目標(biāo)發(fā)生較嚴(yán)重的遮擋時(shí),很容易造成跟蹤失敗。
(2)基于特征的跟蹤方法
基于特征的目標(biāo)跟蹤算法通常是利用目標(biāo)的一些顯著特征表示目標(biāo),并通過特征匹配在圖像序列中跟蹤目標(biāo)。該類算法不考慮目標(biāo)的整體特征,因此當(dāng)目標(biāo)被部分遮擋時(shí),仍然可以利用另一部分可見特征完成跟蹤任務(wù),但是該算法不能有效處理全遮擋、重疊等問題。
基于特征的跟蹤方法一般包括特征提取和特征匹配兩個(gè)過程:
a) 特征提取
所謂特征提取是指從目標(biāo)所在圖像區(qū)域中提取合適的描繪性特征。這些特征不僅應(yīng)該較好地區(qū)分目標(biāo)和背景,而且應(yīng)對目標(biāo)尺度伸縮、目標(biāo)形狀變化、目標(biāo)遮擋等情況具有魯棒性。常用的目標(biāo)特征包括顏色特征、灰度特征、紋理特征、輪廓、光流特征、角點(diǎn)特征等。D.G. Lowe 提出 SIFT(Scale Invariant Feature Transform)算法是圖像特征中效果較好的一種方法,該特征對旋轉(zhuǎn)、尺度縮放、亮度變化具有不變性,對視角變化、仿射變換、噪聲也具有一定的穩(wěn)定性。 b) 特征匹配
特征匹配就是采用一定的方式計(jì)算衡量候選區(qū)域與目標(biāo)區(qū)域的相似性,并根據(jù)相似性確定目標(biāo)位置、實(shí)現(xiàn)目標(biāo)跟蹤。在計(jì)算機(jī)視覺領(lǐng)域中,常用的相似性度量準(zhǔn)則包括加權(quán)距離、Bhattacharyya 系數(shù)、歐式距離、Hausdorff 距離等。其中,Bhattacharyya 系數(shù)和歐式距離最為常用。
Tissainayagam 等人提出了一種基于點(diǎn)特征的目標(biāo)跟蹤算法。該算法首先在多個(gè)尺度空間中尋找局部曲率最大的角點(diǎn)作為關(guān)鍵點(diǎn),然后利用提出的MHT-IMM 算法跟蹤這些關(guān)鍵點(diǎn)。這種跟蹤算法適用于具有簡單幾何形狀的目標(biāo),對于難以提取穩(wěn)定角點(diǎn)的復(fù)雜目標(biāo),則跟蹤效果較差。 Zhu 等人提出的基于邊緣特征的目標(biāo)跟蹤算法,首先將參考圖像劃分為多個(gè)子區(qū)域,并將每個(gè)子區(qū)域的邊緣點(diǎn)均值作為目標(biāo)的特征點(diǎn),然后利用類似光流的方法進(jìn)行特征點(diǎn)匹配,從而實(shí)現(xiàn)目標(biāo)跟蹤。
(3)基于輪廓的跟蹤方法
基于輪廓的目標(biāo)跟蹤方法需要在視頻第一幀中指定目標(biāo)輪廓的位置,之后由微分方程遞歸求解,直到輪廓收斂到能量函數(shù)的局部極小值,其中,能量函數(shù)通常與圖像特征和輪廓光滑度有關(guān)。與基于區(qū)域的跟蹤方法相比,基于輪廓的跟蹤方法的計(jì)算復(fù)雜度小,對目標(biāo)的部分遮擋魯棒。但這種方法在跟蹤開始時(shí)需要初始化目標(biāo)輪廓,因此對初始位置比較敏感,跟蹤精度也被限制在輪廓級(jí)。
Kass 等人于 1987 年提出的活動(dòng)輪廓模型(Active Contour Models,Snake),通過包括圖像力、內(nèi)部力和外部約束力在內(nèi)的三種力的共同作用控制輪廓的運(yùn)動(dòng)。內(nèi)部力主要對輪廓進(jìn)行局部的光滑性約束,圖像力則將曲線推向圖像的邊緣,而外部力可以由用戶指定,主要使輪廓向期望的局部極小值運(yùn)動(dòng),。
Paragios 等人提出了一種用水平集方法表示目標(biāo)輪廓的目標(biāo)檢測與跟蹤算法,該方法首先通過幀差法得到目標(biāo)邊緣,然后通過概率邊緣檢測算子得到目標(biāo)的運(yùn)動(dòng)邊緣,通過將目標(biāo)輪廓向目標(biāo)運(yùn)動(dòng)邊緣演化實(shí)現(xiàn)目標(biāo)跟蹤。 (4)基于模型的跟蹤方法
在實(shí)際應(yīng)用中,我們需要跟蹤的往往是一些特定的我們事先具有認(rèn)識(shí)的目標(biāo),因此,基于模型的跟蹤方法首先根據(jù)自己的先驗(yàn)知識(shí)離線的建立該目標(biāo)的 3D 或2D 幾何模型,然后,通過匹配待選區(qū)域模型與目標(biāo)模型實(shí)現(xiàn)目標(biāo)跟蹤,進(jìn)而在跟蹤過程中,根據(jù)場景中圖像的特征,確定運(yùn)動(dòng)目標(biāo)的各個(gè)尺寸參數(shù)、姿態(tài)參數(shù)以及運(yùn)動(dòng)參數(shù)。
Shu Wang 等人提出一種基于超像素的跟蹤方法,該方法在超像素基礎(chǔ)上建立目標(biāo)的外觀模板,之后通過計(jì)算目標(biāo)和背景的置信圖確定目標(biāo)的位置,在這個(gè)過程中,該方法不斷通過分割和顏色聚類防止目標(biāo)的模板漂移。 (5)基于檢測的跟蹤算法
基于檢測的跟蹤算法越來越流行。一般情況下,基于檢測的跟蹤算法都采用一點(diǎn)學(xué)習(xí)方式產(chǎn)生特定目標(biāo)的檢測器,即只用第一幀中人工標(biāo)記的樣本信息訓(xùn)練檢測器。這類算法將跟蹤問題簡化為簡單的將背景和目標(biāo)分離的分類問題,因此這類算法的速度快且效果理想。這類算法為了適應(yīng)目標(biāo)外表的變化,一般都會(huì)采用在線學(xué)習(xí)方式進(jìn)行自更新,即根據(jù)自身的跟蹤結(jié)果對檢測器進(jìn)行更新。