粒子濾波器

专利摘要:
一種粒子濾波器可用以對圖框進行粒子濾波，以追蹤圖框中的特定物件。於一實施範例，粒子濾波器包括圖框快取、觀察模型產生器以及粒子濾波控制器。圖框快取透過系統匯流排連接至系統記憶體，其中系統記憶體儲存圖框的所有的影像塊；而圖框快取從系統記憶體取得並儲存圖框的至少一個影像塊。觀察模型產生器從圖框快取讀取至少一個像素，並依據讀取的像素產生對應於物件以及讀取的影像塊的觀察模型。粒子濾波控制器從觀察模型產生器得到觀察模型，再依據觀察模型決定並輸出物件的物件追蹤結果。
公开号:TW201310391A
申请号:TW100129844
申请日:2011-08-19
公开日:2013-03-01
发明作者:Chun-Fu Shen；Der-Chun Cherng
申请人:Vatics Inc；
IPC主号:G06T7-00

专利说明:
粒子濾波器
本發明係關於一種粒子濾波器(particle filter)，特別是一種應用於物件追蹤(object tracking)的粒子濾波器。
物件追蹤(object tracking)一般指基於各種目的，於一影像或一系列影像(包括一視訊序列)中識別一或多個物件之技術。其中「追蹤」係指對於動態物件的估測。物件追蹤可應用於安全、監視及人事、製程或生產管理中。以監控銀行金庫的監視系統為例，其需要偵測出有無物件進入金庫，並持續追蹤並紀錄此物件的動向。又例如物件追蹤可用在可偵測空中的移動物體的雷達，以判斷是不是有敵機或飛彈來襲。
傳統上，可使用一粒子過濾器進行物件追蹤。粒子過濾器係針對物件的某種特性建立觀察模型，並設定影像的多個候選點，再設定每一個候選點的候選窗。接著粒子過濾器計算每一個候選窗的觀察模型，再比對這些觀察模型以估測此物件的動向。然而在進行物件追蹤時，粒子濾波器需不斷存取儲存有影像的系統記憶體以讀取每一個候選窗的內容，而佔用極大量的系統匯流排之頻寬。此外，讀取系統記憶體所需的時間長，因此而使得粒子過濾器的處理效率差。
且隨著需處理的影像的解析度大幅增加，或是欲追蹤的物件數量增加，更加劇了佔用系統匯流排大量讀寫頻寬以及處理效率低下的問題。
本發明係關於一種粒子濾波器，其用以對一圖框(frame)進行粒子濾波(particle filtering)，以追蹤圖框的一物件。其中圖框具有多個影像塊(block)。
根據一實施範例，粒子濾波器包括一圖框快取(frame cache)、一觀察模型產生器(observation model generator)以及一粒子濾波控制器(particle filter controller)。圖框快取透過一系統匯流排連接至一系統記憶體。系統記憶體儲存圖框的所有的影像塊，而圖框快取從系統記憶體取得並儲存圖框的至少一個影像塊。觀察模型產生器與圖框快取連接。觀察模型產生器從圖框快取讀取至少一個像素，並依據讀取的像素產生對應於物件以及讀取的像素的一觀察模型。粒子濾波控制器與觀察模型產生器連接。粒子濾波控制器從觀察模型產生器得到觀察模型，再依據觀察模型決定並輸出物件的一物件追蹤結果。
根據另一實施範例，粒子濾波器另可包括一觀察模型快取(observation model cache)。每一個影像塊可包括多個像素，而觀察模型可包括對應的多個特徵索引值以及多個特徵值，且每一個像素對應一組特徵索引值以及特徵值。觀察模型快取可以與圖框快取以及觀察模型產生器連接，以從圖框快取讀取至少一個影像塊的像素。觀察模型快取可以用以儲存讀取的像素所對應的特徵索引值以及特徵值，以供觀察模型產生器產生讀取的像素所對應的觀察模型。
然根據又一實施範例，粒子濾波器中可以只有觀察模型快取，而不具有圖框快取。於此實施範例之中，觀察模型產生器透過系統匯流排連接至系統記憶體，以從系統記憶體讀取圖框的至少一個影像塊。由於圖框快取或是觀察模型快取能夠減少粒子濾波器讀寫系統記憶體的需求，而能使其所需的讀取頻寬以及運轉週期大幅下降。且由於觀察模型快取能加快產生觀察模型的速度，更提升粒子濾波器的運作效率。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。
本發明係為一種粒子濾波器(particle filter)，其可應用於追蹤一視訊(video)中的一物件。粒子濾波器能用以對視訊中的一圖框進行粒子濾波，以追蹤圖框中的物件。其中圖框具有多個影像塊(block)，且每個影像塊具有多個像素。
請參照「第1圖」，其係為一實施範例之粒子濾波器之方塊示意圖。
於「第1圖」的實施範例之中，粒子濾波器10包括一圖框快取(frame cache)12、一觀察模型產生器(observation model generator)14以及一粒子濾波控制器(particle filter controller)16。粒子濾波器10可以與一系統匯流排20連接，以從一系統記憶體30接收欲處理的圖框。一影像擷取引擎40可連接到一影像偵測器(image sensor)以擷取欲處理的視訊之圖框，並透過系統匯流排20儲存在系統記憶體30中；因此系統記憶體30中儲存有預處理的圖框的所有影像塊。然圖框的來源並不以此為限。
圖框快取12係透過系統匯流排20連接至系統記憶體30，並從系統記憶體30取得並儲存圖框的至少一個影像塊，以供觀察模型產生器14以及粒子濾波控制器16進行粒子濾波。更詳細地說，圖框快取12可包括一提取控制器(fetch controller)121、一快取記憶體(cache memory)122、一讀取控制器(read controller)125以及一圖框快取標籤(cache tag)126，如「第2圖」所示。
提取控制器121與系統匯流排20連接。根據讀取控制器125的快取命中(cache hit)或是快取丟失(cache miss)狀態，提取控制器121從系統記憶體30中提取至少一個影像塊。快取記憶體122可包括至少一記憶庫(bank)123，實際上從系統記憶體30中提取的影像塊儲存在記憶庫123中。此外，記憶庫123可依據影像塊的大小被分割成多個暫存區塊124。舉例來說，若圖框被分割成16像素×16像素的影像塊，則每一個暫存區塊124為能夠儲存16像素×16像素之數據。
讀取控制器125可以與觀察模型產生器14，以供觀察模型產生器14讀取儲存於快取記憶體122之中的影像塊。圖框快取標籤126則紀錄儲存於快取記憶體122的影像塊相對於圖框的一位址資訊。舉例而言，圖框快取標籤126可紀錄已儲存之影像塊在圖框中的的起始位置或是識別碼。
觀察模型產生器14係與圖框快取12連接，以從圖框快取12讀取至少一個影像塊。觀察模型產生器14依據讀取的影像塊產生對應於物件以及讀取的影像塊的一觀察模型。粒子濾波控制器16與觀察模型產生器14連接，並可與圖框快取12連接。粒子濾波控制器16從觀察模型產生器14得到觀察模型，再依據觀察模型決定並輸出追蹤中的物件的一物件追蹤結果。
更詳細地說，粒子濾波控制器16可針對追蹤中的物件產生多個候選點(candidate)，並依據這些候選點設定多個候選窗(window)。其中每一個候選窗包括多個像素，且候選窗的像素被至少一個影像塊所涵蓋。換句話說，為了要的到一個候選窗的所有像素，可能需要讀取一個或多個影像塊。而由影像塊的角度來看，一個影像塊之中可能沒有候選窗，或是至少包括一個候選窗的部分像素。觀察模型產生器14依據這些候選窗的產生一對一對應的多個觀察模型。其中當一個候選窗具有多個影像塊時，屬於同一個候選窗的多個影像塊均對應到同一個觀察模型。而粒子濾波控制器16比較這些候選窗的觀察模型，並可選擇候選點之一作為物件追蹤結果。
例如觀察模型可以是一直方圖(histogram)、一共生矩陣(co-occurrence matrix)、一混色模型(color mixture model)或是一梯度直方圖(gradient histogram)，其各別可代表候選窗之影像塊的不同影像特徵。粒子濾波控制器16可以先計算物件的觀察模型，接著比較物件的觀察模型以及所有候選點的觀察模型。粒子濾波控制器16可判斷哪一個候選點的觀察模型與物件的觀察模型最接近，再將具有最接近之觀察模型的候選點作為物件追蹤結果。
當觀察模型產生器14需要讀取影像塊時，粒子濾波控制器16發出一讀取指令給圖框快取12。讀取控制器125收到讀取指令後，依據圖框快取標籤126判斷所需的影像塊目前是否存在於任一個暫存區塊124之中。若是，則直接自此暫存區塊124中讀取所需的影像塊並回傳，而不需使用到系統匯流排20以及系統記憶體30。如此一來，觀察模型產生器14能直接從圖框快取12獲得所需的影像塊，因此不但可大幅降低系統匯流排的讀寫頻寬，更能提高讀取影像塊的效率。雖然候選點的位置是隨機選取，但由於基於同一物件進行選取，因此候選窗的內容之間仍有關聯性，而使得圖框快取12能保有一定的命中率(hit rate)。
由於快取記憶體122的容量有限，因此可能會發生在快取記憶體122中沒有觀察模型產生器14所需的影像塊的情形。當快取記憶體122中沒有觀察模型產生器14所需的影像塊時，提取控制器121才從系統記憶體30提取所需的影像塊。快取記憶體122可尋找空的暫存區塊124，或是可清除例如已維持最久或是被讀取次數最少的暫存區塊124，再將新提取的影像塊存入。最後讀取控制器125再將所需的影像塊提供給觀察模型產生器14。
除此之外，為了再提高粒子濾波器10的處理效率，系統記憶體30之中所存的圖框可先經過轉檔處理。使得在圖框中的每一影像塊的多個像素編碼皆儲存於連續的記憶體位置。
通常影像讀入與儲存時，會使用柵狀掃瞄(raster scan)的順序。也就是一張影像的像素是以由左至右，由上而下的順序被掃描並儲存在記憶體中。若影像使用YUV420色彩空間(color space)來表示時，像素的亮度值(luminance)與色度值(chrominance)會分開存放。像素編碼係為將像素的亮度值、色度值或是RGB值等用以表現此像素的參數編碼(encode)後得到的編碼(code)。以16像素×16像素的影像塊為例，由於此影像塊跨越圖框中16的橫列，因此傳統上需要16次系統匯流排要求(bus request)才能讀取各橫列上的像素的亮度值，再花費8次系統匯流排要求讀取各橫列上的像素的色度值。
但為了提高處理效率，可預先將同一影像塊的全部像素編碼(例如可包含亮度值及色度值)連續存放，如「第3圖」所示。系統記憶體30可包括多個記憶體區塊32。多個像素編碼34a、34b以及34x分別對應不同影像塊，且多個像素編碼34a連續存放於記憶體區塊50中；多個像素編碼34b以及34x亦連續存放。如此一來，圖框快取12可經由單一個系統匯流排要求中從系統記憶體30中連續提取對應於同一影像塊的全部的像素編碼34a、34b或34x。
接下來請參照「第4圖」，其係為另一實施範例之粒子濾波器之方塊示意圖。
為了更加提升效能，粒子濾波器10另可包括一觀察模型快取(observation model cache)18，以幫助觀察模型產生器14一次平行化處理多個像素。觀察模型產生器14所產生的每一觀察模型可包括對應的多個特徵索引值以及多個特徵值，且每一個像素對應至少一組特徵索引值以及特徵值。觀察模型產生器14係根據候選窗的每一個像素判斷其所對應的特徵索引值，並據以累加特徵值。觀察模型快取18可與圖框快取12以及觀察模型產生器14連接，以從圖框快取12讀取至少一個影像塊的多個像素。觀察模型快取18係用以儲存讀取的像素所對應的特徵索引值以及特徵值，以供觀察模型產生器14產生讀取的像素所對應的觀察模型。此外，觀察模型快取18亦可與粒子濾波控制器16連接。
觀察模型快取18中可暫存至少一組特徵索引值以及特徵值，以供觀察模型產生器14存取。請同時參照「第5圖」，其係為一實施範例之觀察模型快取之方塊示意圖。觀察模型快取18可包括一觀察模型記憶體181、多個暫存器(register)182以及一特徵值累加器(accumulator)183。其中觀察模型記憶體可以是一靜態隨機存取記憶體(static random access memory，SRAM)。
觀察模型記憶體181中可儲存正在產生之觀察模型的所有特徵索引值以及特徵值；而每一個暫存器182係用以儲存對應特徵索引值之一的特徵值。特徵值累加器183可從圖框快取12一次讀取多個像素，並從至少一個暫存器182或觀察模型記憶體181讀取這些像素對應之特徵索引值的特徵值。特徵值累加器183並依據這些讀取的像素累加讀取的特徵值，再將特徵值回存到暫存器。須注意的是，由於多個暫存器182之間沒有關聯且可同時個別進行讀寫，因此特徵值累加器183能夠同時對多個暫存器182進行讀取或寫入。換句話說，在產生觀察模型時，特徵值累加器183能夠平行處理多個像素。
此外，觀察模型快取18另可包括一觀察模型快取標籤184以及一觀察模型快取控制器185。觀察模型快取標籤184可紀錄所有暫存器182所對應的特徵索引值；而依據觀察模型快取標籤184，觀察模型快取控制器185判斷特徵值累加器183所需的每一個特徵值是否儲存於這些暫存器182之一。若有任一暫存器182存有所需的特徵值，觀察模型快取控制器185可令特徵值累加器183從對應的暫存器182讀取所需的特徵值，並將累加完成的特徵值回存到此對應的暫存器182。反之，則令特徵值累加器183從觀察模型記憶體181讀取所需的特徵值。可尋找空的暫存器182，或是可清除例如已維持最久或是被讀取次數最少的暫存器182，再將累加完成的特徵值存入清除的暫存器182。
實際上在讀寫特徵值時，特徵值累加器183可透過兩個多功器與觀察模型記憶體181以及暫存器182，並由觀察模型快取控制器185控制多工器以進行特徵值的讀寫。且特徵值累加器183可包括數個累加單元，以同時累加不同的特徵值。
且當觀察模型產生器14完成產生一個候選窗的觀察模型，可清空觀察模型記憶體181以及所有的暫存器182以預備生成下一候選窗的觀察模型。
依物件或是圖框的特性不同，粒子濾波控制器16可令觀察模型產生器14產生直方圖、共同發生陣列、一混色模型或是梯度直方圖等不同的觀察模型。
以將直方圖作為觀察模型為例，觀察模型產生器14可產生每一個候選窗的直方圖。直方圖係表示此候選窗中像素的亮度分佈；因此特徵索引值係為多個亮度值，特徵值則為對應亮度值的多個像素個數。在產生其中一個候選窗的直方圖時，觀察模型快取18可同時從圖框快取12中讀取此候選窗的4個像素，並由觀察模型快取控制器185判斷這4個像素的亮度值。觀察模型快取控制器185接著將這4個亮度值當作特徵索引值查找觀察模型快取標籤184，以判斷是否有暫存器182對應要處理的亮度值。若有，則由暫存器182取出特徵值，並將特徵值累加1之後回存。若沒有，則由觀察模型記憶體181取出特徵值，並將特徵值累加1之後存入適當的暫存器182。
此外，特徵值累加器183能先判斷是否有多個像素同時對應到同一個特徵索引值。例如當讀取的第1個像素以及第2個像素的亮度值都是100，且有一個暫存器182正好對應亮度值100時，則特徵值累加器183讀取對應亮度值100的暫存器182，並將特徵值累加2之後回存。
類似地，粒子濾波控制器16可令觀察模型產生器14產生每一候選窗的共生矩陣作為觀察模型。共生矩陣係代表在物件中的紋理分佈(texture distribution)。當觀察模型為共生矩陣時，可將多個像素共生關係作為特徵索引值，並將對應這些像素共生關係的多個像素共生次數作為特徵值。其中像素共生關係代表多個像素同時出現的可能型態(pattern)，而像素共生次數則代表這些型態的發生次數。
粒子濾波控制器16亦可令觀察模型產生器14產生每一候選窗的混色模型作為觀察模型。混色模型係描述物件顏色的混色分佈(mixture of color distribution)。當觀察模型為混色模型時，可將像素對應之多個像素分佈作為特徵索引值，並將對應這些像素分佈的多個參數作為特徵值。
粒子濾波控制器16也可令觀察模型產生器14產生每一候選窗的梯度直方圖作為觀察模型，其表示表示此候選窗中像素的梯度分佈。當觀察模型為梯度直方圖時，可將多個梯度值作為特徵索引值，並將對應這些梯度值的多個像素個數作為特徵值。
由於觀察模型產生器14以及觀察模型快取18係針對同一個候選窗中的像素進行處理，因此其一次讀取並處理的多個像素之間具有相當高的關聯性(例如可能具有相似的亮度)，而使得觀察模型快取18能保有不錯的命中率。
請參考「第6圖」，其係為又一實施範例之粒子濾波器之方塊示意圖。於「第6圖」的實施範例之中，粒子濾波器10不具有圖框快取12但具有觀察模型快取18。與「第4圖」的實施範例不同點在於，觀察模型產生器14直接連接到系統匯流排20以連接至系統記憶體30，可從系統記憶體30讀取圖框的影像塊或像素。
下表一提供實驗數據，利用不同的4個視訊序列來比較不具有任何快取之習知粒子濾波器，以及「第4圖」之實施範例的粒子濾波器10。其中佔用系統匯流排之讀寫頻寬的單位為兆赫(MHz)。
由表一可見，「第4圖」之實施範例的粒子濾波器10所占用的系統匯流排之讀寫頻寬至少低於傳統粒子濾波器所需頻寬的一半。
下表二則亦利用不同的4個視訊序列來比較不具有任何快取之習知粒子濾波器，以及「第4圖」之實施範例的粒子濾波器10。其中所需的運轉週期(operation cycle)的單位為兆赫。
由表二可見，「第4圖」之實施範例的粒子濾波器10所需的運轉週期頂多為傳統粒子濾波器所需運轉週期的一半。
綜上所述，圖框快取或是觀察模型快取能夠使粒子濾波器所需的讀取頻寬以及運轉週期大幅下降。且由於觀察模型快取中包括多個暫存器，因此粒子濾波器能夠平行處理多個像素，而使得運算效率加倍。
以上較佳具體實施範例之詳述，是希望藉此更加清楚描述本發明之特徵與精神，並非以上述揭露的較佳具體實施範例對本發明之範疇加以限制。相反地，其目的是希望將各種改變及具相等性的安排涵蓋於本發明所欲申請之專利範圍的範疇內。
10．．．粒子濾波器
12．．．圖框快取
121．．．提取控制器
122．．．快取記憶體
123．．．記憶庫
124．．．暫存區塊
125．．．讀取控制器
126．．．圖框快取標籤
14．．．觀察模型產生器
16．．．粒子濾波控制器
18．．．觀察模型快取
181．．．觀察模型記憶體
182．．．暫存器
183．．．特徵值累加器
184．．．觀察模型快取標籤
185．．．觀察模型快取控制器
20．．．系統匯流排
30．．．系統記憶體
32．．．記憶體區塊
34a,34b,34x．．．像素編碼
40．．．影像擷取引擎
第1圖係為一實施範例之粒子濾波器之方塊示意圖。
第2圖係為一實施範例之圖框快取之方塊示意圖。
第3圖係為一實施範例之位元流之方塊示意圖。
第4圖係為另一實施範例之粒子濾波器之方塊示意圖。
第5圖係為一實施範例之觀察模型快取之方塊示意圖。
第6圖係為又一實施範例之粒子濾波器之方塊示意圖。
10．．．粒子濾波器
12．．．圖框快取
14．．．觀察模型產生器
16．．．粒子濾波控制器
18．．．觀察模型快取
20．．．系統匯流排
30．．．系統記憶體
40．．．影像擷取引擎

权利要求:
Claims (24)
[1] 一種粒子濾波器，用以對一圖框進行粒子濾波，以追蹤該圖框的一物件，其中該圖框具有多個影像塊，該粒子濾波器包括：一圖框快取，透過一系統匯流排連接至一系統記憶體，該系統記憶體儲存該圖框的所有的該些影像塊，而該圖框快取從該系統記憶體取得並儲存該圖框的至少一該影像塊的多個像素；一觀察模型產生器，與該圖框快取連接，該觀察模型產生器從該圖框快取讀取至少一該影像塊內的該些像素，並依據讀取的該些像素產生對應於該物件以及讀取的該些像素的一觀察模型；以及一粒子濾波控制器，與該觀察模型產生器連接，該粒子濾波控制器從該觀察模型產生器得到該觀察模型，再依據該觀察模型決定並輸出該物件的一物件追蹤結果。
[2] 如請求項第1項所述之粒子濾波器，其中該粒子濾波控制器針對該物件產生多個候選點，並依據該些候選點設定多個候選窗，每一該候選窗包括多個像素，且每一該候選窗的該些像素被至少一個該影像塊所涵蓋；該觀察模型產生器依據該些候選窗產生該些觀察模型，而該粒子濾波控制器比較該些候選窗的該些觀察模型並選擇該些候選點之一作為該物件追蹤結果。
[3] 如請求項第1項所述之粒子濾波器，其中該圖框快取包括：一提取控制器，與該系統匯流排連接，以從該系統記憶體中提取至少一該影像塊；一快取記憶體，包括至少一記憶庫，該記憶庫儲存從該系統記憶體中提取的該影像塊；一讀取控制器，與該觀察模型產生器以及該粒子濾波控制器連接，以供該觀察模型產生器或該粒子濾波控制器讀取儲存於該快取記憶體的該影像塊；以及一圖框快取標籤，紀錄儲存於該快取記憶體的該影像塊相對於該圖框的一位址資訊。
[4] 如請求項第3項所述之粒子濾波器，其中當該快取記憶體中沒有該觀察模型產生器或該粒子濾波控制器所需的該影像塊時，該提取控制器從該系統記憶體提取所需的該影像塊，該快取記憶體儲存所需的該影像塊，且該讀取控制器將所需的該影像塊提供給該觀察模型產生器。
[5] 如請求項第3項所述之粒子濾波器，其中該記憶庫依據該些影像塊的大小被分割成多個暫存區塊。
[6] 如請求項第1項所述之粒子濾波器，其中在存放該圖框的該系統記憶體中，對應於同一該影像塊的多個像素編碼係連續排列，而該圖框快取在單一系統匯流排要求中從該系統記憶體中提取對應於同一該影像塊的全部的該些像素編碼。
[7] 如請求項第1項所述之粒子濾波器，其中每一該影像塊包括多個像素，該觀察模型包括對應的多個特徵索引值以及多個特徵值，且每一該像素對應至少一組該特徵索引值以及該特徵值，該粒子濾波器另包括：一觀察模型快取，與該圖框快取以及該觀察模型產生器連接，以從該圖框快取讀取至少一該影像塊的該些像素，該觀察模型快取係用以儲存讀取的該些像素所對應的該些特徵索引值以及該些特徵值，以供該觀察模型產生器產生讀取的該些像素所對應的該觀察模型。
[8] 如請求項第7項所述之粒子濾波器，其中該觀察模型快取包括：一觀察模型記憶體，儲存該觀察模型的該些特徵索引值以及該些特徵值；多個暫存器，其中每一該暫存器係用以儲存對應該些特徵索引值之一的特徵值；以及一特徵值累加器，從該圖框快取讀取該些像素，從至少一該暫存器或該觀察模型記憶體讀取該些特徵值，並依據讀取的該些像素之特徵累加讀取的該些特徵值，再將該些特徵值回存到該些暫存器。
[9] 如請求項第8項所述之粒子濾波器，其中該觀察模型記憶體係為一靜態隨機存取記憶體。
[10] 如請求項第8項所述之粒子濾波器，其中該觀察模型係為一直方圖，該些特徵索引值係為多個亮度值，該些特徵值係為對應該些亮度值的多個像素個數。
[11] 如請求項第8項所述之粒子濾波器，其中該觀察模型係為一共生矩陣，該些特徵索引值係為多個像素共生關係，該些特徵值係為對應該些像素共生關係的多個像素共生次數。
[12] 如請求項第8項所述之粒子濾波器，其中該觀察模型係為一混色模型，該些特徵索引值係為多個像素分佈，該些特徵值係為對應該些像素分佈的多個參數。
[13] 如請求項第8項所述之粒子濾波器，其中該觀察模型係為一梯度直方圖，該些特徵索引值係為多個梯度值，該些特徵值係為對應該些梯度值的多個像素個數。
[14] 如請求項第8項所述之粒子濾波器，其中該觀察模型快取另包括：一觀察模型快取標籤，紀錄該些暫存器所對應的該些特徵索引值；以及一觀察模型快取控制器，依據該觀察模型快取標籤判斷該特徵值累加器所需的每一該特徵值是否儲存於該些暫存器之一；若是，令該特徵值累加器從對應的該暫存器讀取所需的該特徵值；若否，令該特徵值累加器從該觀察模型記憶體讀取所需的該特徵值。
[15] 一種粒子濾波器，用以對一圖框進行粒子濾波，以追蹤該圖框的一物件，其中該圖框具有多個影像塊，每一該影像塊包括多個像素，該粒子濾波器包括：一觀察模型產生器，透過一系統匯流排連接至一系統記憶體，以從該系統記憶體讀取該圖框的至少一該影像塊，並依據讀取的該影像塊產生對應於該物件以及讀取的該影像塊的一觀察模型，其中該觀察模型包括對應的多個特徵索引值以及多個特徵值，且每一該像素對應至少一組該特徵索引值以及該特徵值；一粒子濾波控制器，與該觀察模型產生器連接，該粒子濾波控制器從該觀察模型產生器得到該觀察模型，再依據該觀察模型決定並輸出該物件的一物件追蹤結果；以及一觀察模型快取，與該觀察模型產生器連接，且該觀察模型快取係用以儲存讀取的該些像素所對應的該些特徵索引值以及該些特徵值，以供該觀察模型產生器產生讀取的該些像素所對應的該觀察模型。
[16] 如請求項第15項所述之粒子濾波器，其中該粒子濾波控制器針對該物件產生多個候選點，並依據該些候選點設定多個候選窗，每一該候選窗包括多個像素，且每一該候選窗的該些像素被至少一個該影像塊所涵蓋；該觀察模型產生器依據該些候選窗的產生該些觀察模型，而該粒子濾波控制器比較該些候選窗的該些觀察模型並選擇該些候選點之一作為該物件追蹤結果。
[17] 如請求項第15項所述之粒子濾波器，其中在存放該圖框的該系統記憶體中，對應於同一該影像塊的多個像素編碼係連續排列，而該觀察模型快取在單一系統匯流排要求中從該系統記憶體中提取對應於同一該影像塊的全部的該些像素編碼。
[18] 如請求項第15項所述之粒子濾波器，其中該觀察模型快取包括：一觀察模型記憶體，儲存該觀察模型的該些特徵索引值以及該些特徵值；多個暫存器，其中每一該暫存器係用以儲存對應該些特徵索引值之一的該特徵值；以及一特徵值累加器，從該系統記憶體讀取該些像素，從至少一該暫存器或該觀察模型記憶體讀取該些特徵值，並依據讀取的該些像素累加讀取的該些特徵值，再將該些特徵值回存到該些暫存器。
[19] 如請求項第18項所述之粒子濾波器，其中該觀察模型記憶體係為一靜態隨機存取記憶體。
[20] 如請求項第18項所述之粒子濾波器，其中該觀察模型係為一直方圖，該些特徵索引值係為多個亮度值，該些特徵值係為對應該些亮度值的多個像素個數。
[21] 如請求項第18項所述之粒子濾波器，其中該觀察模型係為一共生矩陣，該些特徵索引值係為多個像素共生關係，該些特徵值係為對應該些像素共生關係的多個像素共生次數。
[22] 如請求項第18項所述之粒子濾波器，其中該觀察模型係為一混色模型，該些特徵索引值係為多個像素分佈，該些特徵值係為對應該些像素分佈的多個參數。
[23] 如請求項第18項所述之粒子濾波器，其中該觀察模型係為一梯度直方圖，該些特徵索引值係為多個梯度值，該些特徵值係為對應該些梯度值的多個像素個數。
[24] 如請求項第18項所述之粒子濾波器，其中該觀察模型快取另包括：一觀察模型快取標籤，紀錄該些暫存器所對應的該些特徵索引值；以及一觀察模型快取控制器，依據該觀察模型快取標籤判斷該特徵值累加器所需的每一該特徵值是否儲存於該些暫存器之一；若是，令該特徵值累加器從對應的該暫存器讀取所需的該特徵值；若否，令該特徵值累加器從該觀察模型記憶體讀取所需的該特徵值。

类似技术:

---

公开号 | 公开日 | 专利标题

---

Kumar et al.2018|Disentangling 3d pose in a dendritic cnn for unconstrained 2d face alignment

---

CN106203277B|2019-08-20|基于sift特征聚类的固定镜头实时监控视频特征提取方法

---

CN105913040B|2019-04-23|暗视觉条件下的双摄像头实时行人检测系统

---

CN101794445B|2014-10-01|场景变化检测装置以及场景变化检测方法

---

WO2013133368A1|2013-09-12|画像処理装置、プログラム及び画像処理方法

---

KR101106080B1|2012-01-18|데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체

---

JP2005513939A|2005-05-12|非同期多重ビデオを処理することができるビデオモニタリング及び監視システム

---

TWI452541B|2014-09-11|粒子濾波器

---

Zhang et al.2020|Spatio-temporal fusion for macro-and micro-expression spotting in long video sequences

---

CN104504672B|2017-06-13|基于NormLV特征的低秩稀疏邻域嵌入超分辨方法

---

CN103413326A|2013-11-27|Fast approximated SIFT算法中特征点检测方法及装置

---

KR101170676B1|2012-08-07|얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법

---

Wang et al.2008|Feature-based super-resolution for face recognition

---

Walczyk et al.2010|Fpga implementation of hot spot detection in infrared video

---

Aktar et al.2020|Mosaicing of dynamic mesentery video with gradient blending

---

EP1316067A1|2003-06-04|Analysing a moving image

---

Zhao et al.2019|Person re-identification with effectively designed parts

---

KR101161580B1|2012-07-04|인터리빙 히스토그램을 이용한 특징 벡터 추출 방법 및 이를 적용한 영상 인식 방법

---

JP5743147B2|2015-07-01|画像処理ユニット、および画像処理プログラム

---

CN208722226U|2019-04-09|基于网络硬盘录像机的人脸识别系统

---

CN105141963A|2015-12-09|图像运动估计方法和装置

---

US11080812B2|2021-08-03|Image recognition apparatus and image recognition method for sorting candidate regions detected in image

---

CN109328373B|2022-02-15|图像处理方法及其相关设备、存储介质

---

KR100977417B1|2010-08-24|저장된 동영상의 고속검색 방법

---

JP6563964B2|2019-08-21|映像生成装置、映像生成方法、プログラム

同族专利:

---

公开号 | 公开日

---

US8600109B2|2013-12-03|

---

CN102956033B|2015-03-04|

---

CN102956033A|2013-03-06|

---

TWI452541B|2014-09-11|

---

US20130044911A1|2013-02-21|

引用文献:

---

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

---

KR100300972B1|1997-09-19|2001-09-03|윤종용|텍스춰매핑수행장치및텍스춰캐시의데이터억세스방법|

---

US7624246B2|2005-10-20|2009-11-24|Cray Inc.|Method and system for memory allocation in a multiprocessing environment|

---

US7756296B2|2007-03-27|2010-07-13|Mitsubishi Electric Research Laboratories, Inc.|Method for tracking objects in videos using forward and backward tracking|

---

US8218621B2|2010-01-26|2012-07-10|Himax Media Solutions, Inc.|Data-mapping method and cache system for use in a motion compensation system|

---

US8706298B2|2010-03-17|2014-04-22|Raytheon Company|Temporal tracking robot control system|US11004213B2|2016-01-25|2021-05-11|KoreoGRFX, Inc.|Methods and systems for determining motion of a device|

法律状态:

优先权:

---

申请号 | 申请日 | 专利标题

---

TW100129844A|TWI452541B|2011-08-19|2011-08-19|粒子濾波器|TW100129844A| TWI452541B|2011-08-19|2011-08-19|粒子濾波器|

---

CN201110254413.9A| CN102956033B|2011-08-19|2011-08-26|粒子滤波器|

---

US13/296,654| US8600109B2|2011-08-19|2011-11-15|Image object tracking using a particle filter|