• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    提供一種用以在臉部追蹤期間估計及驗證各別畫面中之臉部區域之間的平移及/或一比例因子的方法、裝置及電腦程式產品。一種方法基於第一畫面中之一臉部區域及第二畫面中之一對應視窗之積分梯度投影來確定二連續畫面中之臉部區域之間之平移。該方法還利用積分梯度投影來驗證該第一與第二畫面之間之平移。一種方法也確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小之共位視窗之積分投影曲線的轉移函數，基於該轉移函數來確定一比例因子，且於是利用積分梯度投影來驗證該比例因子。
    公开号:TW201310358A
    申请号:TW101123528
    申请日:2012-06-29
    公开日:2013-03-01
    发明作者:Veldandi Muninder
    申请人:Nokia Corp；
    IPC主号:G06T7-00
    专利说明:
    用以利用積分梯度投影作臉部追蹤之方法與裝置 技術領域
    本發明之一示範實施例大體有關於臉部追蹤，且更具體而言，有關於利用積分梯度投影來估計平移及/或一比例因子的臉部追蹤。 發明背景
    在各種不同的影像處理應用中，可能希望追蹤一視頻中的連續畫面之間的一目標，諸如臉部。為了追蹤臉部從一畫面到次一畫面，可能需要確定從一畫面到次一畫面的臉部平移及臉部縮放。然而，確定從一影像到次一影像的臉部平移及縮放可能是一個計算密集型過程，至少對於具有有限計算資源的那些裝置而言，以一高效及時的方式執行可能是個挑戰。
    臉部追蹤可能因各種不同的原因而是計算密集型的。例如，某些臉部追蹤技術分析一完整畫面或該畫面的至少一相對較大部分，而非關注臉部區域。此外，或作為另一選擇，某些臉部追蹤技術利用多維搜尋，這進一步增加計算需求。因此，提供一種改良技術以供在諸如視頻畫面之畫面間臉部追蹤，從而在降低計算需求下提供準確結果，將是合乎需求的。 發明概要
    依據本發明的一示範實施例提供一種方法、裝置及電腦程式產品，以提供一種臉部追蹤改良技術。在這方面，一實施例的方法、裝置及電腦程式產品可提供一種降低相關計算需求方式的臉部追蹤同時繼續提供可靠且強健的臉部追蹤。實際上，一示範實施例的方法、裝置及電腦程式產品可提供臉部追蹤，包括以一計算高效方式利用積分投影來估計連續畫面之臉部區域之間的平移及/或一比例因子。驗證連續畫面之臉部區域之間的平移及/或一比例因子是利用積分梯度投影完成的。
    在一實施例中，提供一種方法，其包括基於第一畫面中具有一預定義位置(x0,y0)及一預定大小的一臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二畫面之臉部區域之間的一平移。該方法還包括驗證屬於各別畫面的第一與第二臉部區域之間的平移。在這方面，驗證包括確定第一臉部區域及第二畫面中之視窗在視窗由於第一與第二臉部區域之間的平移移動之後的積分梯度投影。驗證也包括確定在由於平移移動之後視窗之積分梯度投影與臉部區域之積分梯度投影之間之距離。而且，驗證包括基於該距離與一預定義閾值之間的一關係來確定二畫面中之臉部間的平移是否被驗證。
    一實施例的一種方法也可包括確定在第一畫面中第一與第二相互正交方向上之臉部區域之積分投影，及確定在第二畫面中第一與第二相互正交方向上之視窗之積分投影。在一實施例中，確定平移包括使第一及第二臉部區域之各別積分投影曲線移位，及確定使第一及第二臉部區域之各別積分投影曲線之間產生最小距離的移位量。
    確定第二畫面中之視窗在視窗由於平移移動之後的積分梯度投影可包括確定第二畫面中之視窗在第一與第二相互正交方向上的積分梯度投影。此外，確定第一畫面中之臉部區域的積分梯度投影可包括確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分梯度投影。一實施例之方法也可包括在平移被驗證的情況下，基於平移來重新定義其他畫面的預定義位置。在另一實施例中，該方法可包括在平移因距離未能滿足預定義閾值而未被驗證的情況下估算第一畫面之臉部區域與第二畫面中具有相同大小之共位視窗之間的一比例因子。
    在另一實施例中，提供一種裝置，該裝置包括至少一處理器及至少一包括電腦程式碼的記憶體，該記憶體被配置成，用該至少一處理器，使該裝置基於第一畫面中具有一預定義位置及一預定大小的一臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移。至少一包括電腦程式碼的記憶體也被配置成，用該至少一處理器，使該裝置驗證第一與第二臉部區域之間之平移。在這方面，驗證包括確定第一畫面中之臉部區域及第二畫面中之視窗在視窗由於第一與第二臉部區域之間的平移移動之後的積分梯度投影。驗證也包括確定第一畫面中之一臉部區域的積分梯度投影，及確定視窗由於平移移動之後的積分梯度投影與臉部區域之積分梯度投影之間之距離。此外，驗證包括基於該距離與一預定義閾值之間之關係來確定臉部區域之間之平移是否被驗證。
    一實施例之至少一包括電腦程式碼的記憶體還被配置成，用該至少一處理器，使該裝置確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分投影，及確定第二畫面中之視窗在第一與第二相互正交方向上的積分投影。在一實施例中，確定臉部區域之間之平移包括使第一與第二畫面之各別積分投影曲線移位，及確定使第一與第二畫面之各別積分投影曲線之間產生一最小距離的移位量。
    確定第二畫面中之視窗在視窗由於平移移動之後的積分投影可包括確定第二畫面中之視窗在第一與第二相互正交方向上的積分投影。此外，確定第一畫面中之臉部區域之積分投影可包括確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分投影。至少一包括電腦程式碼的記憶體也可被配置成，用該至少一處理器，使該裝置在平移被驗證的情況下，基於平移來重新定義其他畫面的預定義位置。在另一實施例中，至少一包括電腦程式碼的記憶體也可被配置成，用該至少一處理器，使該裝置在平移因距離未能滿足預定義閾值而未被驗證的情況下，評估該第一畫面之臉部區域與該第二畫面之視窗之間的一比例因子。
    在又一實施例中，提供一種包括至少一儲存有電腦可讀程式指令的非暫態電腦可讀儲存媒體的電腦程式產品，該等電腦可讀程式指令包括被配置用以基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移的程式指令。該等電腦可讀程式指令還包括被配置用以驗證該各別畫面之第一與第二臉部區域之間之平移的程式指令。在這方面，驗證包括確定該第二畫面中之視窗在視窗由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影，及確定在由於平移移動之後的視窗積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且，驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
    在又一實施例中，提供一種裝置，其包括用以基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移之裝置。該裝置也包括用以驗證各別畫面中之該第一與第二臉部區域之間之平移的裝置。在這方面，驗證包括確定該第二畫面中之視窗在視窗由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影，及確定該視窗在視窗由於平移移動之後之積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且，驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
    在又一實施例中，提供一種電腦程式，在執行時，其被配置用以基於第一畫面中具有一預定義位置及一預定大小的臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移。該電腦程式在執行時也被配置用以驗證各別畫面中之該第一與第二臉部區域之間的平移。在這方面，驗證包括確定該第二畫面中之視窗在由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影，及確定由於平移移動之後的該視窗之積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且，驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
    在一實施例中，提供一種方法，該方法包括確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。此實施例之方法也基於該轉移函數，使用第一臉部區域及第二臉部區域之積分投影來確定一比例因子。為了計算不同尺度的二臉部區域之間之距離，最初藉由將轉移函數應用於第一畫面之臉部區域的積分投影之座標以補償尺度差。該方法亦可確定使用轉移函數被轉移的第一畫面中之臉部區域之積分投影與第二畫面中之視窗之積分投影之間之距離，且可基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
    確定轉移函數可包括確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。確定比例因子可包括基於在第一與第二相互正交方向上之比例因子來確定該比例因子。一實施例之方法亦可包括在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。除此之外，一實施例之方法也可包括在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面的預定大小。
    在另一實施例中，提供一種裝置，其包括至少一處理器及至少一包括電腦程式碼的記憶體，該記憶體被配置成，用該至少一處理器，使該裝置確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。該至少一包括電腦程式碼的記憶體在此實施例中也可被配置成，用該至少一處理器，使該裝置基於該轉移函數及第一及第二畫面中之視窗的積分投影來確定一比例因子。該至少一包括電腦程式碼的記憶體也可被配置成，用該至少一處理器，使該裝置確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的距離，及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
    確定轉移函數可包括確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。在一特定比例因子下二臉部投影曲線之間的點對點距離首先藉由在尺度上補償第一畫面之臉部區域的積分投影曲線被計算，並用此一距離來計算與第二畫面的臉部區域之積分投影曲線的點對點距離。確定比例因子可包括基於在第一與第二相互正交方向上之比例因子來確定該比例因子。在一實施例中，該至少一包括電腦程式碼的記憶體也可被配置成，用該至少一處理器，使該裝置在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。除此之外，該至少一包括電腦程式碼的記憶體也可被配置成，用該至少一處理器，使該裝置在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面的預定大小。
    在又一實施例中，提供一種電腦程式產品，其包括至少一儲存有電腦可讀程式指令的非暫態電腦可讀儲存媒體，該等電腦可讀程式指令包括被配置用以確定一關聯該第一畫面中具有一預定義位置及一預定大小的一臉部區域與該第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數的程式指令。該等電腦可讀程式指令也包括被配置用以基於轉移函數且使用第一畫面中之臉部區域及第二畫面中之視窗的積分投影來確定一比例因子的程式指令。該等電腦可讀程式指令也可包括被配置用以確定第一畫面中之臉部區域之積分投影與第二畫面中之具有一基於比例因子之大小的視窗之積分投影之間之距離的程式指令，及被配置用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證的程式指令。
    在又一實施例中，提供一種裝置，其包括用以確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數的裝置。此實施例之裝置也包括用以基於該轉移函數，使用第一畫面中之臉部區域及第二畫面中具有一基於比例因子之大小之視窗之積分投影來確定一比例因子的裝置。該裝置也可包括用以確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的一距離的裝置，及用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證之裝置。
    在又一實施例中，提供一種電腦程式，在執行時，被配置用以確定一關聯該第一畫面中具有一預定義位置及一預定大小的一臉部區域與該第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。該電腦程式在執行時也被配置用以基於該轉移函數並使用第一畫面中之臉部區域及第二畫面中之視窗之積分投影來確定一比例因子。該電腦程式進一步被配置用以確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的一距離，及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。 圖式簡單說明
    至此已對本發明之某些示範實施例做成一般性描述，現在將參照附圖，這些附圖不一定依比例繪製，且其中：第1圖是依據本發明之一示範實施例，用以執行臉部追蹤，包括估計平移及/或一比例因子的一裝置的一方塊圖；第2圖是繪示依據本發明之一示範實施例，一種用以確定第一與第二畫面之間的一平移的方法的一流程圖；第3圖是繪示依據本發明之另一示範實施例，為了確定第一與第二畫面之間之平移所執行之操作的一流程圖；第4圖是繪示依據本發明之一示範實施例，為了確定第一與第二畫面之間之比例因子所執行之操作的一流程圖；以及第5圖是依據本發明之一示範實施例，可輔助確定第一與第二畫面之間的一比例因子的一轉移函數的一圖形表示。 較佳實施例之詳細說明
    本發明之某些示範實施例現在將參照附圖在下文中更加完整地描述，附圖中所示為本發明的一些實施例、而非全部實施例。實際上，本發明可以體現為許多不同的形式且不應被理解為受限於本文所提出的該等實施例；更確切地說，此等實施例被提供以使得此揭露將滿足適用的法律規定。相同的參考數字始終指相同的元件。
    依本文所用，用詞「資料」、「內容」、「資訊」及類似用詞可被交換使用以指稱依據各種不同的示範實施例能夠被傳輸、接收、顯示及/或儲存的資料。因此，任何此類用詞的使用不應被視為限制本揭露之精神及範圍。
    本文所使用之「電腦可讀媒體」指任一被配置用以參與提供資訊給一處理器，包括執行指令的媒體。此種媒體可採許多形式，包括，但並不限於，非暫態電腦可讀儲存媒體(例如，非依電性媒體、依電性媒體)，及傳輸媒體。傳輸媒體包括，例如同軸電纜、銅線、光纖電纜，及行進通過空間而不需導線或電纜的載波，諸如聲波及包括無線電波、光波及紅外線波的電磁波。非暫態電腦可讀媒體之範例包括一軟碟、硬碟、磁帶、任何其他非暫態磁性媒體、一唯讀光碟記憶體(CD-ROM)、可抹寫光碟(CD-RW)、多樣化數位光碟(DVD)、藍光、任何其他非暫態光學媒體、一隨機存取記憶體(RAM)、一可程式化唯讀記憶體(PROM)、一可抹除可程式化唯讀記憶體(EPROM)、一FLASH-EPROM、任何其他記憶體晶片或匣，或一電腦可讀取的任何其他非暫態媒體。「電腦可讀儲存媒體」一詞在本文中用來指除了傳輸媒體以外的任何電腦可讀媒體。然而，將了解的是，在實施例被描述為使用一電腦可讀儲存媒體的情況下，其他類型的電腦可讀媒體在替代實施例中可用來取代或與電腦可讀儲存媒體一起使用。
    此外，依本文所用，「電路」一詞指(a)硬體電路實施(例如，類比電路及/或數位電路實施)；(b)電路與(諸)電腦程式產品的組合，該(等)電腦程式產品包含被儲存在一或多個電腦可讀記憶體上合作以使一裝置執行本文所述之一或多個功能的軟體及/或韌體指令；及(c)電路，諸如，舉例而言，(諸)微處理器或(諸)微處理器的一部分，即使軟體或韌體實際不存在也需要軟體或韌體以供運作。此「電路」的定義適用於此用詞在本文中，包括在任一請求項中的所有使用。作為另一範例，本文中所用的「電路」一詞也包括一種包含一或多個處理器及/或其(諸)部分以及附隨軟體及/或韌體的實施。作為另一範例，本文中所用之「電路」一詞也包括，例如一行動電話的基頻積體電路或應用處理器積體電路，或一伺服器、一蜂巢式網路裝置、其他網路裝置及/或其他計算裝置中的一相似的積體電路。
    依據本發明之一示範實施例的一種用以執行臉部追蹤的裝置10被繪示在第1圖中。該裝置可在各種不同的計算裝置中實施，諸如，行動終端機，例如，行動電話、移動電腦、個人數位助理(PDA)、呼叫器、膝上型電腦、桌上型電腦、遊戲機、電視機及其他類型的行動電子系統，或各種不同的固定計算裝置，諸如，工作站、個人電腦等。也應指出的是，雖然第1圖繪示用以執行臉部追蹤的一裝置的一配置的一範例，許多其他配置也可用以實施本發明之實施例。因此，在某些實施例中，儘管裝置或元件被繪示為彼此通訊，在下文中，此類裝置或元件應被視為能夠被實施在同一裝置或元件內，且因此，被繪示為通訊的裝置或元件應被理解為也可以是同一裝置或元件的一部分。
    現在參照第1圖，用以執行臉部追蹤的裝置10被提供，且可包括一處理器12、一記憶體裝置14、一通訊介面16及一使用者介面18或與它們通訊。在某些實施例中，處理器(及/或共處理器，或輔助處理器或與處理器以其他方式相關聯的任何其他處理電路)可經由一匯流排與記憶體裝置通訊以在裝置之元件之間傳送資訊。記憶體裝置可包括，例如，一或多個依電性及/或非依電性記憶體。換言之，例如，記憶體裝置可以是一包含閘的電子儲存裝置(例如，一電腦可讀儲存媒體)，被配置成儲存可由一機器(例如，一計算裝置，例如，處理器)擷取的資料(例如，位元)。記憶體裝置可被配置成儲存用以使裝置能夠實施依據本發明之一示範實施例的各種不同功能的資訊、資料、應用、指令等。例如，記憶體裝置可被配置成緩衝供處理器處理之輸入資料。此外或作為另一選擇，記憶體裝置可被配置成儲存供處理器執行之指令。
    在某些實施例中，裝置10可以是一行動終端機或被配置成利用本發明之一示範實施例的其他計算裝置。然而，在某些實施例中，該裝置可被實施為一晶片或晶片組。換言之，該裝置可由包括在一結構組合件(例如，基板)上的材料、組件及/或導線的一或多個物理套件(例如，晶片)組成。該結構組合件可對其上所包含之組件電路提供物理強度、尺寸守恆性，及/或電學交互作用之限制。因此，在某些情況下，該裝置可被配置成在一單晶片上實施本發明之一實施例、或將本發明之一實施例實施為一單一的「系統單晶片」。因此，在某些情況下，一晶片或晶片組可構成用以執行一或多個操作以提供本文所述功能之裝置。
    處理器12可以以許多不同的方式來實施。例如，處理器可被實施為各種硬體處理裝置中的一或多者，諸如共處理器、微處理器、控制器、數位信號處理器(DSP)、具有或不具有附隨DSP的處理元件，或各種其他處理電路，包括積體電路，諸如，舉例而言，ASIC(特定應用積體電路)、FPGA(現場可程式閘陣列)、微控制器單元(MCU)、硬體加速器、特殊用途電腦晶片等。因此，在某些實施例中，處理器可包括被配置成獨立執行的一或多個處理核心。一多核心處理器使在一單一物理套件內能夠多處理。附加地或可替代地，處理器可包括一或多個處理器，被配置成經由匯流排串聯以使指令、管線及/或多線的獨立執行成為可能。
    在一示範實施例中，處理器12可被配置成執行儲存在記憶體裝置14中或可由處理器存取之指令。可替代地或附加地，處理器可被配置成執行硬編碼功能。因此，不論是由硬體或軟體方法或由其組合來配置，處理器可代表能夠在被相應配置時執行依據本發明之一實施例之操作的一實體(例如，實體地實施成電路)。因此，例如，當處理器被實施為一ASIC、FPGA等時，處理器可以是特別配置用以實施本文所述操作的硬體。可替代地，作為另一範例，當處理器被實施為一軟體指令之執行程式時，該等指令在被執行時可特別配置處理器102以執行本文所述之演算法及/或操作。然而，在某些情況下，處理器可以是一特定裝置(例如，一行動終端機或其他計算裝置)之一處理器，其適於藉由進一步以執行本文所述之演算法及/或操作之指令來配置處理器而利用本發明之一實施例。除其他之外，處理器可包括被配置成支援處理器之操作的一時脈、一算術邏輯單元(ALU)及邏輯閘。
    同時，通訊介面16可以是任何手段，諸如被實施成硬體，或硬體與軟體之一組合的裝置或電路，該裝置或電路被配置成自一網路及/或與裝置10通訊之任何其他裝置或模組接收及/或向其發送資料。在這方面，通訊介面例如可包括，一天線(或多天線)及使與一無線通訊網路的通訊得以實現的支援硬體及/或軟體。附加地或可替代地，通訊介面可包括用以與(複數)天線互動以使信號經由(複數)天線發送或處理接受經由(複數)天線接收之信號的電路。在某些環境中，通訊介面可以選擇地或同時也支援有線通訊。因此，例如，通訊介面可包括一通訊數據機及/或其他用以支援經由電纜、數位用戶線(DSL)、通用串列匯流排(USB)，或其他機構通訊的硬體/軟體。
    使用者介面18可與處理器12通訊以接收一使用者在使用者介面輸入的一指示及/或使一可聽的、可視的、機械的或其他輸出提供給使用者。因此，使用者介面18可包括，例如一鍵盤、一滑鼠、一搖桿、一顯示器、(複數)觸摸螢幕、觸摸區域、軟鍵、一麥克風、一揚聲器，或其他輸入/輸出機構。可替代地或附加地，處理器可包含使用者介面電路，其被配置成控制使用者介面之一或多個元件，諸如，舉例而言，揚聲器、振鈴器、麥克風、顯示器等的至少某些功能。處理器及/或包含處理器的使用者介面電路可被配置成透過儲存在一可由處理器存取的記憶體(例如，記憶體裝置14等)上的電腦程式指令(例如，軟體及/或韌體)來控制使用者介面之一或多個元件之一或多個功能。
    如第2圖中所示者，圖中繪示一種確定臉部被追蹤的二畫面之間之平移(如果有的話)的方法。在確定連續畫面中之臉部區域之間的平移之前，一臉部在第一畫面中被檢測出。臉部可藉由任一種一般目標檢測方法，諸如Viola-Jones方法在第一畫面中被檢測出。一旦一臉部在第一畫面中被檢測出，臉部的位置，諸如表示為(x0,y0)的臉部中心，及表示為MxM的臉部的大小就被確定。之後，第一畫面與隨後的第二畫面之間的臉部區域的平移可被確定。在這方面，裝置10可包括用以基於第一畫面中具有一預定義位置(x0,y0)及一預定大小MxM的臉部區域及第二畫面中在預定義位置(x0,y0)附近具有預定大小MxM的一視窗之各別積分投影來確定第一與第二畫面之間之平移的裝置，諸如處理器12等。參見第2圖之操作20。
    關於確定第一與第二畫面之間平移的其他細節由第3圖之流程圖來提供，使得現在要參照第3圖，且特別是，第3圖之操作30。在這方面，裝置10可包括用以確定在第一與第二相互正交的方向，諸如x及y方向上第一畫面中的臉部區域之積分投影的裝置，諸如處理器12等。例如，在第一畫面I(x,y)中大小為MxM的臉部區域的水平及垂直積分投影曲線h(y)及v(x)可確定如下：h(y)=|I(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部，y {-M/2,M/2}
    v(x)=|I(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部，x {-M/2,M/2}
    如第3圖之操作32中所示，裝置10也可包括用以確定第二畫面中的對應視窗在第一與第二相互正交的方向，諸如x及y方向上的積分投影曲線的裝置，諸如處理器12等。第二畫面中的視窗之積分投影曲線可以以各種不同的方式來確定，包括下列：h'(y)=|I'(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部，y {-M/2,M/2}
    v'(x)=|I'(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部，x {-M/2,M/2}其中h’( )表示第二畫面I’(x,y)中的水平積分投影曲線，且v’( )表示第二畫面I’(x,y)中的垂直積分投影曲線。
    基於這些積分投影，第一畫面I(x,y)與第二畫面I’(x,y)之間的臉部區域之平移可被確定。如第3圖之操作34中所示，裝置10可包括用以使第一及第二畫面之積分投影曲線移位的裝置，諸如處理器12等。此實施例之裝置10也可包括用以如第3圖之操作36中所示，確定在第一與第二畫面之各別積分投影曲線之間產生一最小距離的移位量的裝置，諸如處理器12等。舉例而言，x方向上的平移可藉由使第一及第二畫面的垂直積分投影曲線移位，例如上述之v(x)及v’(x)，及確定造成二垂直積分投影曲線之間最小距離dx的移位量而獲得。在一實施例中，例如，第一及第二畫面的垂直積分投影曲線之間的最小距離dx可確定如下：
    同樣地，y方向上的移動可藉由使第一及第二畫面的水平積分投影曲線移位，例如上述h(y)及h’(y)，及確定造成二水平積分投影曲線之間最小距離dy的移位量而獲得。在一實施例中，例如，第一及第二畫面的水平積分投影曲線之間的最小距離dy可確定如下：
    一旦平移已被確定，一示範實施例之方法及裝置10就可驗證第一與第二畫面之間的平移。如第2圖之操作22及第3圖之操作38中所示，裝置10可包括用以確定第二畫面中的視窗在藉由第一與第二畫面之間被確定的平移移動之後的積分梯度投影的裝置，諸如，處理器12等。依據上述範例，第二畫面I’(x,y)中的視窗可藉由被確定為(dx,dy)的平移來移動。在第二畫面I’(x,y)中的視窗移動之後，第二畫面中之視窗在x及y方向上的積分梯度投影可被確定如下，h”(x)表示垂直梯度之水平投影且v”(y)表示水平梯度之垂直投影：h"(x)=|I'(x+dx-x0,y+dy-y0)-I(x+dx-x0,y+dy+1-y0)|其中x {-M/2,M/2}
    v"(y)=|I'(x+dx-x0,y+dy-y0)-I(x+dx+1-x0,y+dy-y0)|其中y {-M/2,M/2}
    如第2圖之操作24及第3圖之操作40中所示，裝置10也可包括用以確定第一畫面中的一臉部區域的積分梯度投影的裝置，諸如處理器12等。例如，第一畫面I(x,y)中的垂直梯度之水平投影hg(x)及水平梯度之垂直投影vg(y)可確定如下：h g (x)=|I(x-x0,y-y0)-I(x-x0,y+1-y0)|其中對於中心在[x0,y0]之臉部，x {-M/2,M/2}
    V g (y)=|I(x-x0,y-y0)-I(x+1-x0,y-y0)|其中對於中心在[x0,y0]之臉部，y {-M/2,M/2}
    藉由利用積分梯度投影來執行對平移的驗證，本發明之示範實施例之方法及裝置10可避免不利的照明影響，以更準確地估計平移。
    如第2圖之操作26及第3圖之操作42中所示，裝置10也可包括用以確定視窗在由於平移移動之後的積分梯度投影與臉部區域之積分梯度投影之間的距離的裝置，諸如，處理器12等。在這方面，第一及第二畫面之水平積分梯度投影曲線之間與第一及第二畫面之垂直積分梯度投影曲線之間在x及y方向上的距離fdx，fdy可被確定如下：
    裝置10也可包括用以確定平移是否基於積分梯度投影之間的距離與一預定義閾值thr1間的關係而被驗證的裝置，諸如，處理器12等，如第2圖之操作28及第3圖之操作44中所示者。在一範例中，在距離小於預定義閾值，例如fdx<thr1且fdy<tthr1的情況下，裝置，諸如處理器，可驗證第一與第二畫面之間的臉部之平移。雖然同一預定義閾值thr1與x方向上的積分梯度投影之間之距離及y方向上的積分梯度投影之間之距離一起利用，但是在其他實施例中，不同的預定義閾值可被利用在x及y方向上。在第一與第二畫面之間的臉部之平移被驗證的情況下，裝置可包括用以基於平移來重新界定其他畫面，諸如後續畫面之預定義位置的裝置，諸如，處理器12等。參見第3圖之操作46。換言之，作為臉部區域中心的臉部區域之預定義位置可基於如上所述般確認的平移來更新。然而，若裝置，諸如處理器，無法驗證平移，諸如積分梯度投影之間的距離未能滿足預定義閾值的情況，例如fdx>thr1或fdy>thr1，則一實施例之方法、裝置及電腦程式產品可估算第一畫面之臉部區域與第二畫面之視窗之間的一比例因子，以確定其間可能的縮放比例，如第3圖之操作48中所示及結合第4圖在下文中所述。
    上文中連同例如第2及3圖一起描述的本發明示範實施例之方法、裝置及電腦程式產品可藉由僅確定第一畫面中的臉部區域及第二畫面中的對應視窗，而非更大部分或實際上整個畫面的積分梯度投影，以及利用一維搜尋以估計平移提供了計算效率提高的一顯著計算優勢。
    在平移並未被驗證的情況下，諸如積分梯度投影之間之距離未能滿足一預定義閾值的情況下，一示範實施例之方法、裝置及電腦程式產品可在比例縮放存在之下分析第一畫面之臉部區域與第二畫面之對應視窗之間的積分投影曲線。雖然縮放比例可能由於各種不同的原因被引入，但是比例縮放一般可能會在臉部或影像擷取裝置例如照相機的彼此相對移動，諸如相對於另一者更靠近或更遠的情況下發生。
    依據此實施例，裝置10可包括用以確定關聯第一畫面之臉部區域與第二畫面中的對應視窗之積分梯度投影曲線的一轉移函數的裝置，諸如處理器12等。參見第4圖之操作50。舉例而言，現在參照第5圖，其中h1(x)及h2(2)分別是第一畫面之臉部區域及第二畫面之對應視窗的水平積分投影曲線。為了確定轉移函數，一示範實施例之裝置10可包括用以確定提供積分投影曲線之間的一最小點對點距離的一轉移函數線的裝置，諸如處理器12等。關於第5圖之實施例，例如，轉移函數線可被定義為i=m*j+c。在這方面，j是h2(x)的標記，且i是h1(x)的標記。此外，此示範實施例之積分投影曲線之間的距離被定義成二曲線之間之絕對差的總和。
    在二曲線之間的複數可能映射中，一示範實施例的搜尋可被約束為搜尋界定在0.75與1.25之間的斜率m，因為在二畫面內，臉部區域的縮放比例變化一般將不會變化超過1.25倍。在此示範實施例中，水平積分投影曲線之間的轉移函數線的斜率可確定如下：m x =argmin m {|h2(j)-h1(m*j+c k )|}其中m (0.75,01.25)
    在這方面，ck可藉由假定積分轉移函數線與延伸穿過原點且在第5圖中被繪示為在(k*M/4,k*M/4)的一虛線的一對角線相交而被確定，M為線的長度且k為[0,3]的一元素。雖然上文結合確定水平積分投影曲線之間的轉移函數線之斜率mx來描述，但是裝置10也可包括用以確定關聯第一畫面之臉部區域與第二畫面之對應視窗之垂直積分投影曲線的轉移函數線之斜率my的裝置，諸如處理器12等。
    由轉移函數，諸如轉移函數線來確定積分投影曲線之間的最佳映射也可在圖形上呈現成將一樞軸固定在由第5圖中的虛線所示的對角線上的某一點上，且接著將轉移函數線旋轉到對應於不同斜率m的不同角度θ，最佳映射由提供依對於mx及my的前述方程式所定義的最小距離的轉移函數線來定義。在此分析中，應指出的是，樞軸可能被固定在四個不同的位置，亦即在(k*M/4,k*M/4)，k為一元素[0,3]。
    一示範實施例之裝置10也可包括用以基於x及y方向上的比例因子來確定比例因子的裝置，諸如處理器12等。參見第4圖之操作52。在這方面，比例因子mf可被確定成是mx與my的平均值，亦即，mf=(mx+my)/2。基於比例因子，第二畫面中的視窗的大小可基於該比例因子來修改，諸如基於比例因數而尺寸增大或縮小。如第4圖之操作54中所示，裝置10也可包括用以在確定第二畫面中之視窗在基於比例因子重新調整視窗大小之後的積分梯度投影曲線的裝置，諸如處理器12等。在這方面，水平及垂直積分梯度投影曲線h”(x)及v”(y)可如上文所述來確定，但是具有一重新調整大小或按比例調整的視窗。一示範實施例之裝置10也可包括用以將水平及垂直積分梯度投影曲線h”(x)及v”(y)之長度重新定義成相同於第一畫面之投影長度，即M，的裝置，諸如處理器12等。
    一實施例之裝置10也可包括用以確定第一畫面中的臉部區域與第二畫面中的重新調整大小的視窗之積分梯度投影曲線之間之距離的裝置，諸如處理器12等，諸如以上文結合fdx及fdy的方程式所述的方式。參見第4圖之操作56。之後，裝置10可包括用以確定比例因子是否基於積分梯度投影之間之距離與一預定義閾值之間之關係被驗證的裝置，諸如處理器12等。參見操作58。例如，比例因子可藉由比較距離fdx及fdy與在上文結合第2圖之操作28及第3圖之操作44所述的一預定義閾值thr1而被驗證。雖然依上文所述同一閾值被利用，但可利用不同的閾值，實際上，在一實施例中，一不同的閾值可用於x及y方向。在比例因子被驗證的情況下，裝置10可包括用以基於比例因子來重新定義其他畫面，諸如後續畫面的臉部區域及對應視窗之預定大小的裝置，諸如處理器12等。參見第4圖之操作60。或者，在比例因子未能滿足預定義閾值的一或多個距離而未被驗證的情況下，一示範實施例之方法、裝置及電腦程式產品可利用一基於圖形辨識之臉部分類器來執行一臉部搜尋，如第4圖之操作62中所示。
    在平移或比例因子都未被驗證的情況下，可能在第一與第二畫面之間引起變化及大量模糊。因此，裝置10可包括用以使用一基於圖形辨識的臉部分類器來執行一約束臉部搜尋的裝置，諸如處理器12等。此臉部搜尋可對預定數目的臉部大小，諸如x、1.25x及0.75x執行，x是先前找到的臉部之臉部大小。對於每一個臉部大小，裝置，諸如處理器，可在臉部先前所位於之前一畫面中位置附近的一關注區域中執行臉部搜尋。藉由使用一基於圖形辨識之臉部分類器對預定數目的臉部大小執行一臉部搜尋，萬一在某些情況下引起變化及大量模糊，一臉部仍可在第一及第二畫面中被找到。
    使用積分梯度投影可能有利於以一可靠方式識別平移及/或縮放，尤其是針對經常發生平移及縮放或比例縮放的視頻。藉由以在一有意義百分比的實例中被成功驗證的方式來確定平移及/或比例調整，臉部追蹤可能在大量實例中成功，從而增加臉部追蹤程序的效率。
    如上文所述，第2-4圖是依據本發明之示範實施例的一方法及程式產品的流程圖。將理解的是，流程圖的每一方塊及流程圖中的方塊組合可藉由各種裝置來實施，諸如硬體、韌體、處理器、電路及/或其他連帶執行包括一或多個電腦程式指令之軟體的裝置。例如，上述一或多個步驟可藉由電腦程式指令來實施。在這方面，實施上述步驟的電腦程式指令可由一裝置10之一記憶體裝置14儲存並由裝置10之一處理器12執行。將瞭解的是，任何此種電腦程式指令可被載入到一電腦或其他可程式裝置(例如，硬體)上以產生一機器，使得在電腦或其他可程式裝置上執行的指令產生用以實施流程圖方塊中所指定之功能之手段。這些電腦程式指令也可被儲存在一非暫態電腦可讀記憶體中而指揮一電腦或其他可程式裝置以一特定方式作用，使得儲存在電腦可讀記憶體中之指令產生實施流程圖方塊中所指定功能的一製品。該等電腦程式指令也可被載入到一電腦或其他可程式裝置上以使一系列操作在電腦或其他可程式裝置上被執行而產生一電腦實施程序，使得在電腦或其他可程式裝置上執行的指令實施流程圖方塊中所指定的功能。
    因此，第2-4圖之流程圖方塊支援用以執行指定功能之手段之組合，及用以執行指定功能之操作之組合。也將理解的是，一或多個流程圖方塊，及流程圖方塊之組合，可由特殊用途以硬體為基礎的執行指定功能的電腦系統或特殊用途硬體與電腦指令之組合來實施。
    在受益於上述說明與相關附圖中所提出之教示下，熟習此等發明相關之技藝的人士將會想到本文中所闡述之發明的許多修改及其他實施例。因此，將理解的是，本發明並不限於所揭露之特定實施例，且修改及其他實施例意欲包括在後附申請專利範圍之範圍內。此外，雖然前述說明及相關圖式在元件及/或功能之某些示範組合的情況下描述某些示範實施例，應瞭解的是元件及/或功能之不同組合在不背離後附申請專利範圍之範圍下可由其他可行的實施例提供。在這方面，例如，上文明確描述以外的不同元件及/或功能之組合也被設想到而可能被陳述在某些後附申請專利範圍中。儘管本文使用了特定用詞，但僅作為一般性及描述性的意義來使用且不作為限制的目的。
    10‧‧‧裝置
    12‧‧‧處理器
    14‧‧‧記憶體裝置
    16‧‧‧通訊介面
    18‧‧‧使用者介面
    20~28,30~48,50~62‧‧‧操作
    第1圖是依據本發明之一示範實施例，用以執行臉部追蹤，包括估計平移及/或一比例因子的一裝置的一方塊圖；第2圖是繪示依據本發明之一示範實施例，一種用以確定第一與第二畫面之間的一平移的方法的一流程圖；第3圖是繪示依據本發明之另一示範實施例，為了確定第一與第二畫面之間之平移所執行之操作的一流程圖；第4圖是繪示依據本發明之一示範實施例，為了確定第一與第二畫面之間之比例因子所執行之操作的一流程圖；以及第5圖是依據本發明之一示範實施例，可輔助確定第一與第二畫面之間的一比例因子的一轉移函數的一圖形表示。
    权利要求:
    Claims (38)
    [1] 一種方法，其包含以下步驟：確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中的一共位視窗之積分投影曲線的轉移函數；基於該轉移函數來確定一比例因子；確定該第二畫面中之視窗的積分梯度投影，該視窗具有一基於該比例因子的大小並用於驗證該比例因子；確定該第一畫面中的臉部區域與該第二畫面中具有一基於該比例因子之大小的視窗之積分梯度投影之間的一距離；及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
    [2] 如申請專利範圍第1項所述之方法，其中確定該轉移函數包含確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。
    [3] 如申請專利範圍第1或2項中任一項所述之方法，其中確定該比例因子包含基於在第一與第二相互正交方向上之比例因子來確定該比例因子。
    [4] 如申請專利範圍第1-3項中任一項所述之方法，其進一步包含在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。
    [5] 如申請專利範圍第1-4項中任一項所述之方法，其進一步包含在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面的預定大小。
    [6] 一種裝置，其包含：至少一處理器；及至少一包括電腦程式碼的記憶體，被配置成，用該至少一處理器，使該裝置執行至少以下步驟：確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中的一共位視窗之積分投影曲線的轉移函數；基於該轉移函數來確定一比例因子；確定該第二畫面中之視窗的積分梯度投影，該視窗具有一基於該比例因子的大小並用於驗證該比例因子；確定該第一畫面中的臉部區域與該第二畫面中具有一基於該比例因子之大小的視窗之積分梯度投影之間的一距離；及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
    [7] 如申請專利範圍第6項所述之裝置，其中該至少一包括電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線來確定該轉移函數。
    [8] 如申請專利範圍第6或7項中任一項所述之裝置，其中該至少一包括電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由確定基於第一與第二相互正交方向上的比例因子的比例因子來確定該比例因子。
    [9] 如申請專利範圍第6-8項中任一項所述之裝置，其中該至少一包括電腦程式碼的記憶體被進一步配置成，用該至少一處理器，使該裝置在該比例因子因該距離未滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。
    [10] 如申請專利範圍第6-9項中任一項所述之裝置，其中該至少一包括電腦程式碼的記憶體被進一步配置成，用該至少一處理器，使該裝置在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面的預定大小。
    [11] 一種包含電腦可讀程式碼部分的電腦程式，其包含：被配置用以確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中的一共位視窗之積分投影曲線的轉移函數的程式碼指令；被配置用以基於該轉移函數來確定一比例因子的程式碼指令；被配置用以確定該第二畫面中之視窗的積分梯度投影的程式碼指令，該視窗具有一基於該比例因子的大小並用於驗證該比例因子；被配置用以確定該第一畫面中的臉部區域與該第二畫面中具有一基於該比例因子之大小的視窗之積分梯度投影之間的一距離的程式碼指令；及被配置用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證的程式碼指令。
    [12] 如申請專利範圍第11項所述之電腦程式，其中被配置用以確定該轉移函數的程式碼指令包含被配置用以確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線的程式碼指令。
    [13] 如申請專利範圍第11或12項中任一項所述之電腦程式，其中被配置用以確定該比例因子的程式碼指令包含被配置用以基於在第一與第二相互正交方向上之比例因子來確定該比例因子的程式碼指令。
    [14] 如申請專利範圍第11-13項中任一項所述之電腦程式，其中該等電腦可讀程式碼部分進一步包含被配置用以在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋的程式碼指令。
    [15] 如申請專利範圍第11-14項中任一項所述之電腦程式，其中該等電腦可讀程式碼部分進一步包含被配置用以在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面之預定大小的程式碼指令。
    [16] 一種裝置，其包含：用以確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中的一共位視窗之積分投影曲線的轉移函數之裝置；用以基於該轉移函數來確定一比例因子之裝置；用以確定該第二畫面中之視窗的積分梯度投影之裝置，該視窗具有一基於該比例因子的大小並用於驗證該比例因子；用以確定該第一畫面中的臉部區域與該第二畫面中具有一基於該比例因子之大小的視窗之積分梯度投影之間的一距離之裝置；及用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證之裝置。
    [17] 如申請專利範圍第16項所述之裝置，其中用以確定該轉移函數之裝置包含用以確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線之裝置。
    [18] 如申請專利範圍第16或17項中任一項所述之裝置，其中用以確定該比例因子之裝置包含用以基於在第一與第二相互正交方向上之比例因子來確定該比例因子之裝置。
    [19] 如申請專利範圍第16-18項中任一項所述之裝置，其進一步包含用以在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下，使用一基於圖形辨識之臉部分類器來執行一臉部搜尋之裝置。
    [20] 如申請專利範圍第16-19項中任一項所述之裝置，其進一步包含用以在該比例因子被驗證的情況下，基於該比例因子來重新定義其他畫面的預定大小之裝置。
    [21] 一種方法，其包含以下步驟：基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移；及驗證該第一與第二畫面之間之平移，其中驗證包含：確定該第二畫面中之該視窗在視窗由於該第一與第二畫面之間的平移移動之後的積分梯度投影；確定該第一畫面中的一臉部區域的積分梯度投影；確定該視窗由於平移移動之後的積分梯度投影與該臉部區域之積分梯度投影之間的一距離；及基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
    [22] 如申請專利範圍第21項所述之方法，其進一步包含以下步驟：確定在該第一畫面中第一與第二相互正交方向上之臉部區域的積分投影；及確定在該第二畫面中第一與第二相互正交方向上之視窗的積分投影。
    [23] 如申請專利範圍第21或22項中任一項所述之方法，其中確定該平移包含：使該第一及第二畫面之各別積分投影曲線移位；及確定使該第一及第二畫面之各別積分投影曲線之間產生一最小距離的一移位量。
    [24] 如申請專利範圍第21-23項中任一項所述之方法，其中確定第二畫面中之視窗在視窗由於平移移動之後的積分梯度投影包含確定該第二畫面中在第一與第二相互正交方向上之視窗的積分梯度投影，且其中確定該第一畫面中的臉部區域的積分梯度投影包含確定該第一畫面中在該第一與第二相互正交的方向上之臉部區域的積分梯度投影。
    [25] 如申請專利範圍第21-24項中任一項所述之方法，進一步包含在平移被驗證的情況下，基於該平移來重新定義其他畫面的預定義位置。
    [26] 如申請專利範圍第21-25項中任一項所述之方法，進一步包含在平移因距離未能滿足預定義閾值而未被驗證的情況下，評估該第一畫面之臉部區域與該第二畫面之視窗之間的一比例因子。
    [27] 一種裝置，其包含：至少一處理器；及至少一包括電腦程式碼的記憶體，被配置成，用該至少一處理器，使該裝置執行至少以下步驟：基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中的一共位視窗之各別積分投影來確定第一與第二畫面之間的一平移；及驗證該第一與第二畫面之間之平移，其中該至少一包括該電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由以下步驟來驗證平移：確定該第二畫面中之視窗在視窗由於該第一與第二畫面之間之平移移動之後的積分梯度投影；確定該第一畫面中的一臉部區域的積分梯度投影；確定在視窗由於平移移動之後之積分梯度投影與該臉部區域之積分梯度投影之間的一距離；及基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
    [28] 如申請專利範圍第27項所述之裝置，其中該至少一包括該電腦程式碼的記憶體被進一步配置成，用該至少一處理器，使該裝置：確定該第一畫面中的臉部區域在第一與第二相互正交方向上之積分投影；及確定該第二畫面中之視窗在第一與第二相互正交方向上的積分投影。
    [29] 如申請專利範圍第27或28項中任一項所述之裝置，其中該至少一包括該電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由以下步驟來確定平移：使該第一及第二畫面之各別積分投影曲線移位；及確定使該第一及第二畫面之各別積分投影曲線之間產生一最小距離的一移位量。
    [30] 如申請專利範圍第27-29項中任一項所述之裝置，其中該至少一包括該電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由確定該第二畫面中之視窗在第一及第二相互正交方向上的積分梯度投影來確定該第二畫面中之視窗在視窗由於平移移動之後的積分梯度投影，且其中該至少一包括該電腦程式碼的記憶體被配置成，用該至少一處理器，使該裝置藉由確定該第一畫面中之臉部區域在該第一與第二相互正交方向上的積分梯度投影來確定該第一畫面中之該臉部區域的積分梯度投影。
    [31] 如申請專利範圍第27-30項中任一項所述之裝置，其中該至少一包括該電腦程式碼的記憶體被進一步配置成，用該至少一處理器，使該裝置在平移被驗證的情況下，基於該平移來重新定義其他畫面的預定義位置。
    [32] 如申請專利範圍第27-31項中任一項所述之裝置，其中該至少一包括電腦程式碼的記憶體被進一步配置成，用該至少一處理器，使該裝置在平移因距離未能滿足預定義閾值而未被驗證的情況下，估算該第一畫面之臉部區域與該第二畫面之視窗之間的一比例因子。
    [33] 一種包含程式碼部分的電腦程式，其包含：被配置用以基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移的程式碼指令；及被配置用以驗證該第一與第二畫面之間之平移的程式碼指令，其中被配置用以驗證之該等程式碼指令包含：被配置用以確定該第二畫面中之視窗在視窗由於該第一與第二畫面之間平移移動之後的積分梯度投影的程式碼指令；被配置用以確定該第一畫面中的一臉部區域的積分梯度投影的程式碼指令；被配置用以確定該視窗在由於平移移動之後之積分梯度投影與該臉部區域之積分梯度投影之間的一距離的程式碼指令；及被配置用以基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證的程式碼指令。
    [34] 如申請專利範圍第33項所述之電腦程式，其中該等電腦可讀程式碼部分進一步包含：被配置用以確定該第一畫面中的臉部區域在第一與第二相互正交方向上之積分投影的程式碼指令；及被配置用以確定該第二畫面中的視窗在第一與第二相互正交方向上之積分投影的程式碼指令。
    [35] 如申請專利範圍第33或34項中任一項所述之電腦程式，其中被配置用以確定平移之程式碼指令包含：被配置用以使該第一及第二畫面之各別積分投影曲線移位的程式碼指令；及被配置用以確定使該第一及第二畫面之各別積分投影曲線之間產生一最小距離的一移位量的程式碼指令。
    [36] 如申請專利範圍第33-35項中任一項所述之電腦程式，其中被配置用以確定該第二畫面中之視窗在視窗由於平移移動之後之積分梯度投影的程式碼指令包含被配置用以確定該第二畫面中之視窗在第一與第二相互正交方向上的積分梯度投影的程式碼指令，且其中被配置用以確定該第一畫面中之臉部區域的積分梯度投影的程式碼指令包含被配置用以確定該第一畫面中之臉部區域在該第一與第二相互正交方向上的積分梯度投影的程式碼指令。
    [37] 如申請專利範圍第33-36項中任一項所述之電腦程式，其中該等電腦可讀程式碼部分進一步包含被配置用以在平移被驗證的情況下，基於該平移來重新定義其他畫面的預定義位置的程式碼指令。
    [38] 如申請專利範圍第33-37項中任一項所述之電腦程式，其中該等電腦可讀程式碼部分進一步包含被配置用以在平移因距離未能滿足預定義閾值而未被驗證的情況下，估算該第一畫面之臉部區域與該第二畫面之視窗之間的一比例因子的程式碼指令。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI547887B|2016-09-01|用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式
    KR101457313B1|2014-11-04|템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
    US9406137B2|2016-08-02|Robust tracking using point and line features
    WO2019042419A1|2019-03-07|图像跟踪点获取方法、设备及存储介质
    US9196055B2|2015-11-24|Method and apparatus for providing a mechanism for gesture recognition
    WO2013082806A1|2013-06-13|Method and apparatus for identifying a gesture based upon fusion of multiple sensor signals
    US8965051B2|2015-02-24|Method and apparatus for providing hand detection
    US20160381320A1|2016-12-29|Method, apparatus, and computer program product for predictive customizations in self and neighborhood videos
    JP2020119550A|2020-08-06|拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
    JP2016136439A|2016-07-28|グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
    KR20120044484A|2012-05-08|이미지 처리 시스템에서 물체 추적 장치 및 방법
    US20140231523A1|2014-08-21|Electronic device capable of recognizing object
    KR20140103021A|2014-08-25|객체 인식이 가능한 전자 장치
    CN110781823A|2020-02-11|录屏检测方法、装置、可读介质及电子设备
    CN107730533B|2021-10-12|图像处理方法、图像处理设备和存储图像处理程序的介质
    US9508155B2|2016-11-29|Method and apparatus for feature computation and object detection utilizing temporal redundancy between video frames
    KR102344227B1|2021-12-27|동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램
    US20210241523A1|2021-08-05|Electronic device for providing visual localization based on outdoor three-dimension map information and operating method thereof
    KR20140103036A|2014-08-25|객체 추적이 가능한 전자 장치
    CN110781888A|2020-02-11|回归视频画面中屏幕的方法、装置、可读介质及电子设备
    CN113168706A|2021-07-23|视频流的帧中的对象位置确定
    CN112818748A|2021-05-18|确定视频中的平面的方法和装置、存储介质和电子设备
    同族专利:
    公开号 | 公开日
    EP2727047A1|2014-05-07|
    CN103620621B|2017-10-24|
    TWI547887B|2016-09-01|
    US20130004025A1|2013-01-03|
    CN103620621A|2014-03-05|
    US8873811B2|2014-10-28|
    EP2727047A4|2015-04-22|
    WO2013001144A1|2013-01-03|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    JPH0865681A|1994-08-25|1996-03-08|Sony Corp|動きベクトル検出装置およびそれを使用した動き補償予測符号化システム|
    AUPP400998A0|1998-06-10|1998-07-02|Canon Kabushiki Kaisha|Face detection in digital images|
    US6404900B1|1998-06-22|2002-06-11|Sharp Laboratories Of America, Inc.|Method for robust human face tracking in presence of multiple persons|
    GB2341231A|1998-09-05|2000-03-08|Sharp Kk|Face detection in an image|
    TWI246662B|2000-07-28|2006-01-01|Symtron Technology Inc|Face recognition system|
    US7155036B2|2000-12-04|2006-12-26|Sony Corporation|Face detection under varying rotation|
    AUPS140502A0|2002-03-27|2002-05-09|Seeing Machines Pty Ltd|Method for automatic detection of facial features|
    US7574016B2|2003-06-26|2009-08-11|Fotonation Vision Limited|Digital image processing using face detection information|
    GB0423578D0|2004-10-22|2004-11-24|Greenparrotpictures Ltd|Dominant motion estimation for image sequence processing|
    JP2006260397A|2005-03-18|2006-09-28|Konica Minolta Holdings Inc|開眼度推定装置|
    US7689011B2|2006-09-26|2010-03-30|Hewlett-Packard Development Company, L.P.|Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications|
    KR100851981B1|2007-02-14|2008-08-12|삼성전자주식회사|비디오 영상에서 실 객체 판별 방법 및 장치|
    US8649604B2|2007-03-05|2014-02-11|DigitalOptics Corporation Europe Limited|Face searching and detection in a digital image acquisition device|
    JP4420056B2|2007-04-20|2010-02-24|ソニー株式会社|画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム|
    US8139817B2|2007-04-27|2012-03-20|Telewatch Inc.|Face image log creation|
    JP4999570B2|2007-06-18|2012-08-15|キヤノン株式会社|表情認識装置及び方法、並びに撮像装置|
    TWM338378U|2007-12-31|2008-08-11|Altek Corp|Automatic tracing system and its apparatus|
    US8351712B2|2009-04-27|2013-01-08|The Neilsen Company , LLC|Methods and apparatus to perform image classification based on pseudorandom features|
    JP5227911B2|2009-07-22|2013-07-03|株式会社日立国際電気|監視映像検索装置及び監視システム|
    JP5642410B2|2010-03-30|2014-12-17|パナソニック株式会社|顔認識装置及び顔認識方法|
    KR101365789B1|2010-05-26|2014-02-20|닛본 덴끼 가부시끼가이샤|얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체|
    CN103270535B|2010-06-23|2016-05-25|诺基亚技术有限公司|用于跟踪脸部部分的方法、装置|
    US8971613B2|2010-07-07|2015-03-03|Nec Corporation|Image processing learning device, image processing learning method, and image processing learning program|JP5476955B2|2009-12-04|2014-04-23|ソニー株式会社|画像処理装置および画像処理方法、並びにプログラム|
    US9737370B2|2014-10-14|2017-08-22|Synaptive MedicalInc.|Patient reference tool|
    MA40886B1|2015-02-09|2020-03-31|Hetero Research Foundation|Nouveau triterpénone en c-3 avec des dérivés d'amide inverse en c-28 en tant qu'inhibiteurs du vih|
    WO2016147099A2|2015-03-16|2016-09-22|Hetero Research Foundation|C-3 novel triterpenone with c-28 amide derivatives as hiv inhibitors|
    CN106157329B|2015-04-20|2021-08-17|中兴通讯股份有限公司|一种自适应目标跟踪方法及装置|
    CN105574893B|2015-12-18|2018-02-09|浙江大学|一种基于投影梯度的稳像方法|
    法律状态:
    2021-06-01| MM4A| Annulment or lapse of patent due to non-payment of fees|
    优先权:
    申请号 | 申请日 | 专利标题
    IN2228CH2011||2011-06-30||
    [返回顶部]