• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種家電控制裝置，用以根據一影像感測器所擷取複數目前影像彼此間的變化或該影像感測器所擷取一目前影像相對於一參考影像或一參考資料的關係，求出各活動體之各種參數以決定一家電裝置之一運轉狀態。
    公开号:TW201312305A
    申请号:TW100140262
    申请日:2011-11-04
    公开日:2013-03-16
    发明作者:Fu-Chen Chen；Hsin-Chia Chen；Yi-Hsien Ko；Ming-Tsan Kao
    申请人:Pixart Imaging Inc；
    IPC主号:F24F11-00
    专利说明:
    家電控制裝置
    本發明係關於一種家電控制裝置，特別係關於一種可根據各活動體之各種參數決定一家電裝置之一運轉狀態之家電控制裝置及其控制方法。
    傳統冷氣係利用一溫度感知器感測室內溫度以調節冷氣之輸出風力及室內溫度，然而由於溫度感知器通常設置於固定位置，例如冷氣機體內，該溫度感知器所感測之溫度往往難以即時反應室內之實際溫度變化，導致溫度調節效果不佳而消耗相當大之電力。此外，傳統冷氣之輸出風向無法根據室內實際人體位置而調整，因此難以使室內溫度調節到良好的舒適度。
    因此，業界提出了根據紅外線影像感測器所擷取之紅外線影像以控制冷氣的方式，例如日本專利公開第10-259942號專利所揭示之「空氣調節器之控制裝置」，其包含一紅外線影像感測器、一狀況判斷電路及一控制電路。該紅外線影像感測器用以擷取一室內影像；該狀況判斷電路根據該紅外線影像感測器所擷取之影像判斷室內人數、位置、動作、活動量或衣著量等狀況；該控制電路則根據該狀況判斷電路之判斷結果控制一空氣調節器之風向及出力等運轉狀態。
    然而，該控制裝置係主要係根據一台紅外線影像感測器所擷取之影像進行狀況判斷，因而無法根據人體與空氣調節器之距離以進行相對之控制。因此，本發明另提供一種家電控制裝置及其控制方法，其可計算至少一活動體相對於一家電裝置之靜態及動態參數，以調整該家電裝置之出力及/或指向性等運轉狀態，藉以提升其運轉效率。
    本發明之一目的在提供一種溫度調節器之控制裝置及控制方法，其係根據至少一活動體與溫度調節器間之距離以調節溫度調節器出力及/或風向，可有效調節室內溫度並節省溫度調節器之消耗電力。
    本發明另一目的在提供一種家電控制裝置及其控制方法，用以根據一影像感測器所擷取複數目前影像彼此間的變化或該影像感測器所擷取一目前影像相對一參考影像或一參考資料的關係，求出各活動體之各種參數以決定一家電裝置之一運轉狀態。
    為達上述目的，本發明提供一種家電控制裝置，用以控制一家電裝置之一運轉狀態。該家電控制裝置包含一光源模組、一第一影像感測器、一處理單元及一控制單元。該光源模組投射一預設圖樣至至少一活動體。該第一影像感測器擷取包含該至少一活動體影像及該預設圖樣之一目前影像。該處理單元比對該目前影像與一參考影像或一參考資料，以求出關於該活動體之一靜態參數及一動態參數。該控制單元根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    一種實施態樣中，該參考影像為該第一影像感測器擷取該活動體位於一預設距離時之影像；該處理單元計算該目前影像之活動體影像及該參考影像之活動體影像間之一位移量以計算該靜態參數。
    一種實施態樣中，該參考資料為相對不同物距之點擴散函數，或不同物距下擷取之該預設圖樣。
    一種實施態樣中，該光學模組另包含一雷射光源及一光學元件；該雷射光源透過該光學元件投射之該預設圖樣為一光斑圖樣，該參考資料為相對不同物距之該光斑圖樣。
    根據本發明之另一特點，本發明另提供一種家電控制裝置，用以控制一家電裝置之一運轉狀態。該家電控制裝置包含一第一影像感測器、一處理單元及一控制單元。該第一影像感測器具有一可變光圈或一可變焦距並透過該可變光圈或該可變焦距擷取至少一活動體之複數目前影像，其中每一目前影像對應不同光圈值或焦距值。該處理單元相互比對該等目前影像，以求出關於該活動體之一靜態參數及一動態參數。該控制單元根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    一種實施態樣中，該處理單元根據該等目前影像以失焦測距法(depth from defocus)或對焦測距法(depth from focus)求出該活動體之該靜態參數及該動態參數。
    根據本發明之另一特點，本發明另提供一種家電控制裝置，用以控制一家電裝置之一運轉狀態。該家電控制裝置包含一第一影像感測器、一處理單元及一控制單元。該第一影像感測器具有一編碼光圈並透過該編碼光圈擷取至少一活動體之一目前影像。該處理單元比對該目前影像與一參考資料，以求出關於該活動體之一靜態參數及一動態參數。該控制單元根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    本發明之家電控制裝置中，該動態參數可根據複數靜態參數之變化所求得；該靜態參數可為該活動體之數目、位置及/或距離，該動態參數可為該活動體之活動量及/或活動範圍。
    本發明之家電控制裝置中，該運轉狀態可為一家電裝置之一出力或一指向性；該家電裝置可為一溫度調節器、一指向性喇叭或具指向性之一電子裝置，但並不限於此。
    為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明說明中，相同的構件係以相同的符號表示，於此合先敘明。
    請參照第1圖所示，其顯示本發明第一實施例之溫度調節器8之使用示意圖，此處該溫度調節器8係以一冷氣表示，但並不限於此，該溫度調節器8之其他實施例可包括一電風扇。該溫度調節器8係用以調節存在至少一活動體之一環境之溫度，其中該活動體例如可為人體或動物等。例如於一實施例中，該溫度調節器8係被設置於一室內空間9中，用以調節該室內空間9之環境溫度，但並不限於此。例如當溫度調節器為一電風扇時，該溫度調節器亦可設置於室外。
    請參照第1及2圖所示，該溫度調節器8耦接於一控制裝置10(該控制裝置10可設置於該溫度調節器8內部或外部)，該控制裝置10包含一第一影像感測器11及一第二影像感測器12用以擷取該室內空間9中之活動體影像，例如此時該室內空間9中存在有兩活動體A及B，且該活動體A距離該溫度調節器8較近。於此實施例中，該控制裝置10可根據該第一影像感測器11及該第二影像感測器12所擷取之影像求得一視差圖(disparity map)，接著利用該視差圖求出該室內空間9中各活動體與該溫度調節器8之距離，例如活動體A及B與該溫度調節器8之一平均距離、一最近距離(該活動體A與該溫度調節器8之距離)及一最遠距離(該活動體B與該溫度調節器8之距離)。該控制裝置10並根據該距離以調整該溫度調節器8之運轉狀態，例如出力及/或風向等。此外，利用該視差圖亦可求得各活動體之位置、數目等靜態參數，以及各活動體之活動量、活動範圍等動態參數，該控制裝置10可根據該靜態及動態參數其中之一或組合調整該溫度調節器8之運轉狀態。
    請再參照第2圖所示，其顯示本發明第一實施例之溫度調節器之控制裝置10之方塊圖。該控制裝置10包含一第一影像感測器11、一第二影像感測器12、一處理單元13、一控制單元14及一傳輸介面單元15。該第一影像感測器11及該第二影像感測器12之實施例包括一電荷耦合元件(CCD)影像感測器及一互補金屬氧化半導體(CMOS)影像感測器，其用以擷取包含至少一活動體之影像。例如第一實施例中，該第一影像感測器11及該第二影像感測器12擷取該溫度調節器8所設置之室內空間影像，且該第一及第二影像感測器彼此間具有一橫向距離。該處理單元13耦接該第一影像感測器11及該第二感測器12，用以根據該第一影像感測器11及該第二影像感測器12所擷取之影像計算出一視差圖(計算方式將於下列段落中描述)，並依據該視差圖計算該室內空間9中活動體與該溫度調節器8間之距離及其他參數，例如位置、動作、人數、活動體活動範圍及活動量等。該控制單元14耦接該處理單元13，並根據該處理單元14所求得之結果產生一控制信號(未繪示)以控制該溫度調節器8之一運轉狀態，例如出力及風向等，但並不限於此。該傳輸介面單元15耦接該控制單元14，用以將該控制信號傳送至該溫度調節器8以進行相對之控制。
    請參照第3圖所示，其顯示本發明第一實施例中計算視差圖之一種方式，其中，假設該第一影像感測器11與該第二影像感測器12之橫向距離為d；該第一及第二影像感測器所在直線設定為x軸；另設定一z軸垂直於該x軸。該第一影像感測器11位於該x軸與z軸之交點，其於此處設為原點(0,0)；因此，該第二影像顯示器12之座標為(d,0)。於此實施例中，該第一及第二影像感測器感測該x軸與z軸所形成空間中之一點P之影像，此處設定該第一及第二影像感測器之成像距離為f，並設定P點位於該第一影像感測器11之影像座標為(xL,-f)，位於該第二影像感測器12之影像座標為(xR,-f)，則可求得兩比例關係式分別為式(1)及(2)：
    z/x=-f/xL　(1)
    z/(x-d)=-f/(xR-d)　(2)
    將式(1)及(2)整理後可得到P點之位置表示為式(3)及(4)：
    x=d/(1-(xR-d)/xL)　(3)
    z=f×d/(xR-xL-d)　(4)
    根據式(3)，可求得P點相對於該第一影像感測器11及該第二影像感測器12之位置；根據式(4)，可求得P點與該第一影像感測器11及該第二影像感測器12之距離。同時根據式(4)可知，當(xR-xL-d)愈小時，P點距離該第一及第二影像感測器愈遠，此處(xR-xL-d)則定義為視差(disparity)。該第一影像感測器11之感測陣列(未繪示)之每一個畫素與該第二影像感測器12之感測陣列(未繪示)之相對位置畫素均可求得一視差值。該處理單元13則將該第一及第二影像感測器之感測陣列所有畫素之視差值形成為一二維視差圖(disparity map)，並據以判斷圖中各活動體與該溫度調節器8之距離。於該二維視差圖中，(xR-xL-d)可利用亮度作區別，例如當視差圖之亮度較高時表示(xR-xL-d)值愈高，P點則距離該第一及第二影像感測器愈近；反之，當視差圖之亮度較低時表示(xR-xL-d)值愈低，P點則距離該第一及第二影像感測器愈遠，藉此可求得一具有不同亮度層次之二維影像。該處理單元13則根據該視差圖影像求出各活動體之靜態參數，例如位置、數目及距離等，以及動態參數，例如活動量及活動範圍等，例如，計算活動量之方式可利用兩張二維視差圖之相關性求得；當該活動體之數目為一個以上時，該活動體與該溫度調節器之距離例如可為該等活動體與該溫度調節器之一平均距離、一最近距離及一最遠距離等，但並不限於此。該控制單元14則根據該處理單元13所求得之靜態參數及動態參數其中之一或組合產生一控制信號。該傳輸介面單元15將該控制信號傳輸至該溫度調節器8以進行相對應之控制。
    請參照第4圖所示，其顯示根據第1圖中該第一影像感測器11及第二影像感測器12所擷取之影像所求得之二維視差圖，其中該活動體A距離該溫度調節器8較近，所以具有最高之亮度(顯示為白色)；該活動體B距離稍遠，所以具有相對低之亮度(顯示為淡灰色)；而環境影像則具有最低之亮度(顯示為深灰色)。由於該室內空間9具有複數活動體，因此該控制單元14係根據活動體之分布狀況，例如平均距離、最近距離或最遠距離等，決定該溫度調節器8之運轉狀態。
    參照第5圖所示，其顯示本發明第一實施例之溫度調節器之控制方法，包含：以一第一影像感測器擷取一第一影像(步驟210)；以一第二影像感測器擷取一第二影像(步驟220)；根據該第一及第二影像求得一視差圖(步驟230)；根據該視差圖求得各活動體之距離(步驟240)；及根據該距離決定一溫度調節器之運轉狀態(步驟250)。詳細實施方式如上所述。
    本發明第二實施例係關於一種家電控制裝置及其控制方法，其根據一影像感測器所擷取之一目前影像與一參考影像或一參考資料之比對結果，計算出至少一活動體之數目、位置、距離、活動量以及活動範圍等。該家電裝置例如可為一溫度調節器、一指向性喇叭、具指向性(如出力方向)之一電子裝置或其他可根據活動體之數目、位置、距離、活動量及活動範圍等參數決定一運轉狀態之家電裝置。
    請參照第6圖所示，其顯示本發明第二實施例之家電控制裝置之方塊圖。家電控制裝置10'包含一第一影像感測器11、一處理單元13、一控制單元14、一傳輸介面單元15及一光源模組16；其中，該第一影像感測器11、控制單元14及傳輸介面單元15之實施例及運作方式類似於第一實施例，故於此不再贅述。第二實施例中，該處理單元13比對該第一影像感測器11所擷取之一目前影像與預先儲存之一參考影像或一參考資料，並根據比對結果求出關於活動體之數目、位置及距離等靜態參數，或比對該第一影像感測器11所擷取之複數目前影像與預先儲存之該參考影像或該參考資料，並根據比對結果求出關於活動體之活動量及活動範圍等動態參數。例如，該處理單元13於求出各活動體之靜態參數的同時可分別紀錄各活動體，當經過一預設時間後可再次求出各活動體之一新的靜態參數及其變化以求得動態參數；亦即動態參數例如可根據複數靜態參數之變化求得。該控制單元14則根據該靜態參數及該動態參數透過該傳輸介面單元15控制一家電裝置8'之一運轉狀態，例如出力及指向性等。該參考影像及該參考資料係根據該光源模組16所投射之一預設圖樣預先求得並儲存於該家電控制裝置10'者；其中，該預設圖樣例如為一光學繞射圖樣，但並不限於此。
    請參照第7圖所示，其顯示使用本發明實施例之家電控制裝置10'之一家電裝置8'之示意圖，其中該家電裝置8'係以一電扇為例，但本發明並不以此為限。該第一影像感測器11較佳設置於能夠擷取至少一活動體影像之位置；該光源模組16較佳設置於能夠投射一預設圖樣至至少一活動體之位置。一種實施例中，該光源模組16及該第一影像感測器11係不同軸地設置，即彼此間具有一橫向間距(如第7圖)；其他實施例中，該光源模組16及該第一影像感測器11亦可同軸地設置，即彼此間不具有一橫向間距；該家電控制裝置10'之其他構件設置於該家電裝置8'的適當位置，並無特定限制。本發明第二實施例之詳細實施方式將以不同實施態詳述於後。
    第一實施態樣中，該第一影像感測器11與該光源模組16係不同軸地設置，該處理單元13則利用三角測距的方式求出各活動體之各種參數。
    請參照第8A及8B圖所示，其顯示此實施態樣之操作示意圖；第8A圖為一活動體A位於一預設距離D時之操作示意圖，此時該第一影像感測器11擷取一參考影像IR並預先儲存於該處理單元13中；該參考影像IR例如包含一活動體影像IA且該活動體影像IA之位置係反映該預設距離D。第8B圖顯示於實際操作時，該活動體A具有一目前距離D'，其可小於、等於或大於該預設距離D。根據三角運算可知，該第一影像感測器11所擷取一目前影像IC中該活動體影像IA '之位置會不同於該活動體影像IA位於該參考影像IR中之位置，該處理單元13則可根據該等活動體影像IA及IA '間之位移量，求出該活動體A之目前距離D'以及位置和數量。
    另一實施例中，亦可將該活動體A位於不同距離時，該活動體影像IA位於該參考影像IR中之位置製作成一查找表以作為參考資料，並將其預先儲存於該處理單元13中，於實際操作時利用查表的方式求出該活動體A之距離、位置及數量等靜態參數。可以了解的是，所述參考影像IR或查找表並不限定儲存於該處理單元13中，亦可儲存於該家電控制裝置10'之其他構件。
    本實施態樣中，當活動體數量大於1時，該處理單元13可根據一張目前影像與該參考影像(或查找表)之比對結果求得各活動體之靜態參數，並可進而根據複數目前影像與該參考影像之比對結果求得各活動體之動態參數。該控制單元14則可根據該處理單元13所求得該靜態及動態參數控制該家電裝置8'之一運轉狀態；其中，該靜態及動態參數之定義如前所述，故於此不再贅述。此外，本實施態樣中，該光源模組16例如可為一紅外光光源或可投射一預設圖樣，例如干涉圖樣，之適當光源，並無特別限制；只要該處理單元13能夠根據該第一影像感測器11所擷取之目前影像進行三角運算即可。一種利用三角測距計算活動體距離的方式例如可參照國際專利公開WO2007/043036之「物件重建方法及系統(Method and system for object reconstruction)」。
    第二實施態樣中，該處理單元13係預先儲存點擴散函數(point spread function,PSF)與深度之關係或參考影像與深度之關係以作為一參考資料。此實施態樣中，該光源模組16例如可為一紅外光源，其可投射一預設圖樣，例如二維光柵圖樣，但並不以此為限。該第一影像感測器11根據固定的焦距及光圈樣式擷取目前影像。該處理單元13則比較該目前影像與該參考資料以求出各活動體之各種參數。本實施態樣中，該第一影像感測器11與該光源模組16較佳係同軸地設置，因此兩者間不具有橫向距離。
    請參照第9A圖，其顯示第二實施態樣中該第一影像感測器11擷取影像時之操作示意圖，其中該第一影像感測器11擷取活動體A之一目前影像可以數學式(1)來表示，
    y=F(z,f,a)x　(1)
    其中，y表示該目前影像；z表示物距；f表示焦距；a表示光圈樣式；表示卷積符號；x表示對焦影像，即第9A圖中z=f時擷取之預設圖樣，其中上述各參數均為二維參數。如前所述，由於此實施態樣中焦距f及光圈樣式a為固定，因此式(1)可簡化為y=F(z)x。根據簡化後方程式可知，該參考資料例如可為相對不同物距z之點擴散函數F(z)、相對不同物距之參考影像Y(z)及/或對焦影像x；其中所預存之資訊係根據計算物距z之方法而決定。
    第9B圖顯示一活動體A位於不同物距z時，呈現於該第一影像感測器11之一感測面11S之點擴散函數F(z)，其中距離焦平面FP不同距離時會得到不同的點擴散函數。根據第9B圖，當z=f時可擷取該對焦影像x，其點擴散函數之面積最小。當活動體A距離焦平面FP愈遠時，點擴散函數之面積則愈大，而且近失焦與遠失焦之點擴散函數亦不相同。
    本實施態樣中，由於該光源模組16所投射之預設圖樣已知，亦即x已知；則可預先根據活動體A在不同物距z時該第一影像感測器11擷取之參考影像Y(z)來求出相對不同物距之點擴散函數F(z)，其表示點擴散函數與深度的關係。該參考資料包含為該點擴散函數F(z)之特徵參數，例如面積或寬度等。
    計算物距z時，可根據第一影像感測器11擷取之一目前影像y透過如逆卷積法(deconvolution)、傅立葉轉換法(Fourier transform)或特徵比對法等求得相對應之點擴散函數F(z)或參考影像Y(z)，接著再將其對照所儲存之參考資料或透過查表的方式來求出物距z，而這些數學方法本身已為習知，故於此不再贅述。此處必須說明的是，根據上述不同方法計算物距z時，所需預先儲存的參考資料可不同。
    當使用逆捲積法計算深度時，可預先儲存F(z)及/或預設圖樣x。例如使用全盲逆捲積法(blind-deconvolution)時，不必儲存預設圖樣x；當不使用全盲逆捲積法時，則須儲存預設圖樣x。此外，當預設圖樣x具有重複性時(例如棋盤狀分佈)，可以僅儲存部分預設圖樣x，例如重複的圖樣單元。
    當使用傅立葉轉換法計算深度時，可預先儲存F(z)及預設圖樣x之時域或頻域資料。同理，當預設圖樣x具有重複性時可以僅儲存部分預設圖樣x。
    當使用特徵比對法計算深度時，可預先儲存參考影像Y(z)之原始影像或模糊程度參數，並將所擷取之一目前影像y與該參考影像Y(z)之原始影像或模糊程度參數比對或透過查表之方式來求出深度。
    綜而言之，本實施態樣中該處理單元13已預先儲存相對不同物距z時，該第一影像感測器11所擷取參考影像Y(z)及/或點擴散函數F(z)之特徵參數等參考資料，故能夠根據一目前影像y與該參考資料之比對結果求得各活動體之靜態參數，並根據複數目前影像求出各活動體之動態參數。
    此外，由於每一個點擴散函數係同時對應兩個物距z(如第9B圖所示)，在實際應用上例如可將焦平面FP設計為較接近家電控制裝置10'，因此所求得活動體之距離係大於焦平面FP。雖然此實施態樣中該光圈樣式顯示為五角型，但並不以此為限。
    同理，當活動體之數量大於1時，該處理單元13可根據一張目前影像求得各活動體之靜態參數，並可根據複數目前影像求得各活動體之動態參數。
    第三實施態樣中，該第一影像感測器11與該光源模組16較佳係同軸地設置，如第10圖所示該第一影像感測器11與該光源模組16彼此間不具有橫向位移。然而，第10圖中該第一影像感測器11與該光源模組16之空間關係僅為例示性，並非用以限定本發明。該光源模組16例如包含一雷射光源161及一光學元件162，例如一擴散片。該雷射光源161所發出之雷射光經過該光學元件162後會產生光斑於活動體A上，而且此光斑會隨著距離D的不同而改變。該家電控制裝置10'例如可預先儲存有光斑樣式與距離D相關的參考資料，當該第一影像感測器11擷取一目前影像時，該處理單元13則可根據該目前影像之光斑樣式以辨識該活動體A之距離D以及數目和位置。此外，該光學元件162亦可能為一二維光柵，只要是能夠使得該雷射光源161所發出的雷射光經過時產生隨距離改變的光斑樣式(speckle pattern)之光學元件即可。關於根據不同的光斑樣式來辨識活動體深度之實施方式例如可參照美國專利公開2007/0216894所記載的「使用光斑去相關性的區域映射(Range mapping using speckle decorrelation)」。
    同理，當活動體之數量大於1時，該處理單元13可根據一張目前影像求得各活動體之靜態參數，並可根據複數目前影像求得各活動體之動態參數。
    因此，本發明第二實施例之家電裝置控制方法包含下列步驟：以一影像感測器擷取至少一目前影像(步驟310)；比對該目前影像與一參考影像或一參考資料(步驟320)；根據比對結果求出靜態參數及動態參數(步驟330)；以及根據該等參數調整一家電裝置之運轉狀態(步驟340)；其中，各步驟之實施方式已揭示於上述各實施態樣，故於此不再贅述。
    請參照第12圖所示，其顯示本發明第三實施例之家電控制裝置之方塊圖。該家電控制裝置10"包含一第一影像感測器11、一光學元件111、一處理單元13、一控制單元14及一傳輸介面單元15；其中，該第一影像感測器11、控制單元14及傳輸介面單元15之實施例及運作方式類似於第一實施例，故於此不再贅述。
    本發明之第三實施例中，該處理單元13相互比對該第一影像感測器11所擷取之複數目前影像，或比對單張或複數目前影像與所預先儲存之一參考資料，以求得各活動體之數目、位置及距離等靜態參數以及活動量及活動範圍等動態參數；如前所述，該動態參數例如可根據複數靜態參數的變化求得。該光學元件111例如可為一可變光圈、一可變焦距或一編碼光圈(coded aperture)；其中編碼光圈可使得不同物距之光線經過該編碼光圈時具有不同的點擴散函數PSF，該參考資料則例如為該編碼光圈相對不同物距之點擴散函數PSF，但並不限於此。
    第一實施態樣中，該光學元件111例如為一可變焦距或可變光圈。該第一影像感測器11擷取複數張相對於不同焦距或不同光圈之目前影像，例如以一第一焦距值擷取一第一目前影像並以一第二焦距值擷取一第二目前影像，該處理單元13則根據該第一目前影像及該第二目前影像以數學運算求出活動體之各種參數；根據不同焦距之目前影像求出活動體深度之方式例如可參照”Depth from defocus: A spatial domain approach,” International Journal of Computer Vision,Vol. 13,No. 3,pp. 271-294(1994)。換句話說，本實施態樣中該處理單元13可根據失焦測距法求出該活動體之數目、位置及距離等靜態參數，並根據複數靜態參數求出該動態參數。例如失焦測距法可求出每一活動體的深度，根據不同的深度可進一步決定數目以及位置。
    此外，該第一影像感測器11例如以一第一光圈值擷取一第一目前影像並以一第二光圈值擷取一第二目前影像，該處理單元13則根據該第一目前影像及該第二目前影像以數學運算求出活動體之各種參數；根據不同焦距之目前影像求出活動體深度之方式例如可參照美國專利公開2010/0194870所記載的「根據失焦範圍感測器以超小光圈控制的深度(Ultra-compact aperture controlled depth from defocus range sensor)」。
    同理，當活動體之數量大於1時，該處理單元13可根據複數目前影像(例如兩張目前影像)求得各活動體之靜態參數，並根據複數目前影像(例如三張以上目前影像)求得各活動體之動態參數；其中所述數量僅為例示性，並非用以限定本發明。
    第二實施態樣中，該光學元件111例如可為一可變焦距，該第一影像感測器11持續擷取複數目前影像並傳送至該處理單元13。當該處理單元13判斷出最清楚的一張目前影像，則根據此時之焦距判斷物距；其中判斷最清楚目前影像的方式例如可為點擴散函數面積最小、活動體影像邊緣最銳利等，但並不以此為限。因此，本實施態樣中該處理單元13可透過該第一影像感測器11控制該光學元件111改變焦距，或直接控制該光學元件111改變焦距，直到該第一影像感測器11擷取到最清楚的目前影像為止，其中最清楚目前影像相對應之一焦距可為該活動體之一深度。根據影像焦距以決定活動體深度的方式例如可參照”Depth from focus,” Pattern Recognition Letters,pp. 63-69(1987)。換句話說，本實施態樣中該處理單元13可根據對焦測距法求得該活動體之數目、位置及距離等靜態參數，並根據複數靜態參數求出該動態參數。
    同理，當活動體之數量大於1時，該處理單元13可根據複數最清楚目前影像分別求得各活動體之靜態參數，並根據複數最清楚目前影像求得各活動體之動態參數。
    第三實施態樣中，該光學元件111例如為一編碼光圈，當該第一影像感測器11透過該光學元件111擷取影像時，活動體位於不同物距時可對應不同的點擴散分布函數PSF。該家電控制裝置10"中預先儲存有相對應不同物距時，該光學元件111所形成的點擴散函數PSF之參考資料，亦即該參考資料為該編碼光圈相對不同物距之點擴散函數。當該第一影像感測器11擷取包含活動體之一目前影像時，該處理單元13則可根據該目前影像相對應之點擴散函數PSF決定活動體之各種參數，例如根據該目前影像透過逆捲積法求出點擴散函數PSF並據以決定各種參數。根據不同點擴散函數辨識深度之一種方式例如可參照”Image and depth from a conventional camera with a coded aperture,” ACM Transactions on Graphics,vol. 26,No. 3,2007。
    同理，當活動體之數量大於1時，該處理單元13可根據一張目前影像求得各活動體之靜態參數，並可根據複數目前影像求得各活動體之動態參數。
    請參照第13圖所示，本發明第三實施例之家電裝置控制方法包含下列步驟：以一影像感測器擷取至少一目前影像(步驟410)；相互比對該等目前影像或比對該目前影像與一參考資料(步驟420)；根據比對結果求出靜態參數及動態參數(步驟430)；以及根據該等參數調整一家電裝置之運轉狀態(步驟440)；其中，各步驟之實施方式已揭示於上述各實施態樣，故於此不再贅述。
    綜上所述，雖然習知空氣調節器之控制裝置利用一台紅外線影像感測器擷取影像，但卻無法求得室內空間中活動體與空氣調節器之距離。本發明另提出一種家電控制裝置(第6及12圖)及家電控制方法(第11及13圖)，其根據一影像感測器所擷取複數目前影像彼此間的變化或一目前影像相對於一參考影像或一參考資料的關係，求出各活動體之各種參數以決定一家電裝置之運轉狀態，以使得該家電裝置的運轉達到最佳化。
    雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    10．．．溫度調節器之控制裝置
    11．．．第一影像感測器
    12．．．第二影像感測器
    13．．．處理單元
    14．．．控制單元
    15．．．傳輸介面單元
    210～250．．．步驟
    8．．．溫度調節器
    9．．．室內空間
    A、B．．．活動體
    P．．．室內空間中一點
    f．．．影像感測器之成像距離
    d．．．影像感測器間之距離
    10'、10"．．．家電控制裝置
    11S．．．影像感測器之感測面
    111．．．光學元件
    16．．．光源模組
    161．．．雷射光源
    162．．．光學元件
    310～340．．．步驟
    410～440．．．步驟
    8'．．．家電裝置
    IR．．．參考影像
    IA、IA '．．．活動體影像
    IC．．．目前影像
    第1圖顯示本發明第一實施例之溫度調節器之使用示意圖。
    第2圖顯示本發明第一實施例之溫度調節器之控制裝置之方塊示意圖。
    第3圖顯示本發明第一實施例之溫度調節器之控制方法中計算視差圖之示意圖。
    第4圖顯示利用本發明第一實施例之溫度調節器之控制裝置所求得之例示性視差圖影像，其中當活動體距離溫度調節器愈近時亮度愈高。
    第5圖顯示本發明第一實施例之溫度調節器之控制方法之流程圖。
    第6圖顯示本發明第二實施例之家電控制裝置之方塊圖。
    第7圖顯示使用本發明之家電控制裝置之家電裝置之示意圖。
    第8A~8B圖顯示本發明第二實施例之第一實施態樣之家電控制裝置之操作示意圖。
    第9A圖顯示本發明第二實施例之第二實施態樣之家電控制裝置之操作示意圖。
    第9B圖顯示本發明第二實施例之第二實施態樣之家電控制裝置擷取之點擴散函數係隨物距變化。
    第10圖顯示本發明第二實施例之第三實施態樣之家電控制裝置之操作示意圖。
    第11圖顯示本發明第二實施例之家電控制方法之流程圖。
    第12圖顯示本發明第三實施例之家電控制裝置之方塊圖。
    第13圖顯示本發明第三實施例之家電控制方法之流程圖。
    10'．．．家電控制裝置
    11．．．第一影像感測器
    13．．．處理單元
    14．．．控制單元
    15．．．傳輸介面單元
    16．．．光源模組
    8'．．．家電裝置
    权利要求:
    Claims (20)
    [1] 一種家電控制裝置，用以控制一家電裝置之一運轉狀態，該家電控制裝置包含：一光源模組，投射一預設圖樣至至少一活動體；一第一影像感測器，擷取包含該至少一活動體影像及該預設圖樣之一目前影像；一處理單元，比對該目前影像與一參考影像或一參考資料，以求出關於該活動體之一靜態參數及一動態參數；以及一控制單元，根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    [2] 依申請專利範圍第1項之家電控制裝置，其中該動態參數係根據複數該靜態參數之變化所求得；該靜態參數為該活動體之數目、位置及/或距離，該動態參數為該活動體之活動量及/或活動範圍。
    [3] 依申請專利範圍第1項之家電控制裝置，其中該參考影像為該第一影像感測器擷取該活動體位於一預設距離時之影像；該處理單元計算該目前影像中該活動體影像及該參考影像中該活動體影像間之一位移量以計算該靜態參數。
    [4] 依申請專利範圍第1項之家電控制裝置，其中該參考資料為相對不同物距之點擴散函數，或不同物距下擷取之該預設圖樣。
    [5] 依申請專利範圍第1項之家電控制裝置，其中該光源模組另包含一雷射光源及一光學元件；該雷射光源透過該光學元件投射之該預設圖樣為一光斑圖樣，該參考資料為相對不同物距之該光斑圖樣。
    [6] 依申請專利範圍第1項之家電控制裝置，其中該運轉狀態為該家電裝置之一出力或一指向性。
    [7] 依申請專利範圍第1項之家電控制裝置，其中該家電裝置為一溫度調節器、一指向性喇叭或具指向性之一電子裝置。
    [8] 一種家電控制裝置，用以控制一家電裝置之一運轉狀態，該家電控制裝置包含：一第一影像感測器，包含一可變光圈或一可變焦距並透過該可變光圈或該可變焦距擷取至少一活動體之複數目前影像，其中每一目前影像對應不同光圈值或焦距值；一處理單元，相互比對該等目前影像，以求出關於該活動體之一靜態參數及一動態參數；以及一控制單元，根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    [9] 依申請專利範圍第8項之家電控制裝置，其中該處理單元根據該等目前影像以失焦測距法求出該活動體之該靜態參數及該動態參數。
    [10] 依申請專利範圍第8項之家電控制裝置，其中該動態參數係根據複數該靜態參數之變化所求得；該靜態參數為該活動體之數目、位置及/或距離，該動態參數為該活動體之活動量及/或活動範圍。
    [11] 依申請專利範圍第8項之家電控制裝置，其中該運轉狀態為該家電裝置之一出力或一指向性。
    [12] 依申請專利範圍第8項之家電控制裝置，其中該家電裝置為一溫度調節器、一指向性喇叭或具指向性之一電器子裝置。
    [13] 依申請專利範圍第8項之家電控制裝置，其中該處理單元控制該第一影像感測器以不同焦距值分別擷取該等目前影像並辨識一最清楚目前影像，並根據該最清楚目前影像決定該靜態參數，其中該最清楚目前影像具有最小面積點擴散函數或最銳利邊緣。
    [14] 依申請專利範圍第13項之家電控制裝置，其中該最清楚目前影像對應之一焦距值為該活動體之一深度。
    [15] 依申請專利範圍第8項之家電控制裝置，其中該處理單元控制該第一影像感測器以不同焦距值分別擷取該等目前影像並利用對焦測距法求得該活動體之該靜態參數及該動態參數。
    [16] 一種家電控制裝置，用以控制一家電裝置之一運轉狀態，該家電控制裝置包含：一第一影像感測器包含一編碼光圈並透過該編碼光圈擷取至少一活動體之一目前影像；一處理單元，比對該目前影像與一參考資料，以求出關於該活動體之一靜態參數及一動態參數；以及一控制單元，根據該靜態參數及該動態參數控制該家電裝置之該運轉狀態。
    [17] 依申請專利範圍第16項之家電控制裝置，其中該參考資料為該編碼光圈相對不同物距之點擴散函數。
    [18] 依申請專利範圍第16項之家電控制裝置，其中該動態參數係根據複數該靜態參數之變化所求得；該靜態參數為該活動體之數目、位置及/或距離，該動態參數為該活動體之活動量及/或活動範圍。
    [19] 依申請專利範圍第16項之家電控制裝置，其中該運轉狀態為該家電裝置之一出力或一指向性。
    [20] 依申請專利範圍第16項之家電控制裝置，其中該家電裝置為一溫度調節器、一指向性喇叭或具指向性之一電子裝置。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI439828B|2014-06-01|家電控制裝置
    US9704250B1|2017-07-11|Image optimization techniques using depth planes
    JP2015526927A|2015-09-10|カメラ・パラメータのコンテキスト駆動型調整
    US9746319B2|2017-08-29|Generation of depth data based on spatial light pattern
    JP4927021B2|2012-05-09|画像表示装置のカーソル制御装置及び制御方法、ならびに画像システム
    JP6168577B2|2017-07-26|マイクロレンズアレイを有する画像化システムの基準線を調節するシステムおよび方法
    JP6547754B2|2019-07-24|三角測量装置、三角測量方法およびそのプログラム
    US20150317516A1|2015-11-05|Method and system for remote controlling
    US20180293739A1|2018-10-11|Systems, methods and, media for determining object motion in three dimensions using speckle images
    KR20190122018A|2019-10-29|전자 장치 및 그 깊이 정보 생성 방법
    US8116912B2|2012-02-14|Control device and control method of temperature controller
    AU2010338191B2|2014-12-04|Stabilisation method and computer system
    US10097777B2|2018-10-09|Depth map from multi-focal plane images
    US20170374339A1|2017-12-28|Apparatus and method for calculating cost volume in stereo matching system including illuminator
    US10866635B2|2020-12-15|Systems and methods for capturing training data for a gaze estimation model
    US11089220B2|2021-08-10|Electronic test device, method and computer-readable medium
    JP6560480B2|2019-08-14|画像処理システム、画像処理方法、及びプログラム
    CN111193918B|2021-12-28|影像处理系统及影像处理方法
    US11080874B1|2021-08-03|Apparatuses, systems, and methods for high-sensitivity active illumination imaging
    KR20200128332A|2020-11-12|전자 기기의 성능 평가 방법
    同族专利:
    公开号 | 公开日
    CN102981459B|2015-01-07|
    US20110320013A1|2011-12-29|
    TWI439828B|2014-06-01|
    US8417385B2|2013-04-09|
    CN102981459A|2013-03-20|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US5180333A|1991-10-28|1993-01-19|Norm Pacific Automation Corp.|Ventilation device adjusted and controlled automatically with movement of human body|
    US5839654A|1996-02-05|1998-11-24|Innova Patent Trust|Portable air comfort system thermostat enabling personal localized control of room temperature|
    JPH10259942A|1997-03-19|1998-09-29|Sanyo Electric Co Ltd|空気調和機の制御装置|
    JP4106857B2|2000-06-15|2008-06-25|三菱電機株式会社|空気調和機|
    US7272945B2|2003-07-29|2007-09-25|Hewlett-Packard Development Company, L.P.|Environmental condition measurement system|
    US7084774B2|2003-11-13|2006-08-01|International Business Machines Corporation|Temperature control system|
    US7248942B2|2004-02-19|2007-07-24|Hewlett-Packard Development Company, L.P.|Airflow detection system having an airflow indicating device|
    CN100469093C|2004-03-16|2009-03-11|佳能组件股份有限公司|彩色图像传感器单元以及使用上述传感器单元的图像读取装置及其控制方法|
    US7548230B2|2005-05-27|2009-06-16|Sony Computer Entertainment Inc.|Remote input device|
    US8427426B2|2005-05-27|2013-04-23|Sony Computer Entertainment Inc.|Remote input device|
    US8471812B2|2005-09-23|2013-06-25|Jesse C. Bunch|Pointing and identification device|
    US8400494B2|2005-10-11|2013-03-19|Primesense Ltd.|Method and system for object reconstruction|
    CN101501442B|2006-03-14|2014-03-19|普莱姆传感有限公司|三维传感的深度变化光场|
    US8050461B2|2005-10-11|2011-11-01|Primesense Ltd.|Depth-varying light fields for three dimensional sensing|
    US7654459B2|2005-11-14|2010-02-02|Avago Technologies Ecbu Ip Pte. Ltd.|Method of capturing user control inputs|
    US8917235B2|2005-11-14|2014-12-23|Avago Technologies General Ip Pte. Ltd.|User control input device|
    US7783382B2|2006-02-24|2010-08-24|Qisda Corporation|Controlling machine actions based on luminance of environmental light and distance from user|
    WO2007096893A2|2006-02-27|2007-08-30|Prime Sense Ltd.|Range mapping using speckle decorrelation|
    CN100576231C|2007-01-15|2009-12-30|中国科学院自动化研究所|图像采集装置及应用该装置的人脸识别系统和方法|
    WO2008087652A2|2007-01-21|2008-07-24|Prime Sense Ltd.|Depth mapping using multi-beam illumination|
    WO2008120217A2|2007-04-02|2008-10-09|Prime Sense Ltd.|Depth mapping using projected patterns|
    US8150142B2|2007-04-02|2012-04-03|Prime Sense Ltd.|Depth mapping using projected patterns|
    WO2008155770A2|2007-06-19|2008-12-24|Prime Sense Ltd.|Distance-varying illumination and imaging techniques for depth mapping|
    WO2009016256A1|2007-08-01|2009-02-05|Dublin City University|Ultra-compact aperture controlled depth from defocus range sensor|
    TWM340479U|2008-01-25|2008-09-11|Nat Univ Dong Hwa|Adjustment apparatus of real-time parallax for three dimensional image|
    KR20090081919A|2008-01-25|2009-07-29|엘지전자 주식회사|공기조화기 및 그 제어방법|
    JP5175562B2|2008-01-28|2013-04-03|シャープ株式会社|人物位置検出装置および空気調和機|
    GB2463724B|2008-09-26|2011-05-04|Cybula Ltd|Forming 3D images|
    TWI393980B|2009-06-08|2013-04-21|Nat Univ Chung Cheng|The method of calculating the depth of field and its method and the method of calculating the blurred state of the image|
    US8320621B2|2009-12-21|2012-11-27|Microsoft Corporation|Depth projector system with integrated VCSEL array|
    US8982182B2|2010-03-01|2015-03-17|Apple Inc.|Non-uniform spatial resource allocation for depth mapping|
    US20110292036A1|2010-05-31|2011-12-01|Primesense Ltd.|Depth sensor with application interface|AU2013210745A1|2012-01-20|2014-08-21|Neurio Technology Inc.|System and method of compiling and organizing power consumption data and converting such data into one or more user actionable formats|
    US8929592B2|2012-03-13|2015-01-06|Mitsubishi Electric Research Laboratories, Inc.|Camera-based 3D climate control|
    US9784577B2|2012-03-16|2017-10-10|Lg Innotek Co., Ltd.|Measuring distance from object by using size of pattern projected onto object|
    EP2865959B1|2012-06-22|2019-10-16|Mitsubishi Electric Corporation|Air-conditioning system|
    JP2014017114A|2012-07-09|2014-01-30|Panasonic Corp|照明システム|
    CN103744306A|2013-12-25|2014-04-23|广西科技大学|一种智能家居监控系统|
    US10134064B2|2014-06-27|2018-11-20|Ledvance Llc|Lighting audit and LED lamp retrofit|
    US20200064006A1|2018-08-24|2020-02-27|Pixart Imaging Inc.|Temperature detecting device and air conditioner|
    CN109507905A|2018-12-25|2019-03-22|泛联（北京）科技有限公司|一种家居环境智能化管理产品的关联控制方法及系统|
    CN110887161B|2019-11-13|2021-04-09|珠海格力电器股份有限公司|基于人脸识别和人脸追踪的送风控制方法及送风装置、空调|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US13/225,446|US8417385B2|2009-07-01|2011-09-04|Home appliance control device|
    [返回顶部]