• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種影像處理電路及影像處理方法。影像處理電路包括區塊匹配單元、多工器、仲裁器及移動補償電路。區塊匹配單元根據目前畫面之目前區塊及參考畫面之參考區塊計算高頻絕對誤差和及低頻絕對誤差和。仲裁器根據仲裁規則控制多工器選擇性地輸出高頻絕對誤差和或低頻絕對誤差和，仲裁規則相關於目前畫面之場景特性。移動補償電路根據多工器輸出之高頻絕對誤差和或低頻絕對誤差和進行移動補償。
    公开号:TW201309034A
    申请号:TW100127285
    申请日:2011-08-01
    公开日:2013-02-16
    发明作者:Yen-Sung Chen；Tsui-Chin Chen；Yu-Tsung Hu；xing-rui Wang
    申请人:Novatek Microelectronics Corp；
    IPC主号:H04N19-00
    专利说明:
    影像處理電路及影像處理方法
    本發明是有關於一種影像處理電路及影像處理方法，且特別是有關於一種能根據高頻絕對誤差和或低頻絕對誤差和進行移動補償之影像處理電路及影像處理方法。
    請參照第1圖，第1圖繪示係為移動估計和移動補償裝置之示意圖。移動估計和移動補償(Motion Estimate and Motion Compensation,MEMC)裝置1包括移動估計引擎11和移動補償電路12。移動估計引擎11根據目前畫面及參考畫面進行移動估測，使得移動補償電路根據移動估測結果插補出補償畫面。
    移動估計引擎11包括區塊匹配單元(Block Matching Unit)111。區塊匹配單元(Block Matching Unit)111會將目前畫面切割成大小相等的區塊，每一個區塊在參考畫面中都有相對應的搜索區域。區塊匹配單元111會計算目前區塊與參考區塊的低頻絕對誤差和以在搜索區域中找出與自己最相似的區塊。
    請同時參照第1圖、第2圖、第3圖及第4圖，第2圖繪示係為參考畫面之示意圖，第3圖係為目前畫面之示意圖，第4圖繪示係為插補畫面之示意圖。然而，當播放畫面出現閃爍的場景時，區塊匹配單元111即無法根據低頻絕對誤差和找出與自己最相似的區塊。舉例來說，第2圖之局部區域21及第3圖之局部區域31例如為車燈。局部區域21係為全暗，而局部區域31係為全亮。由於局部區域31與局部區域21之像素差異值過大，因此區塊匹配單元111即無法根據低頻絕對誤差和找出與自己最相似的區塊。如此一來，移動補償電路12會因為區塊匹配單元111的區塊比對不正確而導致移動補償電路12插補出如第4圖繪示之插補畫面。其中局部區域41係對應於局部區域31與局部區域21。而局部區域41會因區塊比對不正確而導致形狀產生畸變。
    本發明係有關於一種影像處理電路及影像處理方法，係能根據局部區域為閃爍或物體移動而正確地找出與自己最相似的區塊以正確地進行移動補償。
    根據本發明，提出一種影像處理電路。影像處理電路包括區塊匹配單元(Block Matching Unit)、多工器、仲裁器及移動補償電路。區塊匹配單元根據目前畫面之目前區塊及參考畫面之參考區塊計算高頻絕對誤差和(Sum of Absolute Difference,SAD)及低頻絕對誤差和。仲裁器根據仲裁規則控制多工器選擇性地輸出高頻絕對誤差和或低頻絕對誤差和，仲裁規則相關於目前畫面之場景特性。移動補償電路根據多工器輸出之高頻絕對誤差和或低頻絕對誤差和進行移動補償。
    根據本發明，提出一種影像處理方法。影像處理方法包括：根據目前畫面之目前區塊及參考畫面之參考區塊計算高頻絕對誤差和(Sum of Absolute Difference,SAD)及低頻絕對誤差和；根據仲裁規則選擇性地輸出高頻絕對誤差和或低頻絕對誤差和，仲裁規則相關於目前畫面之場景特性；以及根據高頻絕對誤差和或低頻絕對誤差和進行移動補償。
    為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
    第一實施例
    請同時參照第5圖及第6圖，第5圖繪示係為依照第一實施例之一種影像處理電路之示意圖，第6圖繪示係為依照第一實施例之影像處理方法之流程圖。影像處理電路5包括移動估計引擎51、移動補償電路52、多工器53及仲裁器54，且移動估計引擎51更包括區塊匹配單元(Block Matching Unit)511。影像處理方法能應用於影像處理電路5且包括如下步驟：首先如步驟61所示，區塊匹配單元511根據目前畫面之目前區塊及參考畫面之參考區塊輸出高頻絕對誤差和(Sum of Absolute Difference,SAD)AC_SAD及低頻絕對誤差和DC_SAD。區塊匹配單元511根據目前區塊之像素值與參考區塊之像素值計算低頻絕對誤差和DC_SAD。低頻絕對誤差和。(x,y)係為目前區塊與參考區塊的位移量，而一個區塊具有N×N個像素。
    高頻絕對誤差和可以有兩種計算方式。第一種計算方式係由區塊匹配單元511根據低頻絕對誤差和DC_SAD及直流差異值DC diff 計算高頻絕對誤差和AC_SAD。高頻絕對誤差和AC_SAD=|DC_SAD-DC diff |。第二種計算方式係由區塊匹配單元511根據目前區塊之像素值、目前區塊之平均像素值DC avg 1、參考區塊之像素值及參考區塊之平均像素值DC avg 2計算高頻絕對誤差和AC_SAD。高頻絕對誤差和
    接著如步驟62所示，仲裁器54根據仲裁規則控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD，仲裁規則相關於目前畫面之場景特性。然後如步驟63所示，移動補償電路52根據多工器53輸出之高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD進行移動補償。
    當局部區域為閃爍(flash)時，移動補償電路52能根據高頻絕對誤差和AC_SAD正確地進行移動補償。相反地，當局部區域為物體移動時，移動補償電路52能根據低頻絕對誤差和DC_SAD正確地進行移動補償。如此一來，不論局部區域為閃爍或物體移動，移動影像處理電路5都能正確地進行移動補償。
    前述目前畫面更包括與目前區塊相鄰之數個相鄰區塊，而前述仲裁規則例如係包括一相鄰區塊仲裁規則。相鄰區塊仲裁規則係為若多工器53對應相鄰區塊輸出高頻絕對誤差和AC_SAD，則多工器53對應目前區塊輸出高頻絕對誤差和AC_SAD，若多工器53對應相鄰區塊輸出低頻絕對誤差和DC_SAD，則多工器53對應該目前區塊輸出低頻絕對誤差和DC_SAD。
    第二實施例
    第二實施例與第一實施例主要不同之處在於第二實施例之仲裁規則係包括一差值仲裁規則。差值仲裁規則係為若差值仲裁規則於高頻絕對誤差和AC_SAD與低頻絕對誤差和DC_SAD之差值大於差異臨限值時，多工器53對應目前區塊輸出高頻絕對誤差和AC_SAD。這是因為當局部區域為閃爍時，高頻絕對誤差和AC_SAD很小，而低頻絕對誤差和DC_SAD很大，所以移動補償電路52能根據高頻絕對誤差和AC_SAD正確地進行移動補償。
    相反地，差值仲裁規則係為若高頻絕對誤差和AC_SAD與低頻絕對誤差和DC_SAD之差值不大於差異臨限值時，則多工器53對應目前區塊輸出低頻絕對誤差和DC_SAD。這是因為當局部區域為物體移動時，高頻絕對誤差和AC_SAD很小，且低頻絕對誤差和DC_SAD也很小，所以移動補償電路52能根據低頻絕對誤差和DC_SAD正確地進行移動補償。
    第三實施例
    第三實施例與第一實施例主要不同之處在於第三實施例之仲裁規則更包括一差值仲裁規則。仲裁器51根據相鄰區塊仲裁規則、相鄰區塊權重值、差值仲裁規則及差值權重值控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD。換言之，仲裁器51能根據多個仲裁規則的組合來控制控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD，以供移動補償電路52正確地進行移動補償。
    綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    10．．．
    1．．．移動估計和移動補償裝置
    5．．．影像處理電路
    11、51．．．移動估計引擎
    12、52．．．移動補償電路
    21、31、41．．．局部區域
    53．．．多工器
    54．．．仲裁器
    61～63．．．步驟
    511、111．．．區塊匹配單元
    20．．．
    第1圖繪示係為移動估計和移動補償裝置之示意圖。
    第2圖繪示係為參考畫面之示意圖。
    第3圖係為目前畫面之示意圖。
    第4圖繪示係為插補畫面之示意圖。
    第5圖繪示係為依照第一實施例之一種影像處理電路之示意圖。
    第6圖繪示係為依照第一實施例之影像處理方法之流程圖。
    61～63．．．步驟
    权利要求:
    Claims (16)
    [1] 一種影像處理電路，包括：一區塊匹配單元(Block Matching Unit)，係根據一目前畫面之一目前區塊及一參考畫面之一參考區塊計算一高頻絕對誤差和(Sum of Absolute Difference,SAD)及一低頻絕對誤差和；一多工器；一仲裁器，係根據一仲裁規則控制該多工器選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和，該仲裁規則相關於該目前畫面之場景特性；以及一移動補償電路，係根據該多工器輸出之該高頻絕對誤差和或該低頻絕對誤差和進行一移動補償。
    [2] 如申請專利範圍第1項所述之影像處理電路，其中該目前畫面更包括與該目前區塊相鄰之複數個相鄰區塊，該仲裁規則包括一相鄰區塊仲裁規則，該相鄰區塊仲裁規則係為若該多工器對應該些相鄰區塊輸出該高頻絕對誤差和，則該多工器對應該目前區塊輸出該高頻絕對誤差和，若該多工器對應該些相鄰區塊輸出該低頻絕對誤差和，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
    [3] 如申請專利範圍第2項所述之影像處理電路，其中該仲裁規則更包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，該多工器對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
    [4] 如申請專利範圍第3項所述之影像處理電路，其中該仲裁器係根據該相鄰區塊仲裁規則、一相鄰區塊權重值、該差值仲裁規則及一差值權重值控制該多工器選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和。
    [5] 如申請專利範圍第1項所述之影像處理電路，其中該仲裁規則包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，該多工器對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
    [6] 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該目前區塊之像素值與該參考區塊之像素值計算該低頻絕對誤差和。
    [7] 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該低頻絕對誤差和及一直流差異值計算該高頻絕對誤差和。
    [8] 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該目前區塊之像素值、該目前區塊之平均像素值、該參考區塊之像素值及該參考區塊之平均像素值計算該高頻絕對誤差和。
    [9] 一種影像處理方法，包括：根據一目前畫面之一目前區塊及一參考畫面之一參考區塊計算一高頻絕對誤差和(Sum of Absolute Difference,SAD)及一低頻絕對誤差和；根據一仲裁規則選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和，該仲裁規則相關於該目前畫面之場景特性；以及根據該高頻絕對誤差和或該低頻絕對誤差和進行一移動補償。
    [10] 如申請專利範圍第9項所述之影像處理方法，其中該目前畫面更包括與該目前區塊相鄰之複數個相鄰區塊，該仲裁規則包括一相鄰區塊仲裁規則，該相鄰區塊仲裁規則係為若對應該些相鄰區塊輸出該高頻絕對誤差和，則對應該目前區塊輸出該高頻絕對誤差和，若對應該些相鄰區塊輸出該低頻絕對誤差和，則對應該目前區塊輸出該低頻絕對誤差和。
    [11] 如申請專利範圍第10項所述之影像處理方法，其中該仲裁規則更包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則對應該目前區塊輸出該低頻絕對誤差和。
    [12] 如申請專利範圍第11項所述之影像處理方法，其中該輸出步驟係根據該相鄰區塊仲裁規則、一相鄰區塊權重值、該差值仲裁規則及一差值權重值選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和。
    [13] 如申請專利範圍第9項所述之影像處理方法，其中該仲裁規則包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則對應該目前區塊輸出該低頻絕對誤差和。
    [14] 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該目前區塊之像素值與該參考區塊之像素值計算該低頻絕對誤差和。
    [15] 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該低頻絕對誤差和及一直流差異值計算該高頻絕對誤差和。
    [16] 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該目前區塊之像素值、該目前區塊之平均像素值、該參考區塊之像素值及該參考區塊之平均像素值計算該高頻絕對誤差和。
    类似技术:
    公开号 | 公开日 | 专利标题
    JP5430234B2|2014-02-26|画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路
    JP5980294B2|2016-08-31|データ処理装置、撮像装置、およびデータ処理方法
    US20120093231A1|2012-04-19|Image processing apparatus and image processing method
    JP5645636B2|2014-12-24|フレーム補間装置及び方法
    JP2008135980A|2008-06-12|補間フレーム作成方法および補間フレーム作成装置
    TWI452909B|2014-09-11|移動向量校正電路、影像產生裝置及相關方法
    US20150279006A1|2015-10-01|Method and apparatus for reducing noise of image
    US9165345B2|2015-10-20|Method and system for noise reduction in video systems
    WO2013100791A1|2013-07-04|Method of and apparatus for scalable frame rate up-conversion
    US20130084014A1|2013-04-04|Processing method for image interpolation
    US20170104914A1|2017-04-13|Flicker detection apparatus and method
    US20140022338A1|2014-01-23|Method for Producing a Panoramic Image on the Basis of a Video Sequence and Implementation Apparatus
    US20140270562A1|2014-09-18|Method and system for adaptive pixel replacement
    US9761003B2|2017-09-12|Stereo image depth map generation device and method
    TWI449433B|2014-08-11|影像處理電路及影像處理方法
    TWI429274B|2014-03-01|具有縮放與清晰裝置之影像處理系統及其方法
    US9900550B1|2018-02-20|Frame rate up-conversion apparatus and method
    KR100812730B1|2008-03-12|이미지 센서용 안티-쉐이딩 방법 및 장치
    TWI413023B|2013-10-21|移動偵測方法及裝置
    TWI466550B|2014-12-21|多媒體裝置及其移動偵測方法
    JP2015216459A|2015-12-03|画像処理装置、撮像装置及び画像処理方法
    JP2009290277A|2009-12-10|信号処理装置
    US8531598B2|2013-09-10|Image processing method and related apparatus for generating target image block
    CN102932581A|2013-02-13|图像处理电路及图像处理方法
    KR20090088689A|2009-08-20|프레임 차이 기반의 적응형 확장 블록을 이용한 움직임추정 방법
    同族专利:
    公开号 | 公开日
    US8923643B2|2014-12-30|
    US20130034310A1|2013-02-07|
    TWI449433B|2014-08-11|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US5111511A|1988-06-24|1992-05-05|Matsushita Electric Industrial Co., Ltd.|Image motion vector detecting apparatus|
    US5691775A|1995-03-30|1997-11-25|Intel Corporation|Reduction of motion estimation artifacts|
    US8660182B2|2003-06-09|2014-02-25|Nvidia Corporation|MPEG motion estimation based on dual start points|
    TWI257074B|2005-02-22|2006-06-21|Sunplus Technology Co Ltd|Motion estimation method and system using colors information|
    TWI286443B|2005-07-08|2007-09-01|Univ Nat Sun Yat Sen|Motion detection system and method for TV frames|
    US8212823B2|2005-09-28|2012-07-03|Synopsys, Inc.|Systems and methods for accelerating sub-pixel interpolation in video processing applications|
    KR101200535B1|2006-01-12|2012-11-27|휴맥스|매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법|
    JP2008160419A|2006-12-22|2008-07-10|Sanyo Electric Co Ltd|動き検出装置|
    US8488676B2|2007-05-14|2013-07-16|Himax Technologies Limited|Motion estimation method|
    US8345763B2|2007-11-27|2013-01-01|Mediatek Inc.|Motion compensation method and integrated circuit utilizing the same|
    TWI410141B|2010-08-13|2013-09-21|Univ Nat Central|影像處理方法|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100127285A|TWI449433B|2011-08-01|2011-08-01|影像處理電路及影像處理方法|TW100127285A| TWI449433B|2011-08-01|2011-08-01|影像處理電路及影像處理方法|
    US13/563,466| US8923643B2|2011-08-01|2012-07-31|Image processing circuit and image processing method|
    [返回顶部]