台湾专利TW201309018A 圖幀速率轉換的方法及影像處理裝置

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明提供一種圖幀速率轉換的方法，該方法包含：偵測複數張輸入圖幀，適應性地決定該複數張輸入圖幀所對應之一影像模式；對該複數張輸入圖幀進行移動估計，以產生一移動估計結果；以及依據所決定之該影像模式、該移動估計結果及該複數張輸入圖幀，內插出複數張內插後圖幀，以產生複數張轉換後之輸出圖幀，其中該些輸出圖幀之圖幀速率不同於該些輸入圖幀的圖幀速率。
公开号:TW201309018A
申请号:TW100128602
申请日:2011-08-10
公开日:2013-02-16
发明作者:Chih-Wei Chen；Chung-Yi Chen
申请人:Mstar Semiconductor Inc；
IPC主号:H04N7-00

专利说明:
圖幀速率轉換的方法及影像處理裝置
本發明係關於一種影像處理機制，尤指一種使用於圖幀速率轉換的方法及其影像處理裝置。
目前來說，由於技術的成熟發展，目前的顯示器已能夠支援到更高速率的圖幀顯示，例如，目前顯示器每秒已可輸出100張或200張的圖幀來顯示影像，然而，但在處理電影畫面(Film Mode)時，由於電影畫面係由每秒24/25張畫面所錄製而成，與視訊畫面以每秒50/60(或100/200)張畫面錄製及傳送不同。電影模式下圖幀拍攝的產生速率並非與顯示器的圖幀顯示速率相符，且電影模式下所拍攝的圖幀產生速率也隨不同的電影模式而有所不同，如果使用不恰當的圖幀轉換速率機制將電影模式所拍攝而得的圖幀轉換為於顯示器上顯示的圖幀，則人眼在影像觀賞將極易感知到顯示技術的缺陷以及影像的抖動，而造成不舒適。因此，發展出一種可彈性轉換多種電影模式所拍攝圖幀的圖幀速率，使之能夠於一顯示器上播放的影像處理機制顯然是極為重要。
故，本發明的目的之一在於提供一種使用於圖幀速率轉換的影像處理裝置及方法，該影像處理裝置及方法可適應性地判斷輸入圖幀之電影模式為何，並依據所判定的電影模式來決定相對應之影像內插技術，所以可正確處理不同電影模式所拍攝而得的圖幀。
依據本發明之實施例，其係揭露一種圖幀速率轉換的方法，該方法包含：偵測複數張輸入圖幀，適應性地決定該複數張輸入圖幀所對應的影像模式；對該複數張輸入圖幀進行移動估計，以產生一移動估計結果；依據所決定的該影像模式、該移動估計結果以及該複數張輸入圖幀，內插出複數張內插後圖幀，以產生複數張轉換後的輸出圖幀，其中該些輸出圖幀之圖幀速率不同於該些輸入圖幀的圖幀速率。
依據本發明之實施例，其另揭露一種圖幀速率轉換的影像處理裝置，影像處理裝置包含有一模式決定電路及一影像產生電路，模式決定電路係用以偵測複數張輸入圖幀，適應性地決定該複數張輸入圖幀所對應的影像模式，以及影像產生電路係耦接至模式決定電路並用以對該複數張輸入圖幀進行移動估計以產生一移動估計結果，以及依據所決定之該影像模式、該移動估計結果以及該複數張輸入圖幀，內插出複數張內插後圖幀以產生複數張轉換後的輸出圖幀，其中該些輸出圖幀之圖幀速率不同於該些輸入圖幀的圖幀速率。
請搭配參照第1圖，第1圖是本發明一實施例之影像處理裝置100的示意圖。影像處理裝置100係用以依據複數張輸入圖幀F_IN來產生複數張輸出圖幀F_OUT，其中，輸出圖幀F_OUT之圖幀速率係被設計為高於輸入圖幀F_IN的圖幀速率，然此並非本發明的限制，在另一實施例中，亦可將輸出圖幀F_OUT之圖幀速率設計為低於輸入圖幀F_IN的圖幀速率，換言之，輸出圖幀F_OUT之圖幀速率係不同於輸入圖幀F_IN的圖幀速率，亦即，影像處理裝置100係用以進行圖幀速率轉換的操作，就應用範圍來說，影像處理裝置100可應用於將以電影畫面的圖幀(對應於電影拍攝的圖幀產生速率)轉換為可於顯示器上所播放的圖幀(對應於顯示器本身的圖幀播放速率)，然此並非本發明的限制。如第1圖所示，影像處理裝置100包含有一模式決定電路105、一儲存電路110以及一影像產生電路115，模式決定電路105係用以偵測複數張輸入圖幀F_IN的影像資料，以適應性地決定該複數張輸入圖幀F_IN所對應之影像模式，而儲存電路110係用以暫存該複數張輸入圖幀F_IN之影像資料並提供該些圖幀中之像素資料至模式決定電路105，此外，儲存電路110亦用以將圖幀資料提供至影像產生電路115，以及影像產生電路115係對該複數張輸入圖幀F_IN進行移動估計，以產生一移動估計結果MV，並依據模式決定電路105所決定之該影像模式、所產生之移動估計結果MV以及該複數張輸入圖幀F_IN，內插(Interpolation)出複數張內插後圖幀，以產生複數張轉換後之輸出圖幀F_OUT。換言之，本發明之實施例係依據輸入圖幀F_IN來適應性地決定目前所對應的影像模式，之後依據所對應的影像模式來產生具有上述的輸出圖幀F_OUT，而影像模式可包含有複數不同的電影模式，例如是3:2下拉電影模式(Pull Down Film Mode)及2:2下拉電影模式等，不同的電影模式係對應於不同的圖幀拍攝產生速率，由於一顯示器的圖幀顯示速率是固定的，所以僅能將單一拍攝速率所產生的圖幀轉換為顯示於顯示器上的圖幀是不符合需求的，因此，本實施例之影像處理裝置100具有適應性決定電影模式(亦即可於兩不同電影模式之間作切換)的功能並依據所決定之電影模式的不同來選擇相對應的顯示圖幀產生機制，如此更能符合目前使用者的需求。
實作上，模式決定電路105包含有一模式偵測器1051與一控制單元1052，模式偵測器1051係用以偵測該複數張輸入圖幀F_IN，以產生該複數張輸入圖幀F_IN所分別對應的複數圖幀索引，控制單元1052則耦接至模式偵測器1051並用以依據該複數圖幀索引，適應性地決定該複數張輸入圖幀所對應的影像模式，其中該些圖幀索引係用以標記出其相對應之一組連續圖幀是否為重複相同的圖幀，而模式偵測器1051在偵測出一組連續圖幀係為重複相同圖幀時係將該組圖幀所對應的圖幀索引設定為相同，亦即，不是重複相同的圖幀，其相對應的圖幀索引將不同，舉例來說，以3:2下拉電影模式所拍攝產生的輸入圖幀F_IN中，將具有一組3個連續重複相同的圖幀以及之後立即接續有一組2個連續重複相同的圖幀(此兩組圖幀並非互為重複的圖幀)，因此，模式偵測器1051係依據上述的影像特性來產生一組3個連續相同的圖幀索引以及之後立即接續產生一組2個連續相同的圖幀索引，此種圖幀索引的排列資訊即能指示相對應之輸入圖幀係為3:2下拉電影模式所拍攝的，另外，以2:2下拉電影模式所拍攝產生的輸入圖幀F_IN為例來說，將具有一組2個連續重複相同的圖幀以及之後立即接續有一組2個連續重複相同的圖幀(此兩組圖幀並非互為重複的圖幀)，因此，模式偵測器1051係依據上述的影像特性來產生一組2個連續相同的圖幀索引以及之後立即接續產生一組2個連續相同的圖幀索引，此種圖幀索引的排列資訊即能指示相對應之輸入圖幀係為2:2下拉電影模式所拍攝的，另外，如果輸入圖幀F_IN中某段影像A係以3:2下拉電影模式所拍攝而另一段影像B則以2:2下拉電影模式所拍攝，則A段影像亦將具有一組3個連續重複相同圖幀以及下一組2個連續重複相同圖幀的影像特性，且B段影像係具有一組2個連續重複相同圖幀以及下一組2個連續重複相同圖幀的影像特性，因此，模式偵測器1051於產生並設定圖幀索引時，係將A段影像所對應的圖幀索引設定為一組3個連續相同的圖幀索引以及下一組2個連續相同的圖幀索引，並將B段影像所對應的圖幀索引設定為一組2個連續相同的圖幀索引以及下一組2個連續相同的圖幀索引，所以，當影像處理裝置100正在接收並處理輸入圖幀F_IN中的A段影像時，控制單元1052可依據上述之模式偵測器1051所設定的圖幀索引排列方式及數目來決定目前圖幀係於3:2下拉電影模式，而當影像處理裝置100處理完A段影像並正在接收及處理輸入圖幀F_IN中的B段影像時，控制單元1052則可依據上述之模式偵測器1051所設定的圖幀索引排列方式及數目來決定目前圖幀係於2:2下拉電影模式，換句話說，控制單元1052係將目前圖幀所對應的電影模式由第一電影模式(3:2下拉電影模式)切換至第二電影模式(2:2下拉電影模式)，而如果前述B段影像的時間順序係早於A段影像的時間順序，則在電影模式切換時，控制單元1052係將目前圖幀所對應的電影模式由第二電影模式(2:2下拉電影模式)切換至第一電影模式(3:2下拉電影模式)。
需注意的是，第一電影模式可以是M:N下拉電影模式而非僅限於3:2下拉電影模式，第二電影模式可以是L:N下拉電影模式而非僅限於2:2下拉電影模式，其中L、M、N係為正整數，L不同於M。此外，由於模式偵測器1051所產生之圖幀索引係可被控制單元1052所參考而適應性地決定所相對應的電影模式，所以該些圖幀索引亦即是相對應圖幀的影像模式資訊，利用該些圖幀索引來代表所偵測出的影像模式資訊僅係為一種實作方式，而並非是本發明的限制。此外，當模式偵測器1051於偵測是否一組連續圖幀為重複相同的圖幀時，可藉由進行像素資料的比對來完成，也就是說，可利用比較該組圖幀是否互為重複相同的圖幀來進行判斷，而需注意的是，在本發明之實施例中，當比較兩圖幀是否為重複相同的圖幀，只要兩圖幀的像素差並未超出一預定範圍，則判定為重複相同的圖幀(亦即本發明之實施例可容許部分的像素計算誤差)，而一旦超出預定範圍時，才會判定為並非是重複相同的圖幀，換言之，當兩圖幀雖然並非是完全相同的影像但具有相同的影像特性時(其彼此的像素間的差異小於預定範圍)，模式偵測器1051係判定該兩圖幀為重複的圖幀。
當控制單元1052決定出目前圖幀所對應的電影模式時，該電影模式的決定結果係被輸出至影像產生電路115，以及影像產生電路115係根據所決定出的電影模式為何來進行相對應的影像內插操作，以產生輸出圖幀F_OUT，實作上，影像產生電路115包含有一移動估計器1151與一影像產生單元1152，移動估計器1151係用以對該些輸入圖幀F_IN進行影像移動估計來產生相對應的移動估計結果(亦即移動向量)，而影像產生單元1152係耦接至移動估計器1151並用以依據所產生之移動估計結果來產生內插的圖幀，以產生最後所輸出的輸出圖幀F_OUT。請參照第2圖，第2圖是第1圖所示之影像處理裝置100依據輸入圖幀F_IN產生輸出圖幀F_OUT的範例示意圖。如第2圖所示，輸入圖幀F_IN中包含有由3:2下拉電影模式所拍攝的影像A以及由2:2下拉電影模式所拍攝的影像B，其中影像A係由一組3個重複的圖幀(圖幀0~2)以及下一組2個重複的圖幀(圖幀3~4)所組成，而影像B係由一組2個重複的圖幀(圖幀5~6)以及下一組另2個重複的圖幀(圖幀7~8)所組成。因此，當模式偵測器1051設定相對應的圖幀索引時，針對A段影像，所設定的圖幀索引將由一組3個相同的圖幀索引(亦即△)以及下一組2個相同的圖幀索引(亦即□)所組成，而針對B段影像，所設定的圖幀索引將由一組2個相同的圖幀索引(亦即○)以及下一組2個相同的圖幀索引(亦即X)所組成，如第2圖所示，圖幀索引係以INDEX來表示之，具有相同INDEX的圖幀則係為重複圖幀。因此，當該些圖幀索引依續被輸入至控制單元1052時，控制單元1052可藉由參照圖幀索引的內容，來分析出A段影像係由3:2下拉電影模式所拍攝的，而B段影像係由2:2下拉電影模式所拍攝的。
實作上，最後產生的輸出圖幀F_OUT之時間點係顯示於第2圖上(以多個虛線矩形表示)，也就是說，輸出圖幀F_OUT的圖幀速率係兩倍於輸入圖幀F_IN的圖幀速率，換言之，輸出圖幀F_OUT的張數亦兩倍於輸入圖幀F_IN的張數，舉例來說，輸入圖幀F_IN的A段影像包含有五張圖幀F0~F4，輸出圖幀F_OUT中相對應的影像將包含有十張轉換後的輸出圖幀f0~f9。此外，本實施例中利用F_P與F_N來分別代表移動估計器1151產生移動估計結果所參考的圖幀以及影像產生單元1152進行影像內插時所需參考的前一張影像圖幀與後一張影像圖幀，舉例來說，當目前的影像模式為第一電影模式時(亦即影像處理裝置100係接收並處理A段影像時)，針對產生第一張至第五張的輸出圖幀f0~f4，移動估計器1151係參考圖幀F0與圖幀F3(亦即兩組重複輸入圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖幀與後一張輸入圖幀係分別為圖幀F0與圖幀F3，因此，待移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果(例如一初始的移動向量)來計算產生第一張至第五張的輸出圖幀f0~f4時所相對應的移動向量，請參照第2圖所示之MI與RATE，MI與RATE的欄位分別代表是否進行影像內插來產生該時點的輸出圖幀以及進行影像內插時所使用的移動向量比例，當欄位MI為‘0’係指示產生該時間點之輸出圖幀時不進行影像內插而直接將前一張輸入圖幀F_P與後一張輸入圖幀F_N進行影像混合，而當欄位MI為‘1’係指示出產生該時間點之輸出圖幀時係進行影像內插，而欄位RATE所指示的移動向量比例係為移動估計器1151所輸出之初始移動向量的比例，例如，第二張至第五張輸出圖幀f1~f4皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第二張至第五張輸出圖幀f1~f4所顯示的內容可被人眼所區別，影像產生單元1152係將欄位RATE所指示之相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152係將第二張至第五張輸出圖幀f1~f4所對應的欄位RATE分別設定為1/5、2/5、3/5以及4/5，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後的影像圖幀F_P、F_N來產生內插出的圖幀，作為輸出圖幀f1~f4，反之，影像產生單元1152係將前一張輸入圖幀F0與後一張圖幀F3進行影像混合來產生輸出圖幀f0。值得注意的是，由於在時間點上欄位RATE所指示的移動向量比例大小係以固定大小作增加，所以，人眼在觀看所內插出的多張影像時，會感知到平滑移動的影像，而不會察覺到影像突然停止又再突然加速的異常現象。
當目前的影像模式為第一電影模式時，針對產生第六張至第十張的輸出圖幀f5~f9，移動估計器1151係參考輸入圖幀F3與F5(亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張影像圖幀與後一張影像圖幀係分別為圖幀F3與圖幀F5，因此，在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第六張至第十張的輸出圖幀f5~f9時所相對應的移動向量，在產生第六張輸出圖幀f5時，MI欄位係為‘0’以指示產生第六張輸出圖幀f5時不進行影像內插，而在產生第七張至第十張輸出圖幀f6~f9時，MI欄位係為‘1’以指示產生第七張至第十張輸出圖幀f6~f9時進行影像內插，因此，影像產生單元1152係將前一張輸入圖幀F2與後一張輸入圖幀F5進行影像混合來產生輸出圖幀f5，而第七張至第十張輸出圖幀由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，所以為了使第七張至第十張輸出圖幀f6~f9所顯示的內容可被人眼區別出，影像產生單元1152係將欄位RATE所指示之相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152係將第七張至第十張輸出圖幀f6~f9所對應的欄位RATE分別設定為1/5、2/5、3/5以及4/5，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀F3、F5來產生內插出的圖幀，作為輸出圖幀f6~f9，由於在時間點上欄位RATE所指示的移動向量比例大小係以固定大小作增加，所以，人眼在觀看所內插出的多張影像時，會感知到平滑移動的影像，而不會察覺到影像突然停止又再突然加速的異常現象。
當目前的影像模式為第二電影模式時，針對產生第十一張至第十四張的輸出圖幀f10~f13，移動估計器1151係參考輸入圖幀F5與F7(亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖幀與後一張輸入圖幀係分別為圖幀F5與圖幀F7，因此，在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第十一張至第十四張的輸出圖幀f10~f13時所相對應的移動向量，在產生第十一張輸出圖幀f10時，MI欄位係為‘0’以指示產生第十一張輸出圖幀f10時不進行影像內插，而在產生第十二張至第十四張輸出圖幀f11~f13時，MI欄位係為‘1’以指示產生第十二張至第十四張輸出圖幀f11~f13時進行影像內插，因此，影像產生單元1152係將前一張輸入圖幀F5與後一張輸入圖幀F7進行影像混合來產生輸出圖幀f10，而第十二張至第十四張輸出圖幀f11~f13由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第十二張至第十四張輸出圖幀f11~f13所顯示的內容可被人眼區別出，影像產生單元1152係將欄位RATE所指示之相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152係將第十二張至第十四張輸出圖幀f11~f13所對應的欄位RATE分別設定為1/4、2/4以及3/4，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀F_5、F_7來產生內插出的圖幀，以作為輸出圖幀f11~f13。
當目前的影像模式為第二電影模式時，針對產生第十五張至第十八張的輸出圖幀f14~f17，移動估計器1151係參考輸入圖幀F7與F9(亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖幀與後一張輸入圖幀係分別為圖幀F7與圖幀F9，因此，在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第十五張至第十八張的輸出圖幀f14~f17時所相對應的移動向量，在產生第十五張輸出圖幀f14時，MI欄位係為‘0’以指示產生第十五張輸出圖幀f14時不進行影像內插，而在產生第十六張至第十八張輸出圖幀f15~f17時，MI欄位係為‘1’以指示產生第十六張至第十八張輸出圖幀f15~f17時進行影像內插，因此，影像產生單元1152係將前一張輸入圖幀F7與後一張輸入圖幀F9進行影像混合來產生輸出圖幀f14，而第十六張至第十八張輸出圖幀f15~f17由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第十六張至第十八張輸出圖幀f15~f17所顯示的內容可被人眼區別出，影像產生單元1152係將欄位RATE所指示之相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152係將第十六張至第十八張輸出圖幀f15~fl7所對應的欄位RATE分別設定為1/4、2/4以及3/4，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀F7、F9來產生內插出的圖幀，作為輸出圖幀f15~f17。
需注意的是，本實施例係利用以3:2下拉電影模式所拍攝的A段影像以及以2:2下拉電影模式所拍攝的B段影像來進行影像內插的流程說明，然而，本發明並非只限於處理A段影像與B段影像，亦可用於處理不同下拉電影模式所拍攝的影像，或是處理包含較多圖幀的影像。此外，在另一實施例中，影像產生單元1152也可以利用其他機制來設定欄位RATE所示的比例值，換言之，在前述實施例中欄位RATE所示之移動向量比例大小(以固定大小作增加)僅係為說明之用，而並非本發明的限制。此外，前述影像內插方法的精神在於，因原始模式中同一時間間隔內會存在不同數目的圖幀(例如輸入圖幀為3:2下拉電影模式時，同一時間間隔內會分別存在3張以及2張圖幀)，換言之，圖幀內移動物件的移動速度依據輸入圖幀比各自不同(舉例來說，如3:2下拉電影模式中，移動物體一共移動了30個畫素點的距離時，於3圖幀的狀況內，每一圖幀內移動物體的移動速度為5畫素點/圖幀，而於2圖幀的狀況內，每一圖幀內移動物體的移動速度為7.5畫素點/圖幀)，因圖幀內移動物件的移動速度不同，人眼在觀看所內插出的多張影像時，會感知到移動物件突然停止又再突然加速的異常現象。在進一步產生一定倍數之輸出圖幀時，會於同一時間間隔內產生更多圖幀，每一張輸出圖幀所對應的時間間隔變的更短，將使得異常現象更加明顯。為解決此問題，本發明依據不同圖幀狀態平均移動向量(例如3圖幀的狀況內需插入5張圖幀時，將移動向量除以5，使每一圖幀分配到的移動距離一致，亦即移動速率/度一致)，使每一移動向量彼此相等。再依比例乘以前一圖幀以及後一圖幀後相加產生特定輸出圖幀(例如輸出圖幀f1，為4/5的輸入圖幀F0加上1/5的輸入圖幀F3，而輸出圖幀f2，為3/5的輸入圖幀F0加上2/5的輸入圖幀F3，其中F0所乘之比例與F3所乘之比例相加為1)。為使讀者更能明瞭本發明之技術精神，請參照第3圖，第1圖所示之影像處理裝置100的操作流程係繪示於第3圖中，步驟305中，影像處理裝置100偵測複數輸入圖幀F_IN以產生複數張輸入圖幀F_IN所分別對應的圖幀索引。步驟310中，影像處理裝置100依據所得到的圖幀索引，適應性地決定或切換輸入圖幀F_IN中不同影像所對應的電影模式。步驟315中，影像處理裝置100對輸入圖幀F_IN進行移動估計以產生移動估計結果MV。於步驟320中，影像處理裝置100依據所決定的電影模式與移動估計結果MV來產生複數移動向量。於步驟320中，影像處理裝置100依據所決定的複數移動向量來進行相對應的影像內插。以產生輸出圖框F_OUT。
另外，在其他實施例中，當移動估計器1151所產生之移動估計結果指示出靜態影像時，為了能夠有效地增加人眼觀賞影像時的鑑別度，影像產生單元1152在產生不同的內插圖幀時可分別參考不同的輸入圖幀，舉例來說，影像產生單元1152可參考輸入圖幀F_IN中對應於一影像模式的一第一圖幀來產生一第一內插後圖幀，以及可參考輸入圖幀F_IN中對應於相同影像模式的一第二圖幀來產生一第二內插後圖幀，第一圖幀與第二圖幀係對應至相同的圖幀索引；如第2圖所示，以A段影像為例，輸入圖幀F0、F1對應於相同的圖幀索引，在前述實施例中，影像產生單元1152係參考輸入圖幀F0與F3(分別作為前後張的輸入影像)來進行影像內插以產生不同的輸出圖幀f1~f4，而如果A段影像被判定為靜態的影像，則影像產生單元1152在參考前一張影像時可改為參考輸入圖幀F1而不參考輸入圖幀F0來進行影像內插，此外，影像產生單元1152在參考後一張影像時也可改為參考輸入圖幀F3或F4而不參考輸入圖幀F2來進行影像內插，舉例來說，當產生輸出圖幀f1時，影像產生單元1152係參考輸入圖幀F0與F3來進行影像內插以產生輸出圖幀f1，而當產生輸出圖幀f2時，影像產生單元1152可參考輸入圖幀F1與F3來進行影像內插以產生輸出圖幀f2，或者影像產生單元1152也可改為參考輸入圖幀F1與F3來進行影像內插以產生輸出圖幀f2，就靜態影像來說，大部分的影像是並未移動的，亦即，相鄰兩張圖幀的影像內容仍有部分的細微不同，所以，當進行影像內插時，本發明之實施例適當地採用不同的輸入圖幀來進行影像內插以產生相鄰不同的輸出圖幀，使得人眼在觀看經過圖幀速率轉換處理後的影像時仍可感知到充分的影像訊息。需注意的是，本實施例中藉由參考不同輸入圖幀來產生不同輸出圖幀之操作並非僅限於操作在當某段影像被判定為靜態影像時，也就是說，當該段影像被判定為動態影像時，亦可藉由參考不同輸入圖幀來產生不同輸出圖幀，舉例來說，當A段影像被判定為動態影像時，影像產生單元1152可參考輸入圖幀F1與F2來進行影像內插以產生輸出圖幀f2，或者也可改為參考輸入圖幀F1與F3來進行影像內插以產生輸出圖幀f2。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100．．．影像處理裝置
105．．．模式決定電路
110．．．儲存電路
115．．．影像產生電路
1051．．．模式偵測器
1052．．．控制單元
1151．．．移動估計器
1152．．．影像產生單元
第1圖為本發明一實施例之影像處理裝置的示意圖。
第2圖為第1圖所示之影像處理裝置依據輸入圖幀F_IN產生輸出圖幀F_OUT的範例示意圖。
第3圖為第1圖所示之影像處理裝置的操作流程圖。
100．．．影像處理裝置
105．．．模式決定電路
110．．．儲存電路
115．．．影像產生電路
1051．．．模式偵測器
1052．．．控制單元
1151．．．移動估計器
1152．．．影像產生單元

权利要求:
Claims (19)
[1] 一種圖幀速率轉換的方法，其包含有：偵測複數張輸入圖幀之一影像模式；對該複數張輸入圖幀進行移動估計，以產生一移動估計結果；以及依據所決定之該影像模式、該移動估計結果以及該複數張輸入圖幀，內插出複數張內插後圖幀，以產生複數張轉換後之輸出圖幀，其中該些輸出圖幀之一圖幀速率不同於該些輸入圖幀的一圖幀速率。
[2] 如申請專利範圍第1項所述之方法，其中適應性地決定該複數張輸入圖幀所對應之該影像模式的步驟包含有：偵測該複數張輸入圖幀，以產生該複數張輸入圖幀所分別對應之複數圖幀索引；以及依據該複數圖幀索引，適應性地決定該複數張輸入圖幀所對應的影像模式。
[3] 如申請專利範圍第2項所述之方法，其中適應性地決定該複數張輸入圖幀所對應之該影像模式的步驟包含有：依據該複數圖幀索引所分別指示出的影像特性，適應性地決定該複數張輸入圖幀所分別對應的影像模式。
[4] 如申請專利範圍第2項所述之方法，其中偵測該複數張輸入圖幀以產生該複數張輸入圖幀所分別對應之該複數圖幀索引的步驟包含有：接收該複數張輸入圖幀；判斷該複數張輸入圖幀中是否存在具有相同影像特性之連續的圖幀，當該複數張輸入圖幀中具有連續複數張相同的圖幀時，判定該連續複數張相同的圖幀為具有相同影像特性之連續圖幀；以及設定該連續的圖幀所對應之複數圖幀索引為相同的索引。
[5] 如申請專利範圍第2項所述之方法，其中該影像模式包含有一第一電影模式與一第二電影模式，以及該方法另包含有：當該複數圖幀索引中目前一第一組連續圖幀索引指示出一第一影像特性時，決定目前之影像模式為該第一電影模式；以及當偵測到目前一第二組連續圖幀索引指示出一第二影像特性時，將目前之影像模式由該第一電影模式切換至該第二電影模式。
[6] 如申請專利範圍第1項所述之方法，其中適應性地決定該複數張輸入圖幀所對應之影像模式的步驟包含有：適應性地將該複數張輸入圖幀中一第一組圖幀所對應之一影像模式決定為一第一電影模式；以及將該複數張輸入圖幀中一第二組圖幀所對應之一影像模式決定為一第二電影模式，該第一電影模式係一M:N電影模式，以及該第二電影模式係為L:N電影模式，L、M、N係為不同的正整數。
[7] 如申請專利範圍第1項所述之方法，其中適應性地決定該複數張輸入圖幀所對應之影像模式的步驟包含有：對該複數張輸入圖幀中具有相同影像特性之一組連續圖幀：依據該組連續圖幀之張數，判斷該組連續圖幀所對應之一影像模式係為一第一電影模式或一第二電影模式。
[8] 如申請專利範圍第7項所述之方法，其中內插出該複數張內插後圖幀的步驟包含有：當該影像模式係為一第一電影模式時，依據該移動估計結果以及該複數圖幀索引中該第一電影模式所對應之一第一組圖幀索引，計算複數移動向量，該複數移動向量分配之移動距離彼此相等；依據所計算出之該複數移動向量以及該複數圖幀索引中該第一電影模式所對應之一第二組圖幀索引，將第一組圖幀索引之對應之圖幀乘以一第一比例，並將第二組圖幀索引之對應之圖幀乘以一第二比例，以分別產生該複數張內插後圖幀，該第一比例以及該第二比例相加為1；以及依據該複數張輸入圖幀以及該複數張內插後圖幀，輸出該複數張轉換後之輸出圖幀。
[9] 如申請專利範圍第11項所述之方法，其中內插出該複數張內插後圖幀的步驟另包含有：當該影像模式係為一第二電影模式時，依據該移動估計結果以及該複數圖幀索引中該第二電影模式所對應之一第二組圖幀索引，計算該複數移動向量。
[10] 如申請專利範圍第1項所述之方法，其中內插出該複數張內插後圖幀以產生該複數張轉換後之輸出圖幀的步驟包含有：當該移動估計結果指示出一靜態影像時：參考該複數張輸入圖幀中對應於該影像模式之一第一圖幀，產生一第一內插後圖幀；以及參考該複數張輸入圖幀中對應於該影像模式之一第二圖幀，產生一第二內插後圖幀；其中該第一圖幀與該第二圖幀係對應至相同的圖幀索引。
[11] 一種圖幀速率轉換的影像處理裝置，其包含有：一模式決定電路，用以偵測複數張輸入圖幀之一影像模式；以及一影像產生電路，耦接至該模式決定電路，用以對該複數張輸入圖幀進行移動估計，以產生一移動估計結果，以及依據所決定之該影像模式、該移動估計結果以及該複數張輸入圖幀，內插出複數張內插後圖幀，以產生複數張轉換後之輸出圖幀，其中該些輸出圖幀之一圖幀速率不同於該些輸入圖幀的一圖幀速率。
[12] 如申請專利範圍第11項所述之影像處理裝置，其中該模式決定電路包含有：一模式偵測器，用以偵測該複數張輸入圖幀，以產生該複數張輸入圖幀所分別對應之複數圖幀索引；以及一控制單元，耦接至該模式偵測器，用以依據該複數圖幀索引，適應性地決定該複數張輸入圖幀所對應的影像模式。
[13] 如申請專利範圍第12項所述之影像處理裝置，其中該控制單元係依據該複數圖幀索引所分別指示出的影像特性，適應性地決定該複數張輸入圖幀所分別對應的影像模式。
[14] 如申請專利範圍第12項所述之影像處理裝置，其中該模式偵測器係接收該複數張輸入圖幀、判斷該複數張輸入圖幀中是否存在具有相同影像特性之連續的圖幀以及設定該連續的圖幀所對應之複數圖幀索引為相同的索引，當該複數張輸入圖幀中具有連續複數張相同的圖幀時，該模式偵測器係判定該連續複數張相同的圖幀為具有相同影像特性之連續圖幀。
[15] 如申請專利範圍第12項所述之影像處理裝置，其中該影像模式包含有一第一電影模式與一第二電影模式：當該複數圖幀索引中目前一第一組連續圖幀索引指示出一第一影像特性時，該控制單元係係決定目前之影像模式為該第一電影模式；以及當偵測到目前一第二組連續圖幀索引指示出一第二影像特性時，該控制單元係將目前之影像模式由該第一電影模式切換至該第二電影模式。
[16] 如申請專利範圍第11項所述之影像處理裝置，該模式決定電路係適應性地將該複數張輸入圖幀中一第一組圖幀所對應之一影像模式決定為一第一電影模式，以及將該複數張輸入圖幀中一第二組圖幀所對應之一影像模式決定為一第二電影模式，其中該模式決定電路係將目前之影像模式由該第一電影模式切換至該第二電影模式，該第一電影模式係一M:N電影模式，以及該第二電影模式係為L:N電影模式，L、M、N係為不同的正整數。
[17] 如申請專利範圍第11項所述之影像處理裝置，其中對該複數張輸入圖幀中具有相同影像特性之一組連續圖幀，該模式決定電路係　　依據該組連續圖幀之張數，判斷該組連續圖幀所對應之一影像模式係為一第一電影模式或一第二電影模式，當該影像模式係為一第二電影模式時，該影像產生單元係依據該移動估計結果以及該複數圖幀索引中該第二電影模式所對應之一第二組圖幀索引，計算該複數移動向量。
[18] 如申請專利範圍第11項所述之影像處理裝置，其中該影像產生電路包含有：一移動估計器，用以產生該移動估計結果；以及一影像產生單元，耦接至該移動估計器，當該影像模式係為一第一電影模式時，該影像產生單元係依據該移動估計結果以及該複數圖幀索引中該第一電影模式所對應之一第一組圖幀索引，計算複數移動向量，並依據所計算出之該複數移動向量分別產生該複數張內插後圖幀，以及依據該複數張輸入圖幀以及該複數張內插後圖幀，輸出該複數張轉換後之輸出圖幀。
[19] 如申請專利範圍第11項所述之影像處理裝置，其中當該移動估計結果指示出一靜態影像時，該影像產生電路係參考該複數張輸入圖幀中對應於該影像模式之一第一圖幀，產生一第一內插後圖幀，以及參考該複數張輸入圖幀中對應於該影像模式之一第二圖幀，產生一第二內插後圖幀，其中該第一圖幀與該第二圖幀係對應至相同的圖幀索引。

类似技术:

公开号 | 公开日 | 专利标题

US7817127B2|2010-10-19|Image display apparatus, signal processing apparatus, image processing method, and computer program product

JP2006504175A|2006-02-02|フォールバックを用いる画像処理装置

CN100433791C|2008-11-12|在静止区域的影片模式纠正

EP2095630A2|2009-09-02|Advanced deinterlacer for high-definition and standard-definition video

TWI398159B|2013-06-01|具動態控制畫質功能的幀率轉換裝置及相關方法

US8941778B2|2015-01-27|Video display apparatus

TWI517715B|2016-01-11|圖幀速率轉換的方法及影像處理裝置

TWI407776B|2013-09-01|影像產生裝置、靜態文字偵測裝置及相關方法

EP1158481B1|2004-07-21|A video display apparatus and display method

EP2533523B1|2016-02-24|Motion-vector correction device and method and video-signal processing device and method

CN101193254A|2008-06-04|帧内插装置、帧内插方法、及图像显示装置

KR100927143B1|2009-11-18|움직임 검출장치 및 방법

EP1646244A2|2006-04-12|Image processing device and method

EP2319236B1|2012-03-21|Frame rate up-conversion

JP2012095048A|2012-05-17|画像処理装置、画像処理方法、画像表示装置、及び画像表示方法

US20060250521A1|2006-11-09|Image conversion apparatus to perform motion compensation and method thereof

WO2008017227A1|2008-02-14|Procédé et appareil permettant de réaliser une conversion de fréquence de trames

KR101852967B1|2018-06-07|프레임 율 검출 방법 및 프레임 율 변환 방법

JP5490236B2|2014-05-14|画像処理装置および方法、画像表示装置および方法

CN104202555A|2014-12-10|去隔行方法及装置

CN101232568B|2010-11-17|图像解交错的方法及相关装置

JP2007288483A|2007-11-01|画像変換装置

JP2008098938A|2008-04-24|プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置

CN102970509B|2015-11-25|图帧速率转换的方法及影像处理装置

US20130136182A1|2013-05-30|Motion vector refining device and video refining method thereof

同族专利:

公开号 | 公开日

US8730392B2|2014-05-20|

TWI517715B|2016-01-11|

US20130038789A1|2013-02-14|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US8115866B2|2006-12-29|2012-02-14|Texas Instruments Incorporated|Method for detecting film pulldown cadences|

US20120075524A1|2010-09-24|2012-03-29|Samsung Electronics Co., Ltd.|System and method for frame rate conversion|WO2015145745A1|2014-03-28|2015-10-01|日立マクセル株式会社|画像出力表示システム及び画像出力装置、画像表示装置|

US20150296101A1|2014-04-09|2015-10-15|Tao Han|Universal Film mode detection for interlaced video stream|

法律状态:
2019-10-11| MM4A| Annulment or lapse of patent due to non-payment of fees|

优先权:

申请号 | 申请日 | 专利标题

TW100128602A|TWI517715B|2011-08-10|2011-08-10|圖幀速率轉換的方法及影像處理裝置|TW100128602A| TWI517715B|2011-08-10|2011-08-10|圖幀速率轉換的方法及影像處理裝置|

US13/545,154| US8730392B2|2011-08-10|2012-07-10|Frame rate conversion method and image processing apparatus thereof|

[返回顶部]