台湾专利TW201301202A 影像處理方法以及影像處理裝置

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明係提供一種影像處理方法，包含有：接收一輸入二維影像；偵測該輸入二維影像中一區塊的一影像來產生該區塊之一景深資訊；以及參考該景深資訊來決定該區塊內之一子區域影像的一景深。
公开号:TW201301202A
申请号:TW100121439
申请日:2011-06-20
公开日:2013-01-01
发明作者:Chien-Chuan Yao；Chih-Wei Chen；Chung-Yi Chen
申请人:Mstar Semiconductor Inc；
IPC主号:G06T7-00

专利说明:
影像處理方法以及影像處理裝置
本發明係關於一種影像處理機制，尤指一種利用大範圍二維影像所估測出之景深資訊來決定小範圍二維影像之相對應景深的影像處理裝置及其影像處理方法。
在目前現有的二維影像轉三維立體影像技術中，其係逐一地估測並計算二維影像中每一像素的景深，換言之，對於不同的像素，習知技術係進行不同且彼此獨立的估測與計算程序，而為了能夠精確地估測並計算出每一像素的景深，習知技術需要花費較多的計算成本(例如時間與電路面積)來完成，且整個電路系統的運作也變得相對複雜，而如此需要花費較多計算成本的複雜電路系統對現今影像處理應用來說，實相當缺乏彈性。此外，習知技術目前也缺乏由二維影像中精確地估計出相對應之影像內容的景深資訊，而現有的二維影像轉三維立體影像技術在轉換為立體影像後也會有相當嚴重的影像失真(Distortion)；凡此皆為目前現有技術所遭遇到的問題。
因此，本發明的目的之一在於提供一種利用區塊之影像特性來精確估計出區塊層級之景深資訊以及利用所估計之該景深資訊來得到一像素之景深以產生立體影像的影像處理裝置與影像處理方法，以解決上述所提到的問題。
依據本發明的實施例，其係揭露一種影像處理方法。該影像處理方法包含有：接收一輸入二維影像；偵測該輸入二維影像中一區塊的一影像來產生該區塊的一景深資訊；其中景深資訊係用以指示出該區塊之影像於立體顯示時的景深。
依據本發明的實施例，其係揭露一種影像處理裝置。該影像處理裝置包含有一偵測電路與一決定電路，其中偵測電路係用以接收一輸入二維影像，並偵測該輸入二維影像中一區塊的一影像來產生該區塊的一景深資訊，以及決定電路係耦接至偵測電路並用以參考該景深資訊來決定該區塊內之一子區域影像的一景深。
依據本發明的實施例，其係揭露一種用於影像處理的偵測電路。偵測電路係用以接收一輸入二維影像，並偵測輸入二維影像中區塊的影像來產生區塊之景深資訊，其中景深資訊係用以指示出區塊之影像於立體顯示時的景深。
請參照第1圖，第1圖是本發明一實施例之影像處理裝置100的示意圖。影像處理裝置100包含有一偵測電路105、一儲存電路110與一處理電路115，處理電路115則更包括一決定單元120與一產生單元125，偵測電路105係用以接收一輸入二維影像S_2D並偵測該輸入二維影像S_2D中一區塊MB的一影像來產生該區塊MB之一景深資訊INFO，輸入二維影像S_2D係為不帶有三維立體景深資訊之一平面的影像，區塊MB係為輸入二維影像S_2D中一M×N像素範圍的影像區域，M與N皆為正整數，且M可以等於或不等於N，例如M、N皆為16，景深資訊INFO則包含用以指示出區塊MB之景深的參數，在本實施例中，參數的種類包含有：區塊MB的影像亮度對比、影像顏色、影像的空間位置、影像的邊緣影像資訊、影像的移動資訊等等。所產生之景深資訊INFO的參數係由偵測電路105輸出，並暫存於儲存電路110中，而儲存電路110例如是由一動態隨機存取記憶體或任一緩衝器所實現，處理電路115則由儲存電路110讀取出景深資訊INFO所包含的參數並據此來決定區塊MB內之每一子區域影像的景深，以及利用產生的景深來產生立體顯示的影像。在本實施例中，一子區域影像例如係某單一像素的影像，而其景深則係該單一像素之影像在立體呈現時的景深值，換言之，處理電路115係參考區塊MB的景深資訊INFO來決定每一單一像素的景深值，在本實施例中，決定區塊MB內每一像素之景深的操作係分成兩個步驟，首先依據區塊MB的景深資訊INFO所包含的參數來設定區塊MB內之每一像素的初步景深D1，而每一像素的初步景深D1由於係依據區塊MB的景深資訊INFO來設定，所以具有相同的數值，初步景深D1的決定係由處理電路115中的決定單元120所實現，而初步景深D1即係為區塊MB之所有像素在區塊層級(Block-based)上的景深值，當決定單元120產生區塊MB內之像素之影像的初步景深D1時，初步景深D1係被輸出至儲存電路110，由儲存電路110所暫存。後續產生單元125在產生立體影像前，會先讀出並參考儲存單元110的初步景深D1以及每一像素本身的影像特性來產生區塊MB內該像素的目標景深D1’(未顯示於第1圖上)，目標景深D1’因為已經足可代表該像素在立體影像上的景深程度，所以目標景深D1’可被產生單元125所參考來產生該像素上所呈現的立體影像。此外，產生單元125也會依據一輸入的參考移動向量MV(亦即由移動估測操作所產生的移動資訊)來產生該像素上所呈現的立體影像(例如左眼影像與右眼影像)。
以下逐一詳述本實施例之偵測電路105、決定單元120、產生單元125的操作。就偵測電路105的操作而言，其所偵測並產生的景深資訊INFO包含有區塊MB的影像亮度對比、影像顏色、影像的空間位置、影像中的邊緣影像資訊、影像中的移動資訊(Motion Information)等參數。以偵測影像亮度對比來說，偵測電路105係先偵測出區塊MB內之影像中的一最大灰階值與一最小灰階值，並計算該最大灰階值與該最小灰階值之間的一差值，並依據該差值的大小來決定影像亮度對比的程度，以及將所決定之影像亮度對比輸出並儲存至儲存電路110中，其中該差值的大小可以代表影像亮度對比的程度，舉例來說，當所計算出的差值係等於一第一差值大小時，偵測電路105係決定區塊MB的影像對比為第一參考值，此時偵測電路105亦同時決定區塊MB的景深資訊係指示出第一景深，而當所計算出的差值係為大於第一差值大小的第二差值(影像對比較高)時，偵測電路105係決定此時區塊MB的影像對比為大於上述第一參考值大小的第二參考值，並決定區塊MB的景深資訊係指示出比第一景深較近的第二景深，換言之，偵測電路105係藉由偵測判斷影像亮度對比的程度大小，來調整景深資訊INFO所指示的景深值遠近，當影像亮度對比愈大時，偵測電路105係判定區塊MB的影像可能愈靠近人眼，亦即景深應愈近，因此，偵測電路105調整景深資訊INFO的參數以指示出合理的景深值。
以偵測影像顏色來說，偵測電路105係參考區塊MB之影像的顏色來產生景深資訊INFO，目的係用以偵測區塊MB的影像是否屬於天空的一部分，舉例來說，一般天空顏色係接近於藍色，若一區塊的影像被判定為天空的一部分，則該區塊在三維立體顯示時應顯示得較遠，亦即應具有較遠或最遠的景深，實作上，天空的顏色範圍可能包含接近於藍色的某一預定顏色範圍，因此，當區塊MB的影像顏色落入或對應於該預定顏色範圍時，表示區塊MB的影像可能是天空的一部分，偵測電路105係決定景深資訊INFO指示出第一景深(亦即代表較遠或最遠的景深)，而當區塊MB的影像顏色並未落入或並未對應於該預定顏色範圍時，表示區塊MB的影像並非是天空的一部分，偵測電路105係決定景深資訊INFO指示出比第一景深較近的第二景深；影像的顏色則可選擇採用一區塊內之影像的平均顏色或大部分的影像顏色。此外，天空的顏色並非必然是藍色，亦有可能是一大片的灰色或其他顏色，因此，天空的顏色範圍也可以包含接近於灰色或某一特定顏色的一預定顏色範圍，換言之，該預定顏色範圍並非僅限定於某一特定顏色的範圍附近，亦可以是複數段不同顏色範圍所組成。此外，本發明並不限定於偵測天空的顏色，亦可以用以偵測其他遠景影像的顏色，因此，上述實施方式僅用於說明之用，而並非本發明的限制。
以偵測影像的空間位置來說，偵測電路105係偵測區塊MB的空間位置並參考所偵測出的影像空間位置來產生景深資訊INFO，偵測區塊MB的空間位置係用以偵測出區塊MB位於整張二維影像畫面中何處，當區塊MB之影像位於整張二維影像畫面中的較高處時，其景深可能較遠，反之則可能較近，舉例來說，辦公室中天花板的影像(具有較高空間位置)在人眼看來係較遠，而辦公桌上的影像(具有較低空間位置)在人眼看來係較近；實作上，當區塊MB之影像位於輸入二維影像S_2D中的第一空間位置時，偵測電路105係先決定景深資訊INFO指示出第一景深，而當區塊MB之影像位於輸入二維影像S_2D中高於第一空間位置的第二空間位置時，偵測電路105則決定景深資訊INFO指示出比第一景深較遠的第二景深。
以偵測邊緣影像來說，偵測電路105係用以參考區塊MB之影像的邊緣影像資訊來產生景深資訊INFO，在本實施例中，當偵測出區塊MB內包含有較多個數的邊緣影像時，偵測電路105係認定區塊MB的影像係具有較近景深的影像，因此，實作上，當所偵測出的邊緣影像資訊指示出區塊MB具有第一邊緣影像個數時，偵測電路105係先決定區塊MB應具有第一景深，而當所偵測出的邊緣影像資訊指示出區塊MB具有大於第一邊緣影像個數的第二邊緣影像個數時，偵測電路105係決定區塊MB應具有比第一景深較近的第二景深。
以偵測移動資訊來說，偵測電路105係參考區塊MB之影像的移動資訊來產生景深資訊INFO，在本實施例中，當所估計出的移動資訊指示了較大的移動向量時，表示影像移動較快的原因可能是人眼中的近景，因此，偵測電路105係認定此為具有較近景深的影像，實作上，當移動資訊指示出第一移動向量大小時，偵測電路105係先決定區塊MB的景深資訊INFO指示出第一景深，而當移動資訊指示出大於第一移動向量大小的第二移動向量大小時，偵測電路105係決定區塊MB的景深資訊INFO指示出比第一景深較近的第二景深。
需注意的是，為了能夠於後續操作中精確地產生每一像素的景深，本實施例的偵測電路105所產生之景深資訊INFO係包含所有上述所提到用以指示景深值的種種參數，然而，若考慮到為了節省電路計算成本，景深資訊INFO也可以包含有多個種類的參數而並非是全部的參數，甚至景深資訊INFO也可以只具有上述其中一種參數。此外，偵測電路105於產生景深資訊INFO時也可參考目前區塊MB的複數個鄰近區塊之影像亮度對比、影像顏色、影像的空間位置、影像中的邊緣影像資訊、影像中的移動資訊等參數來產生景深資訊INFO。凡此設計變化皆屬於本發明的範疇。
如前所述，當偵測電路105產生並儲存上述景深資訊INFO的該些參數至儲存電路110時，決定單元120可由儲存電路110中讀出所儲存的參數，並綜合參考景深資訊INFO的該些參數來決定區塊MB的一初步景深(亦即區塊層級的景深值)D1，初步景深D1係作為區塊MB內之所有像素的初步景深D1。而在決定出區塊MB內每一像素的初步景深D1之後，決定單元120會將初步景深D1先暫存至儲存電路110中，再由產生單元125從儲存電路110中讀取出。於另一實施例中，偵測電路105與決定單元120內部各自具有獨立的儲存電路，景深資訊INFO可由偵測電路105輸出並傳遞至決定單元120，而初步景深D1可由決定單元120輸出而傳遞至產生單元125，該些資訊在傳輸過程中皆毋需透過儲存電路110。因此，產生單元125可藉由參考每一像素的初步景深D1以及該像素的二維影像來決定該像素的目標景深D1’，實作上，產生單元125係依據每一像素上所顯示之二維影像的灰階值來微調該像素的初步景深D1以產生搭配該像素之影像內容的目標景深D1’，當該像素的灰階值較大(亦即亮度較高)時，產生單元125係依據較大的灰階值來調近該像素的初步景深D1，以產生目標景深D1’，而當該像素的灰階值較小(亦即亮度較低)時，產生單元125係依據較小的灰階值來調遠該像素的初步景深D1，以產生目標景深D1’。
因此，即便所產生之每一像素的初步景深D1皆相同而使人眼較不容易感受到區塊MB內之影像的立體視覺層次感，然而，藉由參考每一像素之灰階值來微調該像素的初步景深D1以產生每一像素的目標景深，產生單元125可根據不同的像素灰階值來達到不同像素的景深補償效果，舉例來說，區塊MB上所顯示的影像係為一棵樹木的樹葉，若僅使用上述的初步景深D1作為每一像素的目標景深，使得樹葉之間的目標景深D1’皆相同，則人眼可能無法於後續所產生之立體影像中感受到樹葉之間的立體遠近層次感，而若選擇使用上述的微調/補償每一像素之初步景深D1來產生目標景深D1’，使得樹葉之間的目標景深有所不同，則人眼可容易於後續所產生之立體影像中感受到樹葉之間的立體遠近層次感。
於此需注意的是，雖然在上述例子中，微調初步景深D1來產生目標景深D1’可達到較佳的立體遠近層次感，然而，此並非本發明的限制，在其他影像例子中，產生單元125也可選擇直接使用區塊MB的初步景深D1作為區塊MB內之每一像素的目標景深D1’，並符合基本的立體影像呈現需求及進一步節省電路計算成本，例如，區塊MB上所顯示的影像係為天空的一部分，產生單元125藉由所暫存的初步景深D1可判定區塊MB係為最遠景的影像，由於人眼對最遠景的影像中的遠近層次變化較不敏銳，因此，產生單元125係可以不選擇使用上述微調初步景深D1的步驟而直接將區塊MB之初步景深D1設定為區塊MB內部每一像素的目標景深D1’，如此一來，既能夠符合立體顯示呈現的基本需求(在人眼幾乎無法察覺下)，亦同時節省軟/硬體體的計算成本。
如上所述，本實施例的產生單元125實可依據區塊MB內之影像的特性來適應性地決定是否要微調初步景深D1。此外，由於區塊MB之初步景深D1亦有可能被選擇作為一像素的目標景深，因此，換言之，產生單元125實可視為參考景深資訊INFO來決定區塊MB內一像素之景深。由於決定單元120與產生單元125係設置於處理電路115中，所以上述之決定單元120與產生單元125的操作皆屬於處理電路115的操作。為了更能表現出本案之初步景深D1與目標景深D1’的差異，請參閱第2圖，其所繪示為本發明一實施例之影像畫面中初步景深D1之景深變化、像素層級(Pixel-based)之景深變化以及目標景深D1’之景深變化的示意圖。如第2圖所示，代表多個區塊之初步景深D1之變化的曲線S_B變化較緩慢且平滑，表示一張影像畫面中多個區塊內之所有像素的初步景深D1皆相同，因此利用曲線S_B來表示之，而代表像素層級之景深變化的曲線S_P則比曲線S_B變化來得迅速且隨機改變，表示一張影像畫面中多個區塊內之所有像素的像素層級景深變化幾乎皆不相同，因此利用隨機變化的曲線S_P來表示之，而曲線S_B’則係為曲線S_B被曲線S_P修正後所產生的，其代表所產生之目標景深D1’的變化，因此，本案產生初步景深D1後利用微調初步景深D1來產生目標景深D1’的操作實可有效並精確地產生一張影像畫面中每一像素上之影像所對應的立體景深值。
另外，在產生區塊MB內之一像素的目標景深D1’後，產生單元125接著依據所產生的目標景深D1’來決定該像素之影像(亦即一子區域影像)所對應之一第一視角影像(例如一左眼影像)與一第二視角影像(例如一右眼影像)之間的一水平偏移V_shift，並依據所決定之該水平偏移V_shift來產生該第一視角影像與該第二視角影像。請參照第3a圖，第3a圖係為目標景深D1’、水平偏移V_shift、二維影像IMG_2D及人眼所感知的三維影像IMG_3D的示意圖。如第3a圖所示，L表示人的左眼，R表示人的右眼，水平直線P代表顯示面板，IMG_2D代表某一像素上所顯示的二維平面影像，在產生單元125產生目標景深D1’之後，產生單元125會依據立體影像成像原理以及目標景深D1’(其中D_R代表目標景深的從最近至最遠的變化範圍)，於左、右兩邊各距一水平偏移V_shift的位置點上分別產生左眼影像IMG_L與右眼影像IMG_R，所以左眼L於畫面正確位置點上可看到左眼影像IMG_L而右眼R於畫面的正確位置點上也可看到右眼影像IMG_R，使得人眼感知到立體影像IMG_3D的成像。需注意的是，產生單元125亦可依據所產生的目標景深D1’來決定上述像素之影像(亦即一子區域影像)所對應之另一水平偏移V_shift’，並依據所決定之該另一水平偏移V_shift’來產生不同視角的影像；換言之，產生單元125可依據一單一像素之影像的目標景深來產生多視角的影像。
另外，產生單元125可另依據所產生之目標景深D1’、一前景/後景調整值來決定水平偏移V_shift，而使立體影像的成像具有多元設計變化。請參照第3b圖，第3b圖是目標景深D1’、目標景深D1’的變化範圍D_R、水平偏移V_shift、二維影像IMG_2D及人眼所感知的三維影像IMG_3D的另一實施例示意圖。如第3b圖所示，L表示人的左眼，R表示人的右眼，水平直線P代表顯示面板，IMG_2D代表某一像素上所顯示的二維平面影像，在產生單元125產生目標景深D1’之後，產生單元125會先依據該前景/後景調整值來設定目標景深從最近至最遠的變化範圍D_R，如圖所示，第3b圖所示之D_R表示了人眼所感知成像的立體影像可設計為成像於顯示面板的前方，接著產生單元125會依據立體影像成像原理、目標景深D1’以及該前景/後景調整值所設定之目標景深的變化範圍D_R，於原先二維影像IMG_2D的右邊距離一水平偏移V_shift處產生一左眼影像IMG_L，並於原先二維影像IMG_2D的左邊距離一水平偏移V_shift處產生一右眼影像IMG_R，所以左眼L於畫面正確位置點上可看到左眼影像IMG_L而右眼R於畫面的正確位置點上也可看到右眼影像IMG_R，使得人眼感知到立體影像IMG_3D係成像於顯示面板P的前方。此外，產生單元125亦可依據目標景深D1’與一增益值來產生上述的水平偏移V_shift，其中該增益值係用以縮小或放大水平偏移V_shift的值，使得產生水平偏移V_shift的方式更具彈性。此外，在產生每一像素所對應的水平偏移V_shift時，可將水平偏移V_shift的大小設計為小於1，使得目前像素所對應之左/右眼影像不會與鄰近像素所對應之左/右眼影像在順序上造成錯亂，因此，可避免利用二維影像產生立體影像時所造成的缺失。
為瞭解影像順序的錯亂情形，請參見第4a圖，其所繪示為以初步景深D1進行景深深度運算時，水平偏移V_shift之大小大於1所造成之影像順序錯亂的簡要示意圖，此處的初步景深D1被應用於一區塊範圍中的複數個像素點上，為了實現使景深深度平順的目的，本實施例中對兩區塊中的該等像素點進行深度的線性內插，以於各像素點上取得平滑的深度變化。圖4a中，二維影像平面上像素點0~64欲投影於三維影像平面上32個像素點，其水平偏移V_shift各為2。於此情形下，二維平面上之像素點2會投影於三維影像平面上的-1位置，而二維平面上之像素點4會投影於三維影像平面上的-2位置，因而造成左右順序錯亂的狀況。很明顯的，這樣的次序錯亂會造成三維影像平面上之影像為二維平面之鏡像的錯誤，使得顯示的結果並非預先設計之輸出。為解決此問題，需使二維影像平面上像素點0~64得以線性排列於三維影像平面上32個像素點內，亦即需使二維影像平面上每一像素點之水平偏移為0.5，方能於不產生順序錯亂的狀況下，將二維影像平面之數值線性內插至三維影像平面上。然而，應注意的是，將水平偏移V_shift的大小設計為小於1的操作僅係為本實施例中的一實施範例，並非是本發明的限制，在其他實施例中，亦可將水平偏移V_shift的大小設計為小於一預定值的大小(其中該預定值小於1)，而此亦可有效避免利用二維影像產生立體影像時所造成的缺失。
再者，當目標景深D1’包含每一像素的景深細節時，以產生某一視角之影像(例如右眼影像)為例，在由二維轉至三維右眼影像的過程中，二維影像中每一像素在依據其所相對應之水平偏移V_shift產生所相對應的多個三維右眼影像後，該些右眼影像並非必然恰好位於顯示面板的像素顯示點上，換言之，習知之二維影像轉三維立體影像後的顯示方式實具有無法正確顯示或無法顯示一目前像素之正確偏移值的問題。而為了解決此一問題，本實施例中的產生單元125係依據目前像素之間之兩右眼影像的目標景深以及該兩右眼影像之目標景深所對應的兩水平偏移，加權產生該目前像素之右眼影像的目標景深所對應的水平偏移，同樣地，產生單元125也可依據目前像素之間之兩左眼影像的兩目標景深以及該兩左眼影像之目標景深所對應的兩水平偏移，加權產生該目前像素之左眼影像的目標景深所對應的水平偏移，換言之，產生單元125係依據景深資訊INFO，先決定一第一子區域影像所對應之複數不同視角影像的一第一水平偏移與一第二子區域影像所對應之複數不同視角影像的一第二水平偏移，之後再參考該第一子區域影像所對應之該複數不同視角影像的該第一水平偏移與該第二子區域影像所對應之該複數不同視角影像的該第二水平偏移，產生位於該第一、第二子區域影像之間之一子區域影像之複數不同視角影像的水平偏移(相對應於目前像素之影像的目標景深)；利用此種加權計算的方式來產生目前像素的目標景深，可有效避免立體影像顯示時的缺失。
為說明前述加權計算的過程，請參考第4b圖，其所繪示為本發明所揭露之一影像轉換加權方法的示意圖，在原二維影像平面上，具有複數像素顯示點(包含但不限於點A以及點B)，該些像素顯示點經過轉換後，將帶有不同之水平偏移量，並重新排列於圖中的三維影像平面上。如前所述，此處的問題在於，該些像素顯示點的水平偏移值可能並非整數，因此無法重新顯示於三維影像平面上。為處理此問題，首先以三維影像平面上之像素顯示點Q為中心，設定鄰近於點Q之前後的一定整數值內，且位於二維影像平面上之像素顯示點作為一搜尋範圍，接著逐一檢視該搜尋範圍內二維影像平面之像素點轉換至三維影像平面時之落點，選取最接近點Q兩側之三維影像平面上的兩個轉換落點，利用該兩轉換落點所對應之二維影像平面上的像素點A以及點B之水平位移進行加權計算。在本實施例中，係以將點A以及點B之水平位移進行線性內插(linear interpolation)作為求取點Q之方法，然此並非是本發明的限制；其中點A於三維影像平面上之水平位移係為L_shift，而點B於三維影像平面上之水平位移係為R_shift。
其數學關係可以下示數學式表示：
更具體而言，在執行加權計算以產生水平偏移的同時，亦須注意前述圖像次序錯誤的問題，為避免此類錯誤，於利用目標景深D1’進行運算時，為使景深較遠之像素點為較近點所遮蔽的現象於經過進一步水平位移的三維影像平面上呈現出來，於選取最接近點Q兩側之兩個像素點A以及B之水平位移進行加權時，應選擇距使用者較近之點(亦即景深較淺之點)作為加權之點。請參見第4c圖，如第4c圖之右側圖示所示，點C於三維影像平面上之投影點係距離點Q較遠，但因點C所標示之景深較點A為近，因此即使點A於三維影像平面上之投影點係距離點Q較近，本實施例依舊選擇點C作為點Q水平位移的加權平均點。另外，如第4c圖之左側圖示所示，點C於三維影像平面上之投影點係距離點Q較遠，且點A於三維影像平面上之投影點係距離點Q較近，由於點A所標示之景深較點C為近，因此本實施例係選取點A作為點Q水平位移的加權平均點。
為了讓讀者能夠更清楚明白本發明之實施例的技術精神，係於第5圖所示的流程中說明第1圖所示之影像處理裝置100的操作流程。倘若大體上可達到相同的結果，並不需要一定照第5圖所示之流程中的步驟順序來進行，且第5圖所示之步驟不一定要連續進行，亦即其他步驟亦可插入其中：步驟502：開始；步驟504：偵測電路105接收一輸入二維影像S_2D；步驟506：偵測電路105偵測所接收之輸入二維影像S_2D中一區塊MB的影像來產生區塊MB之景深資訊INFO，其中景深資訊INFO包含有影像亮度對比、影像顏色、影像的空間位置、影像的邊緣影像資訊及影像的移動資訊等參數；步驟508：決定單元120依據區塊MB之景深資訊INFO產生區塊MB內之像素的初步景深D1；步驟510：產生單元125參考初步景深D1並決定是否微調初步景深D1來產生不同像素的目標景深D1’，其中初步景深D1係為區塊層級上的景深值，而目標景深D1’係為不同像素在像素層級上的景深值；步驟512：產生單元125依據目標景深D1’來產生該像素之多視角影像所對應的水平偏移V_shift；以及步驟514：產生單元125依據水平偏移V_shift來產生該像素之多視角影像，以使人眼觀賞影像畫面時可感知到立體影像的成像；步驟516：結束。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100．．．影像處理裝置
105．．．偵測電路
110．．．儲存電路
115．．．處理電路
120．．．決定單元
125．．．產生單元
第1圖為本發明一實施例之影像處理裝置的示意圖。
第2圖為本發明一實施例之初步景深D1之景深變化、像素層級之景深變化以及目標景深之景深變化的示意圖。
第3a圖為目標景深D1’、目標景深D1’的變化範圍D_R、水平偏移V_shift、二維影像IMG_2D以及人眼所感知的三維影像IMG_3D之一實施例的示意圖。
第3b圖為目標景深D1’、目標景深D1’的變化範圍D_R、水平偏移V_shift、二維影像IMG_2D及人眼所感知的三維影像IMG_3D之另一實施例的示意圖。
第4a圖為以初步景深D1進行景深深度運算時水平偏移V_shift之大小大於1所造成之影像順序錯亂的簡要示意圖。
第4b圖為第1圖所示之產生單元之一影像轉換加權方法的示意圖。
第4c圖為使用第4b圖所示之影像轉換加權方法來選取加權平均點的操作示意圖。
第5圖為第1圖所示之影像處理裝置的操作流程圖。
100．．．影像處理裝置
105．．．偵測電路
110．．．儲存電路
115．．．處理電路
120．．．決定單元
125．．．產生單元

权利要求:
Claims (20)
[1] 一種影像處理方法，其包含有：接收一輸入二維影像；以及偵測該輸入二維影像中一區塊的一影像來產生該區塊之一景深資訊；其中，該景深資訊指示該區塊之該影像於立體顯示時的一景深。
[2] 如申請專利範圍第1項所述之影像處理方法，其另包含有：參考該區塊之該景深資訊以及該區塊內一子區域影像之一二維影像來決定該區塊內之該子區域影像之該景深。
[3] 如申請專利範圍第1項所述之影像處理方法，其中該景深資訊係由一最大灰階值與一最小灰階值之間的一差值所決定，其步驟包含有：當該差值係一第一差值時，決定該景深資訊係指示一第一景深；以及當該差值係為大於該第一差值之一第二差值時，決定該景深資訊係指示較該第一景深近之一第二景深。
[4] 如申請專利範圍第1項所述之影像處理方法，其中產生該景深資訊的步驟包含有：當該影像的顏色對應至一預定顏色範圍，決定該景深資訊係指示一第一景深；以及當該影像的顏色未對應至該預定顏色範圍，決定該景深資訊係指示較該第一景深近之一第二景深。
[5] 如申請專利範圍第1項所述之影像處理方法，其中產生該景深資訊的步驟包含有：當該區塊之該影像係位於該輸入二維影像中一第一空間位置時，決定該景深資訊係指示一第一景深；以及當該區塊之該影像係位於高於該第一空間位置之一第二空間位置時，決定該景深資訊係指示較該第一景深遠之一第二景深。
[6] 如申請專利範圍第1項所述之影像處理方法，其中產生該景深資訊的步驟包含有：當一邊緣影像資訊指示出一第一邊緣影像個數時，決定該景深資訊係指示一第一景深；以及當該邊緣影像資訊指示出大於該第一邊緣影像個數之一第二邊緣影像個數時，決定該景深資訊係指示較該第一景深近之一第二景深。
[7] 如申請專利範圍第1項所述之影像處理方法，其中產生該景深資訊的步驟包含有：當一移動資訊指示出一第一移動向量大小時，決定該景深資訊係指示一第一景深；以及當該移動資訊指示出大於該第一移動向量大小之一第二移動向量大小時，決定該景深資訊係指示較該第一景深近之一第二景深。
[8] 如申請專利範圍第1項所述之影像處理方法，其另包含有：依據該景深，決定該子區域影像所對應之一第一視角影像與一第二視角影像之間的一水平偏移，其中該水平偏移係依據該景深與一前景/後景調整值決定；以及依據所決定之該水平偏移，產生該第一視角影像與該第二視角影像。
[9] 如申請專利範圍第8項所述之影像處理方法，其中決定該水平偏移的步驟包含有：依據該景深與一增益值，決定該水平偏移，且該水平偏移係小於1。
[10] 如申請專利範圍第1項所述之影像處理方法，其另包含有：依據該景深資訊，決定一第一子區域影像所對應之複數不同視角影像的一第一水平偏移；依據該景深資訊，決定一第二子區域影像所對應之複數不同視角影像的一第二水平偏移；以及參考該第一子區域影像所對應之該複數不同視角影像的該第一水平偏移與該第二子區域影像所對應之該複數不同視角影像的該第二水平偏移，產生位於該第一、第二子區域影像之間之一子區域影像之複數不同視角影像的一水平偏移。
[11] 一種影像處理裝置，其包含有：一偵測電路，用以接收一輸入二維影像，並偵測該輸入二維影像中一區塊的一影像來產生該區塊之一景深資訊；以及一處理電路，耦接至該偵測電路，用以參考該景深資訊來決定該區塊內之一子區域影像的一景深。
[12] 如申請專利範圍第11項所述之影像處理裝置，其中該景深資訊係由一最大灰階值與一最小灰階值間的一差值所決定；當該差值係一第一差值時，該偵測電路係決定該景深資訊係指示一第一景深；以及當該差值係為大於該第一差值之一第二差值時，該偵測電路係決定該景深資訊係指示較該第一景深近之一第二景深。
[13] 如申請專利範圍第11項所述之影像處理裝置，其中當該影像的顏色對應至一預定顏色範圍，該偵測電路係決定該景深資訊指示一第一景深；以及當該影像的顏色未對應至該預定顏色範圍，該偵測電路係決定該景深資訊指示較該第一景深近之一第二景深。
[14] 如申請專利範圍第11項所述之影像處理裝置，其中當該區塊之該影像係位於該輸入二維影像中一第一空間位置時，該偵測電路係決定該景深資訊指示一第一景深；以及當該區塊之該影像係位於高於該第一空間位置之一第二空間位置時，該偵測電路係決定該景深資訊指示較該第一景深遠之一第二景深。
[15] 如申請專利範圍第11項所述之影像處理裝置，其中當該影像指示出一第一邊緣影像個數時，該偵測電路係決定該景深資訊指示一第一景深；以及當該影像指示出大於該第一邊緣影像個數之一第二邊緣影像個數時，該偵測電路係決定該景深資訊指示較該第一景深近之一第二景深。
[16] 如申請專利範圍第11項所述之影像處理裝置，其中當該移動資訊指示出一第一移動向量大小時，該偵測電路係決定該景深資訊指示一第一景深；以及當該移動資訊指示出大於該第一移動向量大小之一第二移動向量大小時，該偵測電路係決定該景深資訊指示較該第一景深近之一第二景深。
[17] 如申請專利範圍第11項所述之影像處理裝置，其中該處理電路包含有：一決定單元，用以決定該景深；以及一產生單元，用以依據該景深，決定該子區域影像所對應之一第一視角影像與一第二視角影像之間的一水平偏移，以及依據所決定之該水平偏移，產生該第一視角影像與該第二視角影像，其中該產生單元係依據該景深與一前景/後景調整值來決定該水平偏移。
[18] 如申請專利範圍第17項所述之影像處理裝置，其中該產生單元係依據該景深與一增益值來決定該水平偏移，該水平偏移係小於1。
[19] 如申請專利範圍第11項所述之影像處理裝置，其中該處理電路係參考該區塊之該景深資訊以及該子區域影像之一二維影像來決定該區塊內之該子區域影像之該景深。
[20] 如申請專利範圍第11項所述之影像處理裝置，其中該處理電路包含有：一產生單元，用以依據該景深資訊，決定一第一子區域影像所對應之複數不同視角影像的一第一水平偏移與一第二子區域影像所對應之複數不同視角影像的一第二水平偏移，以及參考該第一子區域影像所對應之該複數不同視角影像的該第一水平偏移與該第二子區域影像所對應之該複數不同視角影像的該第二水平偏移，產生位於該第一、第二子區域影像之間之一子區域影像之複數不同視角影像的一水平偏移。

类似技术:

公开号 | 公开日 | 专利标题

TWI493505B|2015-07-21|影像處理方法以及影像處理裝置

US9277207B2|2016-03-01|Image processing apparatus, image processing method, and program for generating multi-view point image

US8116557B2|2012-02-14|3D image processing apparatus and method

US9445071B2|2016-09-13|Method and apparatus generating multi-view images for three-dimensional display

JPWO2011114683A1|2013-06-27|立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム

US9922441B2|2018-03-20|Image processing device, image processing method, and program

TW201242335A|2012-10-16|Image processing device, image processing method, and program

US9210396B2|2015-12-08|Stereoscopic image generation apparatus and stereoscopic image generation method

US8976171B2|2015-03-10|Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program

US8884951B2|2014-11-11|Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program

JP5627498B2|2014-11-19|立体画像生成装置及び方法

JP5127973B1|2013-01-23|映像処理装置、映像処理方法および映像表示装置

US20140198104A1|2014-07-17|Stereoscopic image generating method, stereoscopic image generating device, and display device having same

US20130050420A1|2013-02-28|Method and apparatus for performing image processing according to disparity information

CN102857772B|2015-11-11|影像处理方法以及影像处理装置

JP5931062B2|2016-06-08|立体画像処理装置、立体画像処理方法、及びプログラム

JP2012084961A|2012-04-26|奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム

JP5459231B2|2014-04-02|擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置

JP2020518058A|2020-06-18|奥行きマップを処理するための装置及び方法

CN107845108B|2021-10-26|一种光流值计算方法、装置及电子设备

JP5431393B2|2014-03-05|立体画像生成装置及び方法

JP5786807B2|2015-09-30|奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

JP5780214B2|2015-09-16|奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

JP6056459B2|2017-01-11|奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

JP5888140B2|2016-03-16|奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

同族专利:

公开号 | 公开日

US10115207B2|2018-10-30|

US20120320045A1|2012-12-20|

TWI493505B|2015-07-21|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US6556704B1|1999-08-25|2003-04-29|Eastman Kodak Company|Method for forming a depth image from digital image data|

JP4061305B2|2002-08-20|2008-03-19|一成江良|立体視用画像を作成する方法および装置|

WO2004021151A2|2002-08-30|2004-03-11|Orasee Corp.|Multi-dimensional image system for digital image input and output|

KR100505334B1|2003-03-28|2005-08-04|플렛디스|운동 시차를 이용한 입체 영상 변환 장치|

DE602005027379D1|2004-10-26|2011-05-19|Koninkl Philips Electronics Nv|Disparitätskarte|

EP2087466B1|2006-11-21|2020-06-17|Koninklijke Philips N.V.|Generation of depth map for an image|

KR101420681B1|2008-02-01|2014-07-17|한국과학기술원|비디오 영상의 깊이 지도 생성 방법 및 장치|

US8537200B2|2009-10-23|2013-09-17|Qualcomm Incorporated|Depth map generation techniques for conversion of 2D video data to 3D video data|

CN102055991B|2009-10-27|2013-08-14|深圳Tcl新技术有限公司|二维图像转换为三维图像的转换方法及转换装置|

CN101841727B|2009-12-30|2011-12-07|福州华映视讯有限公司|影像处理方法|

US9042636B2|2009-12-31|2015-05-26|Disney Enterprises, Inc.|Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers|

US20120274626A1|2011-04-29|2012-11-01|Himax Media Solutions, Inc.|Stereoscopic Image Generating Apparatus and Method|CN106840812B|2011-12-29|2019-12-17|思迪赛特诊断有限公司|用于检测生物样品中病原体的方法和系统|

US9522396B2|2010-12-29|2016-12-20|S.D. Sight Diagnostics Ltd.|Apparatus and method for automatic detection of pathogens|

EP2999988A4|2013-05-23|2017-01-11|S.D. Sight Diagnostics Ltd.|Method and system for imaging a cell sample|

IL227276D0|2013-07-01|2014-03-06|Parasight Ltd|METHOD AND SYSTEM FOR HANDLING A CELL monolayer, especially for use in diagnosis|

WO2015029032A1|2013-08-26|2015-03-05|Parasight Ltd.|Digital microscopy systems, methods and computer program products|

WO2016030897A1|2014-08-27|2016-03-03|S.D. Sight Diagnostics Ltd|System and method for calculating focus variation for a digital microscope|

EP3859425A1|2015-09-17|2021-08-04|S.D. Sight Diagnostics Ltd.|Methods and apparatus for detecting an entity in a bodily sample|

JP6942148B2|2016-05-11|2021-09-29|エス．ディー．サイトダイアグノスティクスリミテッド|試料に対する光学測定の実施|

CN107767349B|2017-10-12|2019-08-02|深圳市华星光电半导体显示技术有限公司|一种图像局部对比度增强的方法|

法律状态:
2020-04-21| MM4A| Annulment or lapse of patent due to non-payment of fees|

优先权:

申请号 | 申请日 | 专利标题

TW100121439A|TWI493505B|2011-06-20|2011-06-20|影像處理方法以及影像處理裝置|TW100121439A| TWI493505B|2011-06-20|2011-06-20|影像處理方法以及影像處理裝置|

US13/527,739| US10115207B2|2011-06-20|2012-06-20|Stereoscopic image processing method and apparatus thereof|

[返回顶部]