• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種從單鏡頭影像呈現立體影像的方法與影像擷取系統。此方法係由影像擷取系統的攝像單元橫向來回移動以擷取多張影像。接著，計算所擷取影像中每兩張影像間的像差，並從所擷取影像中選取具有適當固定像差的一或多個影像對。最後，將選好的影像對顯示以呈現立體影像。
    公开号:TW201319722A
    申请号:TW100149262
    申请日:2011-12-28
    公开日:2013-05-16
    发明作者:Ludovic Angot；Chun-Te Wu；Wei-Jia Huang
    申请人:Ind Tech Res Inst；
    IPC主号:A61B1-00
    专利说明:
    從單鏡頭影像呈現立體影像的方法與影像擷取系統
    本揭露有關於一種呈現立體影像的方法與影像擷取系統。
    微創手術(Minimal Invasive Surgery，MIS)皆使用直徑較小的攝像單元與設備，如抓鉗(grasper)，來減少手術侵入的後遺症。此攝像單元通常為內含光學系統、感應器等物件的單鏡頭內視鏡，並外接一螢幕以提供外科醫生觀察手術區域。然而攝像單元的單鏡像特性迫使外科醫生得先接受一段長又沉悶的訓練才能在缺乏深度感的情況下進行手術。
    縱使外科醫生已具備使用內視鏡進行手術的能力，仍會因為有限的深度感所帶來的困難，致使手術時間相對延長。一種解決方法是使用立體內視鏡以提供外科醫生所需的深度感，然而這樣的內視鏡不僅昂貴、巨大，並且相較於能提供廣大視野的單鏡頭內視鏡，可視的角度顯得狹小。因此，有必要提供一種可藉由單鏡頭內視鏡影像以獲得立體影像的方法。然而，若只是從一系列的單鏡頭影像想要取得立體影像通常只會得到較差的結果，因此有必要提供一種可從單鏡頭影像中確切的製作良好立體效果的立體影像的方法。
    本揭露提供一種從單鏡頭影像呈現立體影像的方法與影像擷取系統，可適當地選擇適當固定像差的單鏡像影像以形成立體影像。
    本揭露提出一種從單鏡頭影像呈現立體影像的方法，適用於具有攝像單元的影像擷取系統。此方法係橫向移動攝像單元以擷取多張影像，並計算所擷取影像之多個影像對中每一個影像對之間的像差，然後從所擷取影像中選擇具有適當固定像差的一或多個影像對，最後則顯示所選擇的影像對以呈現立體影像。
    本揭露另提出一種影像擷取系統，此系統包括具有鏡頭與影像感應器的攝像單元、處理單元及顯示單元。其中，處理單元與影像感應器耦接，用以接收由攝像單元擷取的多張影像、計算所擷取影像中每一個影像對間的像差，並從中選取具有適當固定像差的一或多個影像對。顯示單元係耦接處理單元，用以顯示由處理單元選擇的影像對以呈現立體影像。
    為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
    本揭露利用電腦視覺技術、位置感應器與影像處理技術挑選具適當固定像差的影像，以產生一或多個立體影像對，使得系統的使用者免於觀看立體效果會變動的立體影像。 第一實施例
    圖1為根據本揭露第一實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。請參照圖1，本案方法適用於具有攝像單元的影像擷取系統。以下即詳述本揭露方法的多個步驟。
    首先，將攝像單元橫向來回移動以擷取多張影像(步驟S102)。舉例來說，圖2為攝像單元的移動與配置的示意圖。請參考圖2，攝像單元20例如是藉由一個已插入患者皮膚的套管21插入體腔。外科醫生或操作者可將此攝像單元20橫向來回移動，以從不同角度擷取體腔內器官的多個影像。
    接著，計算所擷取影像中每兩張影像間的像差(步驟S104)。詳言之，本揭露的關鍵就是去選擇具有適當固定像差的影像，使得所呈現的立體影像不僅有好的立體品質，也兼具一致的立體效果。上述像差可用兩種方法來計算：一種方法是利用位置感應器來偵測攝像單元的位置，並利用所得的位置資料來計算所擷取影像的像差。另一種方法是計算所擷取第N個影像與其前M個影像中每一個影像中特定特徵的移動向量，並利用這些移動向量來計算每個影像對的像差，其中N和M皆為正整數。前述兩個方法的詳細內容將於後續實施例中描述。
    回到圖1，在像差計算完成後，則從所擷取影像中選擇具有適當固定像差的一或多個影像對(步驟S106)。詳言之，可將所計算的像差與一個預定像差範圍作比較，以判斷該像差是否在適當範圍內。當一個影像對的像差被判斷是在預定像差範圍內時，這個影像對中的兩張影像就會被認定為具有適當固定像差，因此可選擇用以作為之後在顯示器呈現的立體顯像。
    最後，這些被選擇的一或多個影像係輸出至顯示器，以在操作者面前呈現立體影像(步驟S108)。因為所顯示的一或多個影像對皆有適當且固定的像差，所呈現的立體影像可以給使用此影像擷取系統的外科醫生或操作者較合適的深度感。
    圖3A與圖3B為根據本揭露第一實施例所繪示之影像擷取系統的方塊圖。請參考圖3A，影像擷取系統30a可以是硬式內視鏡、軟式內視鏡、管道鏡(Borescope)或是任何一種視鏡。影像擷取系統30a包括具有鏡頭32和影像感應器33的攝像單元31、處理單元34及顯示單元35。請參考圖3B，影像擷取系統30b可更包括操作裝置36，其例如是以機器手臂或其他機械裝置的形式來將攝像單元31(或多個攝像單元)橫向來回移動。
    鏡頭32是由多個光學元件組成並用來對所要攝入的目標作對焦。影像感應器33係配置於鏡頭32之後，其例如是電荷耦合元件(Charge-coupled device，CCD)或互補式金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)感測器，而用來擷取影像。操作裝置36則為機器手臂或為影像擷取系統30b的人類操作者。
    處理單元34為中央處理器、可編程微處理器、數位訊號處理器、可編程控制器、特定應用積體電路、可編程邏輯元件或任何類似元件。處理單元34係耦接攝像單元31，以接受及處理由攝像單元31擷取的影像。
    顯示單元35為可顯示立體影像的液晶顯示器、電漿顯示器或發光二極體顯示器。顯示單元35係耦接處理單元34，以顯示處理單元34所選擇之影像，而呈現一或多個立體影像。
    影像擷取系統30a或30b可用以呈現由圖1方法從單鏡頭影像取得的立體影像。以下將配合影像擷取系統30b的內部元件說明本揭露方法的詳細步驟。
    首先，利用操作裝置36將影像擷取系統30b中的攝像單元31橫向來回移動以擷取多張影像。接著，處理單元34計算所擷取影像中每一個影像對的像差。當所有的像差都計算完成後，處理單元34從所擷取影像中挑出一或多個具適當固定像差的影像對。最後，處理單元34將這些影像對輸出到顯示單元35顯示以便將立體圖案呈現給操作者。 第二實施例
    本案的第二實施例係偵測攝像單元的位置，用來輔助計算攝像單元所擷取影像之像差，並用來選擇適於呈現立體影像的影像。
    圖4A與圖4B是根據本揭露第二實施例所繪示之影像擷取系統的方塊圖。請參照圖4A，影像擷取系統40a包括具有鏡頭42和影像感應器43的攝像單元41、處理單元44、顯示單元45、位置感應器46和儲存裝置47。其中，攝像單元41是由鏡頭42和影像感應器43組成，其例如是硬式內視鏡、軟式內視鏡、管道鏡或其他種類的視鏡。請參照圖4B，影像攝取系統40b更包括操作裝置48，其例如是以機器手臂或其他機械裝置的形式來將攝像單元41橫向來回移動。鏡頭42、影像感應器43、操作裝置48和顯示單元45的功能與第一實施例中的鏡頭32、影像感應器33、操作裝置36和顯示單元35相同或相似，在此不再贅述。
    位置感應器46可為磁力感應器、電磁感應器、光學感應器、超音波感應器、射頻感應器或其他任何種類的感應器，但不限於此。位置感應器46主要是用於偵測橫向來回移動之攝像單元41的位置。
    儲存裝置47例如是硬碟或記憶體，其係用以儲存攝像單元41所擷取的影像、處理單元44計算的像差，而可提供處理單元44存取來選擇具適當固定像差的多個影像對，並顯示所選擇的一或多個影像對。
    圖5是根據本揭露第二實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。請參考圖5，本方法適用於圖4B的影像擷取系統40b。以下將配合影像擷取系統40b的內部元件說明本揭露方法的詳細步驟。
    首先，由操作裝置48或人類操作者將攝像單元41橫向來回移動以擷取多數影像(步驟S502)。接著，使用位置感應器46感應橫向來回移動之攝像單元41的位置(步驟S504)。
    接著，利用位置感應器46所偵測的位置，計算第N張影像與其前M張影像中每一張影像間的像差(步驟S506)，其中M和N皆為正整數。詳言之，上述的像差是基於位置感應器46所偵測的座標，推測影像的橫向移動所取得。一般而言，位置感應器46可提供六種座標，即x、y、z、俯仰(pitch)、側滾(roll)及偏轉(yaw)。基於攝像單元41的內在與外在參數，以及安裝在攝像單元41上的位置感應器46之位置，可以推知影像間的像差。
    舉例來說，圖6是根據本揭露第二實施例所繪示之取得攝像單元位置的範例。圖6繪示了攝像單元41逐漸地從左邊移動到垂直位置再移動到右邊時，不同的時間點上的位置。在此例子中，攝像單元41係連續擷取12張影像，而攝像單元41的位置也被偵測用以計算所擷取影像間的像差。
    重新參考圖5，在像差的計算完成後，處理單元44會將計算所得的像差與一個預定像差範圍比對，來判斷哪些影像對的像差是在此預定像差範圍內(步驟S508)。此預定像差範圍可包括水平像差範圍及垂直像差範圍，而只有在影像對的水平像差disp_x及垂直像差disp_y符合下列條件時，該影像對才被認定為適合用來呈現立體影像：
    dx min <disp x <dx max ；以及
    0<disp y <dy max 。
    其中，dx min 與dx max 分別表示水平像差範圍的最小值與最大值；dy max 則代表了垂直像差範圍的最大值。當然，攝像單元的橫向移動並非嚴格限制於水平移動，因此參數dy max 代表了攝像單元可被接受的最大垂直移動範圍。前述像差範圍的限制，可以基於影像感應器及顯示單元的解析度來取得，可以考量攝像單元的外在特性來取得，例如放大率、觀測物與攝像單元之參考點間的距離，也可以考量用以顯示所選擇影像對之立體顯示系統的外部特性來取得，例如觀測距離及顯示器的大小。
    當兩張影像的像差被判定為在預定像差範圍內，這兩張影像就被認定具有適當固定像差，而由處理單元44從所擷取影像中選出具有像差在預定像差範圍內的影像對(步驟S510)。
    最後，處理單元44將所選擇的一或多個影像對輸出至顯示單元45，而由顯示單元45顯示這些影像對以呈現立體影像(步驟S512)。在顯示立體影像之後，流程會重回步驟S502，以便持續搜尋所要顯示的影像對。
    在此需注意的是，雖然在本實施例中，具適當固定像差的一或多組影像對會在像差計算完之後立刻被選擇並顯示。但在另外的實施例中，所擷取的影像與所計算的像差可被存入儲存裝置47。而當外科醫生或影像擷取系統40b的操作者需要觀看立體影像時，即可以啟動三維立體(3D)觀看功能。此時，影像擷取系統40b會接收到3D觀看功能的要求，而去存取儲存時間上最近的影像及像差，以便選擇具適當固定像差的一或多組影像對並進行顯示。藉此，從要求3D觀看到實際顯示的時間延遲相當短，因而操作者不易察覺。 第三實施例
    本揭露的第三實施例係使用攝像單元所擷取之影像間特定特徵的移動向量來計算影像間的像差，以便選擇適於呈現立體影像的影像對。
    圖7為圖3B中處理單元34的方塊圖。圖8則是根據本揭露第三實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。請參考圖7，處理單元34包含移動估計元件341、計算元件342、選擇元件343、影像修正元件344、影像裁切元件345、偵測元件346及判斷元件347。請參考圖8，本實施例採用圖3B所繪示之影像擷取系統30b及圖7所繪示之處理單元34。以下將配合影像擷取系統30b的內部元件說明本揭露方法的詳細步驟。
    首先，由操作裝置36或人類操作者將攝像單元31橫向來回移動以擷取多張影像(步驟S802)。接著，處理單元34中的移動估計元件341計算所擷取第N張影像與其前M張影像中每一張影像之間的移動向量(步驟S804)，其中M和N皆為正整數。詳言之，影像感應器33係於連續擷取的影像上追蹤多個特徵點，並使用電腦視覺技術，如Lukas-Kanade光流跟蹤法(Lukas-Kanade tracking)，來計算這些特徵點的移動向量。
    圖9為根據本揭露第三實施例所繪示之計算連續影像之移動向量的範例。請參考圖9，三張連續影像n-1、n、n+1皆包含相同特徵，即器官91~95。影像n-1與影像n間，器官91~95的移動向量係被計算並取平均以獲得平均移動向量mn。影像n與影像n+1間，器官91~95的移動向量也會被計算並相加為平均移動向量mn+1。所計算的移動向量mn及mn+1可提供影像n-1、影像n和影像n+1間像差的直接關係，並提供所觀察物體是固定的或是相對於橫向移動之攝像單元緩慢移動。
    請再參考圖8，處理單元34中的計算元件342根據移動估計單元341所得之移動向量，計算第N張影像與其前M張影像中每一張影像之間的像差(步驟S806)。
    當像差的計算完成後，處理單元34的選擇元件343會將所計算之像差與預定像差範圍作比較，以判斷一或多個影像對的像差是否位在該預定像差範圍內(步驟S808)。
    當兩張影像間的像差被判定為在預定像差範圍內，這兩張影像便會被認為具有適當固定像差。相應地，選擇元件343會從所擷取影像中，選出具有像差位於預定像差範圍內的一或多個影像對(步驟S810)。
    最後，選擇元件343輸出所選擇的一或多個影像對至顯示單元35，而由顯示單元35顯示這些影像以呈現一或多張立體影像(步驟S812)。在顯示這些立體影像後，流程會重回步驟802，以便持續搜尋所要顯示的影像對。
    需說明的是，本實施例還提供數種可對影像擷取中所發現之失真進行修正的方法，以便呈現具品質的立體影像。
    圖10繪示對視野進行影像修正的範例。參考圖10，當攝像單元在位置P1上時，所擷取的影像101會因為觀察視角相對於使用者實際左眼視野稍微偏向器官右側而失真。同理，當攝像單元在位置P2上時，所擷取的影像102會因為觀察視角相對於使用者實際右眼視野稍微偏向器官左側而失真。為了修正前述的影像失真，處理單元34的影像修正元件344會對所選擇的一或多個影像對101和102進行影像修正，以將攝像單元的視角修正為符合人類眼睛的視角。詳細地說，攝像單元於位置P1擷取的影像101會被修正為右眼視野的影像104；攝像單元於位置P2擷取的影像102則會被修正為左眼視野的影像103。藉此，使用者即可觀看到正確的視野的一或多個影像對101和102。
    圖11繪示對垂直像差進行影像修正的範例。請參考圖11，此範例是以所擷取的影像111作為左眼影像，此影像111中器官的左邊界與影像111的左邊緣有一距離D1。此範例另以所擷取的影像112作為右眼影像，此影像112中器官的左邊界與影像的左邊緣有一距離D2。除了影像111和影像112間的水平像差外，影像111和112間也具有垂直像差，致使影像112相對應的視點略高於影像111。為了修正上述因垂直像差導致的影像失真，處理單元34的影像裁切元件345會裁切影像111及影像112，以去除存在於所選擇每一個影像對之影像間的垂直像差，從而使得每一個影像對可經由人類觀察者融合成為舒適的立體影像。如圖11所示，影像111的上端部分係被裁切為影像113，而影像112的下端部分則裁切為影像114。經由裁切，影像111和影像112間的垂直像差可被抵銷，而裁切後的影像113和影像114即可用來呈現出具有適當像差的立體影像。
    更進一步來說，在攝像單元擷取的影像中，手術器材等物件在攝像單元移動時，本身也會移動，而讓使用者對這些移動產生不舒適的感覺。為了降低這些物件於影像中移動所造成的影響，可選擇至少一個關注區域(Region of interest，ROI)以進行後續的處理過程。此關注區域允許去估計物件的移動，例如在攝像單元視野內的抓鉗，以便能消除一或多組影像對，這些影像對雖具適當固定像差，但其中一張影像中物件的運動卻與配對之另外一張影像中物件的運動不同。圖12(a)和圖12(b)繪示選擇關注區域的範例。請參考圖12(a)和圖12(b)，影像120為攝像單元原先擷取的影像，且中包含器官區與其他多個涉及手術器材的影像。為了消除一或多個影像對，這些影像對雖具適當固定像差，但其中一張影像中物件的運動卻與配對中另外一張影像中物件的運動不同。處理單元34的偵測元件346會偵測所擷取影像120內的至少一個移動物件，而判斷元件347則會負責剔除影像對中，其中一張影像所包含的移動狀態與另一張有不同的影像對。圖12(a)中，影像120的上端區域121與下端區域122係被判定為關注區域(ROI)並用來計算移動向量。圖12(b)中，影像120的中央部份123被判定為關注區域(ROI)並用來計算移動向量。
    為了選擇多個影像對，本揭露係根據使用者的需求提出了兩種不同的方案。圖13(a)和圖13(b)繪示選擇立體影像對的範例。請參考圖13(a)所繪示之例，在第一方案中，影像1與影像3的像差因被視為位於適當像差範圍內，而被選為第一個立體影像對。為了選擇其他影像對，影像擷取系統會去檢查影像3的下一張影像(即圖中影像4)與影像4之後的每一張影像之間的像差，而決定以影像4與影像7作為下一個具備適當固定像差的影像對。參考圖13(b)所繪示之第二方案，影像1與影像3同樣也被選為第一個立體影像對。為了選擇其他影像對，影像擷取系統會去檢查影像1的下一張影像(即圖中影像2)與影像2之後的每一影像之間的像差，而決定以影像2與影像4作為下一個具備適當固定像差的影像對。第一方案中選擇兩個連續影像對的時間延遲Δt1較第二方案選擇兩個連續影像對的時間延遲Δt2長。因此，第二方案會比第一方案更適合用於以較高更新頻率顯示立體影像的狀況。然而，第二方案中用來計算像差的負擔高於第一方案，因此第二方案需要使用計算能力較強的處理單元。
    最後，本揭露提出一種用以儲存攝像單元所擷取影像的資料結構。圖14繪示用來儲存影像的資料結構。請參照圖14，立體空間係被劃分成多個單元，而每個單元係儲存在相應位置所擷取的影像，所述相應位置係為攝像單元被位置感應器測得的位置。如圖14所示，單元C1和C4係被用來儲存攝像單元先前所擷取的影像。當有一個現有影像在單元C5相對應的位置被擷取時，這個影像會被存入C5，且此單元C5代表的位置與C1和C4所代表的位置作比對，以便尋找與現有影像之間具有適當固定像差的另一影像。如果上述的適當固定像差被設定為兩個單元的寬度，則資料儲存在單元C1的影像便會被認為是一個適合與儲存在單元C5的現有影像一同呈現以產生立體影像的影像。
    綜上所述，本揭露提供一種從單鏡頭影像呈現立體影像的方法與影像擷取系統，藉由選取一或多個具有適當固定像差的影像對來呈現立體影像，使其立體效果較大部分2D轉換3D演算法更接近立體影像擷取系統。因此，本揭露可在外科醫生或操作者於受限空間中進行手術時，提供手術區域的深度感。據此，外科醫生或操作者可在視覺上獲得手術範圍之深度感的幫助，以便將其手術器材移動到器官的較佳位置，從而幫助手術並減少手術所需要的時間。
    雖然本揭露內容已以較佳實施例揭露如上，然其並非用以限定本揭露內容，任何熟習此技藝者，在不脫離本揭露內容之精神和範圍內，當可作些許之更動與潤飾，因此本揭露內容之保護範圍當視後附之申請專利範圍所界定者為準。
    20、31、41．．．攝像單元
    21．．．套管
    30a、30b、40a、40b．．．影像擷取系統
    32、42．．．鏡頭
    33、43．．．影像感應器
    34、44．．．處理單元
    341．．．移動估計元件
    342．．．計算元件
    343．．．選擇元件
    344．．．影像修正元件
    345．．．影像裁切元件
    346．．．偵測元件
    347．．．判斷元件
    35、45．．．顯示單元
    36、48．．．操作裝置
    46．．．位置感應器
    47．．．儲存裝置
    91~95．．．器官
    101~104、111、112、120．．．擷取影像
    113、114．．．裁切後的擷取影像
    121~123．．．關注範圍
    C1~C5．．．儲存單元
    D1、D2．．．距離
    mn、mn+1．．．移動向量
    Δt1、Δt2．．．時間延遲
    P1、P2．．．位置
    S102~S108．．．本揭露第一實施例之從單鏡頭影像呈現立體影像之方法步驟
    S502~S512．．．本揭露第二實施例之從單鏡頭影像呈現立體影像之方法步驟
    S802~S812．．．本揭露第三實施例之從單鏡頭影像呈現立體影像之方法步驟
    圖1為根據本揭露第一實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。
    圖2為攝像單元的移動與配置的示意圖。
    圖3A與圖3B為根據本揭露第一實施例所繪示之影像擷取系統的方塊圖。
    圖4A與圖4B是根據本揭露第二實施例所繪示之影像擷取系統的方塊圖。
    圖5是根據本揭露第二實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。
    圖6是根據本揭露第二實施例所繪示之取得攝像單元位置的範例。
    圖7為圖3B中處理單元34的方塊圖。
    圖8是根據本揭露第三實施例所繪示之從單鏡頭影像呈現立體影像的方法流程圖。
    圖9為根據本揭露第三實施例所繪示之計算連續影像之移動向量的範例。
    圖10繪示對視野進行影像修正的範例。
    圖11繪示對垂直像差進行影像修正的範例。
    圖12(a)和圖12(b)繪示選擇關注區域的範例。
    圖13(a)和圖13(b)繪示選擇立體影像對的範例。
    圖14繪示用來儲存影像的資料結構。
    S102~S108．．．本揭露第一實施例之從單鏡頭影像呈現立體影像之方法步驟
    权利要求:
    Claims (24)
    [1] 一種從單鏡頭影像呈現立體影像的方法，適用於具有一攝像單元的一影像擷取系統，該方法包括下列步驟：橫向移動該攝像單元以擷取多張影像；計算所擷取的該些影像之多個影像對中每一影像對之間的一像差；從所擷取的該些影像中選擇具有一適當固定像差的一或多個影像對；以及顯示所選擇的該些影像對以呈現該立體影像。
    [2] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中計算所擷取的該些影像之該些影像對中每一影像對之間的該像差的步驟包括：計算第N張影像與其前M張影像中每一影像之間的一移動向量，其中M及N為正整數；以及藉由所計算之該些移動向量，計算該第N張擷取影像與其前M張影像中每一影像之間的該像差。
    [3] 如申請專利範圍第2項所述之從單鏡頭影像呈現立體影像的方法，其中該些移動向量是藉由該些影像中的多個關注區域計算所得，其中該些關注區域是藉由選擇而取得。
    [4] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中計算所擷取的該些影像之該些影像對中每一影像對之間的像差的步驟包括：藉由外裝或內設於該攝像單元的一位置感應器，偵測橫向移動中的該攝像單元的多個位置；以及藉由偵測得來的該些位置，計算第N張影像與其前M張影像中每一影像的像差，其中M及N為正整數。
    [5] 如申請專利範圍第4項所述之從單鏡頭影像呈現立體影像的方法，其中該位置感應器為磁力、電磁、光學、超音波及射頻中的一或多數種技術結合而成。
    [6] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中從所擷取的該些影像中選擇具有該適當固定像差的該一或多個影像對的步驟包括：判斷該影像對之間的該像差是否落在一預定像差範圍內；以及從所擷取的該些影像中，選擇具備該像差落於該預定像差範圍內之該一或多個影像對。
    [7] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在從所擷取的該些影像中選擇具有該適當固定像差的該一或多個影像對的步驟之後，更包括：藉由該攝像單元的多個特性來推論該適當固定像差，該些特性包括一光學系統的放大率、所觀察之一物件與一攝像單元的參考點之間的距離；以及藉由一立體顯示系統的多個特性推論該適當固定像差，該些特性包括觀看距離與顯示大小來。
    [8] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在計算所擷取的該些影像之多個影像對中每一影像對之間的像差的步驟之後，更包括：儲存所擷取的該些影像及該些影像對之間的像差；存取所儲存的該些影像及該些像差；選擇具有該適當固定像差的一或多個影像對；以及顯示所選擇的該一或多個影像對，藉以顯示一三維影像。
    [9] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在選擇具有該適當固定像差的一或多個影像對的步驟之後，更包括：選擇該一或多個影像對進行一影像修正，以將該攝像單元的一視角修正為適合一人眼觀看的視角。
    [10] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在選擇具有該適當固定像差的一或多個影像對的步驟之後，更包括：垂直裁切所選擇影像對中每一影像對的一或兩張影像。
    [11] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在計算所擷取的該些影像之多個影像對中每一影像對之間的該像差的步驟之前，更包括：決定該些影像中有一物件穿入一視野區的一關注區域，其中所決定的該些影像中的該關注區域用於計算該像差。
    [12] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在計算所擷取的該些影像之多個影像對中每一影像對之間的該像差步驟之前，更包括：若有一物件於一影像對的一影像中的移動異於該影像對的另一影像，剔除具有該適當固定像差的該影像對。
    [13] 如申請專利範圍第1項所述之從單鏡頭影像呈現立體影像的方法，其中在選擇具該適當固定像差的該一或多個影像對的步驟之後，更包括：從先前選擇的該一或多個影像對中的一第一影像或一第二影像的下一影像開始，從所擷取的該些影像中挑選具該適當固定像差的其他一或多個影像對。
    [14] 一影像擷取系統，包括：一攝像單元，包括一鏡頭及一影像感應器；一處理單元，耦接該影像感應器，接收該攝像單元所擷取的多張影像、計算該些影像之多個影像對中每一影像對間的一像差，以及從該些影像中選擇具備一適當固定像差的一或多個影像對；以及一顯示單元，耦接該處理單元，並顯示該處理單元所選擇的該些影像對以呈現立體影像。
    [15] 如申請專利範圍第14項所述之影像擷取系統，更包括：一操作裝置，橫向來回移動該攝像單元。
    [16] 如申請專利範圍第14項所述之影像擷取系統，其中該處理單元更包括：一移動估計元件，計算所擷取第N張影像與其前M張影像中每一影像間的多個移動向量，其中M及N皆為正整數；以及一計算元件，利用該些移動向量計算所擷取第N張影像與其前M張影像中每一影像間的該像差。
    [17] 如申請專利範圍第14項所述之影像擷取系統，更包括：一位置感應器，偵測該攝像單元的多個位置。
    [18] 如申請專利範圍第17項所述之影像擷取系統，其中該處理器更藉由該位置感應器所偵測的該些位置來計算所擷取第N張影像與其前M張影像中每一影像間的該像差，其中M及N為正整數。
    [19] 如申請專利範圍第17項所述之影像擷取系統，其中該位置感應器包括一磁力感應器、一光學感應器、一電磁感應器、一射頻感應器或一超音波感應器。
    [20] 如申請專利範圍第14項所述之影像擷取系統，其中該處理單元包括：一選擇元件，判斷所擷取影像中每一影像對間的該像差是否位於一預定像差範圍內，並從所擷取影像中選擇該像差位於該預定像差範圍內的該一或多個影像對。
    [21] 如申請專利範圍第14項所述之影像擷取系統，更包括：一儲存裝置，儲存該攝像單元所擷取的該些影像及該處理單元所計算的該些影像中每一影像對間的該像差。
    [22] 如申請專利範圍第14項所述之影像擷取系統，其中該處理單元包括：一影像修正元件，應用一影像修正於所選擇的該一或多個影像對，以修正該攝像單元的一視角。
    [23] 如申請專利範圍第14項所述之影像擷取系統，其中該處理單元包括：一影像裁切元件，垂直裁切所選擇影像對中每一影像對的一或兩張影像，其中所選擇影像對中的每一影像對皆形成一立體影像。
    [24] 如申請專利範圍第14項所述之影像擷取系統，其中該處理單元包括：一偵測元件，偵測該擷取影像上的至少一移動物件；以及一決定元件，決定所擷取影像上的一關注範圍，以排除包括該至少一移動物件的區域，其中所決定之該關注範圍內的該些影像用來計算該像差。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI463243B|2014-12-01|從單鏡頭影像呈現立體影像的方法與影像擷取系統
    US20160295194A1|2016-10-06|Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
    JP3728160B2|2005-12-21|奥行き画像計測装置及び方法、並びに複合現実感提示システム
    JP2015531271A|2015-11-02|外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
    US9516993B2|2016-12-13|Endoscope system
    US8509521B2|2013-08-13|Method and apparatus and computer program for generating a 3 dimensional image from a 2 dimensional image
    JP2010057619A|2010-03-18|立体画像撮影表示システム
    JP5687811B1|2015-03-25|内視鏡システム
    JP6698824B2|2020-05-27|画像表示制御装置および方法並びにプログラム
    TWI520576B|2016-02-01|將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
    US20150146843A1|2015-05-28|Live 3d x-ray viewing
    JP3438937B2|2003-08-18|画像処理装置
    US10148931B2|2018-12-04|Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
    US20180045934A1|2018-02-15|Medical observation device, lens driving control device, lens driving control method, program, and video microscope device
    US20200261180A1|2020-08-20|27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure
    JP6789899B2|2020-11-25|計測装置および計測装置の作動方法
    WO2004098204A1|2004-11-11|立体映像撮影方法および装置
    WO2018230099A1|2018-12-20|内視鏡システム、内視鏡システムの作動方法
    JP2011217229A|2011-10-27|撮像装置および表示方法
    US20210243427A1|2021-08-05|Compensation for observer movement in robotic surgical systems having stereoscopic displays
    US11030745B2|2021-06-08|Image processing apparatus for endoscope and endoscope system
    JP2021191316A|2021-12-16|内視鏡システム
    WO2019230115A1|2019-12-05|医療用画像処理装置
    EP3130273B1|2019-05-15|Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
    KIM et al.2002|Development of 3-D stereo endoscopic image processing system
    同族专利:
    公开号 | 公开日
    TWI463243B|2014-12-01|
    WO2013067683A1|2013-05-16|
    US20140293007A1|2014-10-02|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    CN104849953A|2014-02-19|2015-08-19|大昱光电股份有限公司|立体影像产生方法及立体影像摄像装置|
    CN104954632A|2014-03-24|2015-09-30|全视科技有限公司|用于减少图像传感器处理器带宽的消耗的方法及成像系统|
    CN106308730A|2016-11-14|2017-01-11|中国科学院深圳先进技术研究院|一种腹腔镜系统|
    CN107569277A|2017-08-29|2018-01-12|江小兰|宫腹腔镜下子宫肌瘤摘除系统|KR100294925B1|1999-06-03|2001-07-12|윤종용|3차원 그래픽 영상 생성 방법 및 이를 위한 양안 시차 조절 방법|
    TW448340B|2000-12-12|2001-08-01|Ind Tech Res Inst|Single-lens instantaneous three-dimensional image taking apparatus|
    IL166305D0|2005-01-14|2006-01-15|Rafael Armament Dev Authority|Automatic conversion from monoscopic video to stereoscopic video|
    JP4914039B2|2005-07-27|2012-04-11|キヤノン株式会社|情報処理方法および装置|
    US20070248260A1|2006-04-20|2007-10-25|Nokia Corporation|Supporting a 3D presentation|
    TWI314832B|2006-10-03|2009-09-11|Univ Nat Taiwan|Single lens auto focus system for stereo image generation and method thereof|
    WO2009044321A2|2007-10-01|2009-04-09|Koninklijke Philips Electronics N.V.|Detection and tracking of interventional tools|
    US9380292B2|2009-07-31|2016-06-28|3Dmedia Corporation|Methods, systems, and computer-readable storage media for generating three-dimensional images of a scene|
    KR20110029948A|2009-09-17|2011-03-23|삼성전자주식회사|입체 영상 표시 방법 및 이를 수행하기 위한 입체 영상 표시 장치|
    US20110304706A1|2010-06-09|2011-12-15|Border John N|Video camera providing videos with perceived depth|
    TWM410883U|2010-10-12|2011-09-01|Zealtek Electronic Co Ltd|Stereoscopic image imaging system and electronic device with the same|
    CN102098527B|2011-01-28|2013-04-10|清华大学|一种基于运动分析的平面转立体方法及装置|
    US8654181B2|2011-03-28|2014-02-18|Avid Technology, Inc.|Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence|KR102265109B1|2014-01-24|2021-06-15|삼성전자주식회사|영상 처리 방법 및 장치|
    KR102317820B1|2015-08-12|2021-10-26|삼성전자주식회사|이미지 처리 방법 및 이를 지원하는 전자장치|
    US10209357B2|2016-04-28|2019-02-19|Fluke Corporation|RF in-wall image registration using position indicating markers|
    US10564116B2|2016-04-28|2020-02-18|Fluke Corporation|Optical image capture with position registration and RF in-wall composite image|
    US10585203B2|2016-04-28|2020-03-10|Fluke Corporation|RF in-wall image visualization|
    US10254398B2|2016-04-28|2019-04-09|Fluke Corporation|Manipulation of 3-D RF imagery and on-wall marking of detected structure|
    US10571591B2|2016-04-28|2020-02-25|Fluke Corporation|RF in-wall image registration using optically-sensed markers|
    US10302793B2|2016-08-04|2019-05-28|Fluke Corporation|Blending and display of RF in wall imagery with data from other sensors|
    US10444344B2|2016-12-19|2019-10-15|Fluke Corporation|Optical sensor-based position sensing of a radio frequency imaging device|
    US10477190B2|2017-03-14|2019-11-12|Karl Storz Imaging, Inc.|Constant horizon 3D imaging system and related method|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    PCT/CN2011/081919|WO2013067683A1|2011-11-08|2011-11-08|Method and image acquisition system for rendering stereoscopic images from monoscopic images|
    [返回顶部]