• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明揭露一種昆蟲影像檢測方法用以分類昆蟲，此方法包含以下步驟：取得昆蟲於檢測區中之檢測影像；利用背景相減法獲得關於昆蟲之第一前景影像；取得第一前景中之飽和度並消除其中之非特徵區塊，以獲得第二前景影像；根據一閥值取得第二前景影像中關於昆蟲之特徵；以及，根據特徵判斷昆蟲類別或性別。根據本發明之昆蟲影像檢測方法，可自動對昆蟲進行種類或性別分類而節省人力與時間。
    公开号:TW201314626A
    申请号:TW100135303
    申请日:2011-09-29
    公开日:2013-04-01
    发明作者:Hung-Yin Tsai；Yu-Ching Lin；Yu-Cheng Wu；rong-shun Chen；Hong Hocheng；Li-An Chu
    申请人:Nat Univ Tsing Hua；
    IPC主号:G06K9-00
    专利说明:
    昆蟲影像檢測方法以及昆蟲分類流程
    本發明係關於一種昆蟲影像檢測方法，並且特別地，本發明係關於一種可自動分類昆蟲的昆蟲影像檢測方法及應用此方法的昆蟲分類流程。
    遺傳學是研究生物體的遺傳及變異的科學，其屬於生命科學的一個重要分支，許多其他分支，例如，基因工程學，係基於遺傳學對基因之研究所衍生出來的新興科學。由於基因與遺傳蘊藏生物本身的奧秘，可透過微觀的角度觀察並解釋巨觀的生物現象，同時基因遺傳學的發展亦可能解決人類社會自古以來的一些重大問題，例如老化與疾病，因此，各界莫不重視對基因的研究。
    果蠅的基因數量約只有人類的三分之一，然而，控制果蠅發育的基因與人類的控制基因相似，加上果蠅生命週期短、可大量繁殖等適合進行遺傳實驗之優點，使得果蠅在基因研究上扮演重要的角色。以果蠅作為遺傳學研究的材料，利用突變株研究基因和性狀之間的關係已近一百年，至今，各種研究遺傳學的工具已達完善的地步，果蠅提供我們對今日的遺傳學的知識有其不可磨滅的貢獻。
    在果蠅的遺傳基因研究上，基因工程研究者需要收集未交配過之雌果蠅，以保證遺傳實驗操作上不會受到其他雄性基因的汙染導致實驗失敗。欲辨識未交配過之雌果蠅，傳統的方法係以人力將果蠅固定於顯微鏡底下，並透過顯微鏡觀察果蠅之腹部特徵來挑選出未交配過之雌果蠅。但由於果蠅均是一次大量培養，且雌果蠅羽化8小時後即達性成熟，因此這種以人眼分辨未交配之雌果蠅的方式必須持續以同樣間隔之時間進行，以避免雌果蠅在培養儲存槽中即進行交配。上述挑選未交配之雌果蠅的作法相當耗費人工，同時以人眼判斷果蠅特徵的方式效率不佳，往往為了精準挑選出未交配之雌果蠅而丟棄掉大量無法確定特徵之果蠅。
    除了果蠅之外，不論是要分辨不同種類的昆蟲或是同種類昆蟲中不同的特徵，同樣都是需要藉助人眼觀察顯微鏡底下之昆蟲再進行判斷，因此也都具有傳統分類方法耗費人力、時間以及效率不佳的問題。
    因此，本發明之一範疇在於提供一種新式的昆蟲影像檢測方法，可自動並精確地辨識昆蟲種類，尤其是可辨識微小昆蟲之種類，以解決先前技術之問題。根據一具體實施例，本發明之昆蟲影像檢測方法包含下列步驟：以影像檢測器取得在檢測區中之昆蟲的檢測影像；根據背景影像以及檢測影像，透過背景相減法獲得關於昆蟲之第一前景影像；取得第一前景影像中之飽和度，並消除其中之非特徵區塊而獲得第二前景影像；根據一閥值取得第二前景影像中關於昆蟲之特徵；並且，根據所得之特徵判斷昆蟲類別。
    此外，本發明之另一範疇在於提供一種新式的昆蟲分類流程，應用一昆蟲影像檢測方法而可自動並精確地辨識昆蟲種類，以解決先前技術之問題。
    根據另一具體實施例，本發明之昆蟲分類流程包含下列步驟：將昆蟲置於檢測區中，並光照檢測區；以影像檢測器取得在檢測區中之昆蟲的檢測影像；根據背景影像以及檢測影像，透過背景相減法獲得關於昆蟲之第一前景影像；取得第一前景影像中之飽和度，並消除其中之非特徵區塊而獲得第二前景影像；根據一閥值取得第二前景影像中關於昆蟲之特徵；根據所得之特徵判斷昆蟲類別；並且，根據判斷出之昆蟲類別將昆蟲收集於收集器具中。
    關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。
    請參閱圖一，圖一係繪示根據本發明之一具體實施例之昆蟲影像檢測方法的步驟流程圖，本具體實施例之方法可用來分類昆蟲，並且特別地，可用來分類如果蠅等微小昆蟲之雌雄雙態性，以節省傳統分類方法中以人眼觀察顯微鏡底下之昆蟲所耗費的大量人力及時間。
    如圖一所示，本具體實施例之昆蟲影像檢測方法包含下述步驟：於步驟S10，以影像檢測器取得檢測區中至少一昆蟲的檢測影像；於步驟S12，根據檢測區之背景影像以及所取得的檢測影像，藉由背景相減法獲得與檢測區中之昆蟲有關的第一前景影像；於步驟S14，取得第一前景影像中的飽和度，並且將第一前景影像的非特徵區塊消除，進而獲得第二前景影像；於步驟S16，根據一閥值自第二前景影像取得與檢測區中之昆蟲有關的特徵；最後，於步驟S18，根據所獲得的特徵判斷檢測區中昆蟲的類別。
    於本具體實施例中，昆蟲可被置入檢測區中，並且檢測區可被提供適當的光照，使得檢測區內的亮度足以使影像檢測器獲得清楚的檢測影像。步驟S12中，影像檢測器可不斷地取得檢測區中的影像，進而獲得背景影像以用於背景相減法中。舉例而言，昆蟲未進入檢測區時，影像檢測器所獲得、其中未有昆蟲之檢測區影像可做為其背景影像。接著，當昆蟲進入檢測區而被影像檢測器照得其檢測影像時，可將該檢測影像與原先的背景影像比對以獲得兩者間的差異，亦即關於檢測區中之昆蟲的第一前景影像。
    當取得與檢測區中之昆蟲有關的第一前景影像後，可自第一前景影像取得其中之飽和度，並清除第一前景影像中的非特徵區塊而獲得第二前景影像，其中，非特徵區塊係第一前景影像中與昆蟲之分類無關的區塊。舉例而言，在分類未交配之雌果蠅時，第一前景影像中翅膀的部分並不會有可據以分類之特徵，並且，翅膀部分可能會造成分類上的誤差，因此，在此種分類流程中果蠅的翅膀屬於非特徵區塊而予以排除。請注意，上述非特徵區塊並不限於翅膀部分，而是根據不同類型的昆蟲而可能有不同的非特徵區塊，例如，有角的昆蟲在上述步驟中，第二前景影像中角的部分並非分類昆蟲之主要特徵，故角的部分即被認定為非特徵區塊。
    獲得第二前景影像後，根據閥值取得第二前景影像中關於此昆蟲之特徵。舉例而言，果蠅腹部的交尾器在第二前景影像中，飽和度大於其他部位，因此，可設定介於果蠅交尾器與其他部位間之飽和度做為閥值。第二前景影像中飽和度低於閥值的部分被清除，僅留下高於閥值的部分，故果蠅的交尾器可被截取出而作為其特徵。由於雄果蠅的交尾器特徵與雌果蠅之交尾器特徵位置不同，可據以將檢測區中之昆蟲分類為雄果蠅或雌果蠅。
    於實務中，有時會因為昆蟲本身的特徵不明顯或是設備因素，造成無法自第二前景影像中抽取特徵、或是所抽取出的特徵不明顯而無法判斷並分類昆蟲，此時可將昆蟲歸類於無法辨識之類別，以避免與其他已確定類別之昆蟲混淆。
    上述各步驟均可透過處理器進行控制及運算，換言之，本具體實施例可自動對進入檢測區之昆蟲進行檢測並分類，因而大量地節省了人力與時間。
    請參與圖二，圖二係繪示根據本發明之另一具體實施例之昆蟲影像檢測方法的步驟流程圖，其係用於分類果蠅之性別以及是否交配。
    如圖二所示，本具體實施例之影像檢測方法首先利用影像檢測器取得果蠅於檢測區中之檢測影像，如步驟S20所示。由於雄雌果蠅的辨識特徵係於其腹部的交尾器，因實務中，檢測區可為一下方透明之容器，影像檢測器則可自下方直接拍攝果蠅的腹部。此外，檢測區中可於適當角度提供光源，以便影像檢測器清楚拍攝出果蠅腹部。
    於步驟S22，透過背景相減法得到關於果蠅之第一前景影像，請注意，此第一前景影像係由果蠅之腹部觀察之影像。接著，於步驟S24，取得果蠅之第一前景影像的飽和度，並將第一前景影像中果蠅翅膀部分消除，而獲得第二前景影像。於步驟S26中，設定一飽和度閥值，並根據此飽和度閥值得到第二前景影像中的果蠅交尾器特徵，此交尾器特徵能用來判別果蠅的性別以及是否交配，如步驟S28所示。步驟S28中，根據特徵可將檢測區中之果蠅分類為如步驟S280所述之公果蠅、如步驟S282所述之雌果蠅，以及如步驟S284所述之無法分類的果蠅。
    雄果蠅之交尾器特徵係位於腹部長邊的兩端，雌果蠅之交尾器特徵係位於腹部一端，因此，若檢測區中同時進入兩隻雌果蠅，可能會被判定為雄果蠅之特徵而造成誤判。請參閱圖三，圖三係繪示根據本發明之另一具體實施例之昆蟲影像檢測方法的步驟流程圖，本具體實施例與上述具體實施例不同處，在於本具體實施例之方法先行判別進入檢測區之果蠅數量，避免影響判斷精確度。
    如圖三所示，本具體實施例之昆蟲影像檢測方法進一步包含步驟S340：當獲得第二前景影像後，根據第二前景影像判斷檢測區中之果蠅數量是否為單數。若步驟S340所判斷出的果蠅數量為單數，則繼續進行步驟S36之以第二前景影像取得特徵之步驟；否則，進行步驟S384，將果蠅歸類為無法分類之類別。請注意，於實務中，於取得交尾器特徵之步驟前，關於果蠅之前景影像(第一前景影像或第二前景影像)皆可用來分辨出果蠅的數量，故上述步驟S340係於步驟S36前進行即可，例如，當取得第一前景影像後即可直接判斷果蠅之數量。本具體實施例之其他步驟係與上述具體實施例相對應之步驟大體上相同，於此不再贅述。
    請一併參閱圖四及圖五，圖四係繪示根據本發明之另一具體實施例之昆蟲分類流程的步驟流程圖，圖五係繪示用於實行圖四之昆蟲分類流程的昆蟲分類設備5的示意圖。如圖四所示，本具體實施例之昆蟲分類流程係利用上述具體實施例之昆蟲影像檢測方法進行昆蟲的分類，其進一步包含下列步驟：於步驟S40，將昆蟲置於檢測區中，並對檢測區提供適當的光照；以及，於步驟S46，根據判斷出的昆蟲類別，將昆蟲收集至收集器具中。
    如圖五所示，用於昆蟲分類流程的昆蟲分類設備5包含檢測區50、影像檢測器52、運算處理器54以及收集器具56。當昆蟲自一收容槽6進入檢測區50並停留於其中時，上述步驟S40中所提供之光照使得影像檢測器52於步驟S41可獲得清楚的檢測影像。當影像檢測器52取得檢測影像後可傳送至運算處理器54，接著，運算處理器54可進行步驟S42至步驟S45，而將昆蟲進行分類。
    根據昆蟲分類的結果，運算處理器54於步驟S46中可控制收集器具56收集檢測區50中之昆蟲。於本具體實施例中，收集器具56可包含用來收容不同類別之昆蟲的容器562以及用來切換這些容器的切換裝置560，運算處理器54則可連接到切換裝置560，並根據檢測出的昆蟲類別控制切換裝置260切換到對應的容器562以進行收集。
    於本具體實施例中，舉凡昆蟲影像的分析辨識、根據辨識結果分類昆蟲、以及根據昆蟲分類結果收集昆蟲至不同收集容器的步驟，均可透過運算處理器54進行自動控制，因此，本具體實施例之昆蟲分類流程可大量節省人力及時間，特別是在微小昆蟲的分類上有顯著的功效。
    綜上所述，本發明之昆蟲影像檢測方法係以背景相減法取出檢測區中昆蟲影像之特徵點，並據以分類昆蟲之類別。上述利用影像分析昆蟲類別之方法可由運算處理器進行，而自動並持續地對昆蟲進行分類。相較於先前技術中，以人眼觀察顯微鏡下之昆蟲特徵的分類方法，本發明可更有效率地分類昆蟲，特別是微小昆蟲，而能解決傳統分類方法耗費人力、時間以及效率不佳的問題。
    藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應該根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。
    S10~S18、S20~S28、S30~S38、S40~S46．．．流程步驟
    S280~S284、S340、S380~S384．．．流程步驟
    5．．．昆蟲分類設備
    50．．．檢測區
    52．．．影像檢測器
    54．．．運算處理器
    56．．．收集器具
    6．．．收容槽
    圖一係繪示根據本發明之一具體實施例之昆蟲影像檢測方法的步驟流程圖。
    圖二係繪示根據本發明之另一具體實施例之昆蟲影像檢測方法的步驟流程圖。
    圖三係繪示根據本發明之另一具體實施例之昆蟲影像檢測方法的步驟流程圖。
    圖四係繪示根據本發明之另一具體實施例之昆蟲分類流程的步驟流程圖。
    圖五係繪示用於實行圖四之昆蟲分類流程的昆蟲分類設備的示意圖。
    S10~S18．．．流程步驟
    权利要求:
    Claims (7)
    [1] 一種昆蟲影像檢測方法，用以分類至少一昆蟲，該昆蟲影像檢測方法包含下列步驟：以一影像檢測器取得該至少一昆蟲於一檢測區中之一檢測影像；根據該檢測區之一背景影像以及該檢測影像，透過背景相減法獲得關於該至少一昆蟲之一第一前景影像；取得該第一前景影像中之一飽和度，並消除該第一前景影像中之一非特徵區塊以獲得一第二前景影像；根據一閥值取得該第二前景影像中關於該至少一昆蟲之一特徵；以及根據該特徵判斷該至少一昆蟲之類別。
    [2] 如申請專利範圍第1項所述之方法，其中該非特徵區塊係一翅膀區塊。
    [3] 如申請專利範圍第1項所述之方法，其中該至少一昆蟲係一果蠅，該影像檢測器係自於該檢測區中取得該果蠅之腹部的該檢測影像，並且該特徵係代表該果蠅之腹部的交尾器特徵。
    [4] 如申請專利範圍第3項所述之方法，進一步包含下列步驟：根據該特徵判斷該果蠅為公果蠅、母果蠅以及無法判斷類別的其中之一者。
    [5] 如申請專利範圍第1項所述之方法，進一步包含下列步驟：根據該第一前景影像以及該第二前景影像的其中之一者判斷該至少一昆蟲之數量。
    [6] 如申請專利範圍第6項所述之方法，進一步包含下列步驟：若該至少一昆蟲之數量為複數，進一步判斷該至少一昆蟲為無法分類之類別。
    [7] 一種昆蟲分類流程，應用一昆蟲影像檢測方法以分類至少一昆蟲，該分類流程包含下列步驟：將該至少一昆蟲置於一檢測區中，並光照該檢測區；以一影像檢測器取得該至少一昆蟲於該檢測區中之一檢測影像；根據該檢測區之一背景影像以及該檢測影像，透過背景相減法獲得關於該至少一昆蟲之一第一前景影像；取得該第一前景影像中之一飽和度，並消除該第一前景影像中之一非特徵區塊以獲得一第二前景影像；根據一閥值取得該第二前景影像中關於該至少一昆蟲之一特徵；根據該特徵判斷該至少一昆蟲之類別；以及根據所判斷出之該至少一昆蟲之類別將該至少一昆蟲收集至一收集器具。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI590193B|2017-07-01|昆蟲影像檢測方法以及昆蟲分類流程
    US10430640B2|2019-10-01|System and method for classification of particles in a fluid sample
    US10663712B2|2020-05-26|Methods and apparatus for detecting an entity in a bodily sample
    CN105203543B|2018-04-10|基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法
    EP2927311A1|2015-10-07|Cell observation device, cell observation method and program thereof
    TWI442884B|2014-07-01|微小昆蟲自動分類系統
    TW201322036A|2013-06-01|植物病症辨識方法、系統及其紀錄媒體
    JP6660712B2|2020-03-11|分類器構成方法および細胞の生死判定方法
    WO2014087689A1|2014-06-12|画像処理装置、画像処理システム及びプログラム
    EP3006551A1|2016-04-13|Image processing device, image processing method, program, and storage medium
    JP4213142B2|2009-01-21|コロニーの計数方法
    Punitha et al.2017|Detection of malarial parasite in blood using image processing
    JPH11221070A|1999-08-17|微生物などの検査方法およびその装置
    Prasobhkumar et al.2018|Automated quality assessment of cocoons using a smart camera based system
    US20200279370A1|2020-09-03|Ecotoxicity evaluation analyzing device including microalgae image analysis program installed therein, and method thereof
    Kotyk et al.2016|Detection of dead stained microscopic cells based on color intensity and contrast
    Tan et al.2014|A framework for the automatic identification of algae |: U 3 s
    JPWO2018199326A1|2019-08-08|統合システム及び統合方法
    CN103034867B|2016-12-14|昆虫图像检测方法以及昆虫分类方法
    CN112329664A|2021-02-05|一种原核期胚胎原核数量的评估方法
    Ilisan et al.2020|DigiMango: A Digital Postharvest Evaluation Tool on Mango Fruit
    TarasKotyk et al.0|Detection of Dead stained microscopic cells based on Color Intensity and Contrast
    Checkley et al.2004|Pelagic Fish Egg Abundance and Mortality Estimation by CUFES and Real-Time Machine Vision
    Gill2009|Abalone tag detection and recognition
    同族专利:
    公开号 | 公开日
    TWI590193B|2017-07-01|
    CN103034867A|2013-04-10|
    US8755571B2|2014-06-17|
    US20130083974A1|2013-04-04|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US6396938B1|1998-02-27|2002-05-28|University Of Arkansas, N.A.|Automatic feather sexing of poultry chicks using ultraviolet imaging|
    US6678413B1|2000-11-24|2004-01-13|Yiqing Liang|System and method for object identification and behavior characterization using video analysis|
    JP4128791B2|2002-03-27|2008-07-30|株式会社堀内|有精卵の雌雄鑑別技術|
    US7496228B2|2003-06-13|2009-02-24|Landwehr Val R|Method and system for detecting and classifying objects in images, such as insects and other arthropods|
    US8687857B2|2008-11-07|2014-04-01|General Electric Company|Systems and methods for automated extraction of high-content information from whole organisms|
    US8705017B2|2009-01-15|2014-04-22|Tokitae Llc|Photonic fence|
    US8571259B2|2009-06-17|2013-10-29|Robert Allan Margolis|System and method for automatic identification of wildlife|US9886945B1|2011-07-03|2018-02-06|Reality Analytics, Inc.|System and method for taxonomically distinguishing sample data captured from biota sources|
    US9563945B2|2012-07-05|2017-02-07|Bernard Fryshman|Object image recognition and instant active response with enhanced application and utility|
    US10368539B2|2013-05-09|2019-08-06|Aviantronics, Llc|Species specific extermination device|
    TWI490793B|2014-02-11|2015-07-01|亞洲大學|植株病蟲害之辨識方法及其系統|
    KR101507554B1|2014-12-12|2015-04-01|주식회사 이티엔디|해충정보관리를 위한 영상촬영기능을 갖춘 포충장치|
    US10278368B1|2016-10-05|2019-05-07|Verily Life Sciences Llc|Automated flying insect separator|
    US10051845B1|2016-10-05|2018-08-21|Verily Life Sciences Llc|Pupae emergence method and apparatus|
    US10306875B1|2016-10-05|2019-06-04|Verily Life Sciences Llc|Disposable container for the mass-rearing of insects|
    US10779521B2|2016-10-05|2020-09-22|Verily Life Sciences Llc|Automated mass rearing system for insect larvae|
    US11151423B2|2016-10-28|2021-10-19|Verily Life Sciences Llc|Predictive models for visually classifying insects|
    CN107066938B|2017-02-08|2020-02-07|清华大学|视频分析设备、方法和计算机程序产品|
    CN106964565B|2017-05-08|2019-04-19|中国计量大学|全自动雌雄蚕蛹分选方法|
    US11087446B2|2018-03-25|2021-08-10|Matthew Henry Ranson|Automated arthropod detection system|
    TWI656362B|2018-03-26|2019-04-11|仁寶電腦工業股份有限公司|電子裝置及其物件重製方法|
    CN108491892A|2018-04-05|2018-09-04|聊城大学|基于机器视觉的水果分拣系统|
    US11029653B2|2018-10-16|2021-06-08|International Business Machines Corporation|Dynamic and geo-fenced manipulation of insects with device screens|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100135303A|TWI590193B|2011-09-29|2011-09-29|昆蟲影像檢測方法以及昆蟲分類流程|TW100135303A| TWI590193B|2011-09-29|2011-09-29|昆蟲影像檢測方法以及昆蟲分類流程|
    CN201110424032.0A| CN103034867B|2011-09-29|2011-12-13|昆虫图像检测方法以及昆虫分类方法|
    US13/419,155| US8755571B2|2011-09-29|2012-03-13|Image method for classifying insects and classifying process for insects|
    [返回顶部]