Methode de determination d'un rayon de protection d'un systeme de navigation base sur la vis

专利摘要:
L'invention concerne une méthode de détermination d'un rayon de protection d'un système de navigation par vision comprenant :- au moins un capteur d'images apte à réaliser au moins une première image à un premier instant et une deuxième image à un deuxième instant ; et- une unité de traitement couplée à chaque capteur d'images et apte à implémenter une méthode de traitement apte à déterminer au moins une valeur de mouvement entre le premier instant et le deuxième instant à partir de la première image, de la deuxième image et d'une pluralité de données images déterminées sur les au moins première et deuxième images ; ladite méthode comprenant les étapes suivantes :- une première étape de détermination d'au moins une valeur nominale d'incertitude de la au moins une valeur de mouvement obtenue par la méthode de traitement pour un ensemble comprenant la pluralité de données images déterminées ;- une seconde étape de détermination de i-èmes sous-valeurs d'incertitude de la au moins une valeur de mouvement déterminée par la méthode de traitement pour un i-ème sous-ensemble défini en enlevant une i-ème partie des données image déterminées ;- une troisième étape de détermination d'un i-ème rayon de protection pour le i-ème sous-ensemble à partir des i-èmes sous-valeurs d'incertitude et de la au moins une valeur nominale d'incertitude ;les seconde et troisième étapes étant réitérées pour chaque i-ème sous-ensemble, i variant entre 1 et une valeur M définie ;- une quatrième étape de détermination d'un rayon de protection à partir des M i-èmes rayons de protection déterminés.
公开号:EP3680615A1
申请号:EP20150301.8
申请日:2020-01-06
公开日:2020-07-15
发明作者:Warody LOMBARDI
申请人:Thales SA；
IPC主号:G01C25-00

专利说明:
[0001] L'invention se situe dans le domaine des systèmes de navigation basés sur la vision destinés à être utilisés pour déterminer le déplacement et/ou le positionnement de corps en mouvement tels que des véhicules (automobiles, avions ...), des drones, des robots, des dispositifs portables ...
[0002] L'invention concerne plus précisément la problématique de la détermination de l'intégrité d'un système de navigation basé sur la vision, définie par un rayon de protection. Etat de la technique
[0003] Parmi les systèmes de navigation connus, il existe les systèmes de navigation globale par satellite (connus sous l'acronyme « GNSS » de « Global Navigation Satellite System »), comme par exemple le système de positionnement global connu sous l'acronyme « GPS » (pour « Global Positioning System »), qui peuvent être utilisés pour fournir des informations de navigation, par exemple, la position et la vitesse d'un véhicule, d'un robot, d'un dispositif portable, plus généralement de tout corps en mouvement ou de tout corps dont on souhaite connaître la position.
[0004] Il existe également les systèmes de navigation par inertie (connus sous l'acronyme « INS » pour « Inertial Navigation System ») qui sont des systèmes de navigation embarqués sur un porteur permettant de recueillir des informations sur la position du porteur, l'altitude, l'attitude et la vitesse à partir de capteurs inertiels, généralement au moins un capteur d'accélération (accéléromètre) et au moins un capteur de rotation (gyromètre). Un inconvénient des systèmes de navigation par inertie réside dans des erreurs des capteurs lors de l'estimation de la rotation et de l'accélération (biais, dérives, bruits, facteurs d'échelle, non-linéarité, défauts d'alignement, etc.) qui induisent dans le temps des dérives sur l'estimation de la position.
[0005] Les systèmes de navigation peuvent être utilisés seuls ou combinés entre eux. On pourra parler dans ce cas de systèmes hybrides. Par exemple un système à inertie pourra être utilisé en complément d'un système de navigation par satellite, notamment pour pallier une perte d'un ou de plusieurs satellites, ou inversement pour pallier les dérives des systèmes de navigation inertiel.
[0006] Malgré cela, la navigation par système hybride INS/GNSS présente l'inconvénient d'être susceptible à des phénomènes qui dégradent sa performance ou qui invalident complètement son utilisation, tels que le masquage de satellites ou le brouillage des signaux émis par les satellites ...
[0007] De fait, il est de plus en plus courant d'utiliser des systèmes de navigation basés sur la vision.
[0008] Il existe des systèmes de navigation basés sur la vision dits « embarqués » qui comprennent généralement au moins une caméra disposée sur un corps dont on souhaite connaître le mouvement et/ou la position, par exemple un véhicule, un drone, un robot, un dispositif portable. Le corps peut être nommé « porteur ». Chaque caméra est utilisée pour capturer des images qui sont ensuite traitées par un calculateur afin de fournir des informations sur la vitesse, la trajectoire du porteur et/ou sur sa position. Le calculateur identifie des points caractéristiques (ou points d'intérêt) sur au moins une image et met en correspondance les points caractéristiques entre les images. Ainsi, la mise en correspondance des points caractéristiques entre les images est utilisée, par exemple, pour déterminer une translation et/ou une rotation relative entre les images.
[0009] Il existe également des systèmes de navigation basés sur la vision dits « fixes » pour lesquels la caméra n'est pas disposée sur le corps dont on souhaite connaître le mouvement. Dans ce cas, chaque caméra doit viser le corps en mouvement et le calculateur identifie des points caractéristiques du corps en mouvement entre les images.
[0010] Que ce soit pour un système embarqué ou fixe, on peut donc utiliser une ou plusieurs caméras, ou utiliser tout autre capteur apte à réaliser des images, par exemple un radar (on peut parler dans ce cas d'images radar) comme un radar à synthèse d'ouverture (RSO), ou un capteur IR (on peut parler dans ce cas d'images Infra-Rouge).
[0011] Cette technique de navigation basée sur la vision peut être nommée « odométrie visuelle » dans la présente description. Ainsi, à partir d'un simple capteur apte à réaliser des images, on peut extraire des informations permettant d'obtenir notamment une translation et une rotation entre au moins deux images, et de remonter au déplacement et/ou à la position d'un corps en mouvement. Un avantage d'un système de navigation basé sur la vision est sa furtivité, et le fait qu'il ne peut pas être masqué ou brouillé.
[0012] La navigation basée sur la vision peut être utilisée seule ou en combinaison avec un autre système de navigation, par exemple avec un système de navigation par satellite et/ou avec un système de navigation par inertie (on peut par exemple disposer sur un porteur une ou plusieurs caméras et un ou plusieurs capteurs inertiels).
[0013] Dans tout système de navigation, un enjeu majeur est de connaître l'intégrité dudit système. Dans le domaine de l'invention, l'intégrité représente le degré de confiance que l'on peut placer dans l'exactitude des informations fournies par un système de navigation. En complément, l'intégrité peut également représenter la capacité à avertir l'utilisateur d'un dysfonctionnement dudit système dans un délai raisonnable.
[0014] Dans le cas d'un système GNSS ou d'un hybride GNSS/INS, il peut se produire un évènement tel une défaillance dudit système, un brouillage ou un masquage d'un satellite. Un tel évènement se traduit généralement par l'apparition d'une erreur sur les informations de localisation fournies par le système, également nommée « défaillance de positionnement ». Dans des applications comme l'aviation où la fiabilité des informations de position est cruciale, de telles défaillances de positionnement d'un système de navigation doivent impérativement être gérées.
[0015] La mesure de l'intégrité d'un système est généralement réalisée en définissant des bornes d'alerte. On dit qu'il y a une défaillance de positionnement lorsque la différence entre la position réelle du corps et celle fournie par le système de navigation dépasse les bornes d'alerte définies.
[0016] Les bornes d'alertes désignent les erreurs de position maximales que le système peut commettre en respectant les contraintes d'intégrité. Ces bornes sont définies pour l'erreur de position horizontale et verticale : elles sont nommées respectivement « HAL » (pour « Horizontal Alert Limit » en anglais) ou « HPL » (pour « Horizontal protection level » en anglais), ainsi que « VAL » (pour « Vertical Alert Limit » en anglais) and « VPL » (pour « Vertical Protection Level » en anglais). En ce qui concerne l'erreur de position horizontale, on peut également parler de « rayon de protection ».
[0017] La mesure de l'intégrité d'un système peut être complétée par un temps d'alerte. Le temps d'alerte ou « TTA » (pour « Time-To-Alert » en anglais) est l'intervalle de temps maximum autorisé entre l'instant où le système ne satisfait plus aux exigences opérationnelles du type d'opération et l'instant où le système indique une alerte de navigation.
[0018] Si le calcul du rayon de protection a été abordé pour le cas de la navigation GPS, ou encore de la navigation hybridée inertie/GPS, il n'existe pas encore de méthode satisfaisante pour déterminer un rayon de protection d'un système de navigation par vision, notamment du fait de la nature des mesures et des calculs qui sont très différentes entre une navigation par satellite et une navigation par vision. En effet, les systèmes de navigation par satellite déterminent le positionnement d'un utilisateur possédant un récepteur GNSS, à partir d'ondes radioélectriques émises par des satellites en orbite dans l'espace. La position des satellites est connue. La position du récepteur est calculée par trilatération à partir des mesures de distance séparant l'utilisateur des satellites en vue du récepteur. Dans le cas de la navigation par vision en revanche, il n'existe pas d'émission d'ondes, ni d'émission de toute autre donnée de la part du corps en mouvement. En outre, dans un système embarqué, on ne connaît pas la position de la caméra (puisqu'on recherche justement la position du porteur de caméra). Le principe de la navigation par vision étant tout à fait différent de celui de la navigation par satellite, il n'est pas évident, voire il est impossible, d'appliquer à un système de navigation par vision les méthodes de détermination du rayon de protection utilisées pour un système satellite.
[0019] L'invention vise à disposer d'une méthode de détermination de l'intégrité, et en particulier de déterminer un rayon de protection pour un système de navigation par vision.
[0020] De manière avantageuse, l'invention vise à disposer d'une méthode permettant de déterminer de manière précise un rayon de protection.
[0021] De manière avantageuse, l'invention vise à disposer d'une méthode simple à mettre en œuvre, rapide et adaptable à toute méthode de traitement d'un système de navigation par vision, et tout système de navigation par vision. Expose de l'invention
[0022] Un premier objet de l'invention permettant d'atteindre ce but est une méthode de détermination d'un rayon de protection d'un système de navigation par vision, ledit système comprenant : au moins un capteur d'images apte à réaliser au moins une première image à un premier instant et une deuxième image à un deuxième instant ; et une unité de traitement couplée à chaque capteur d'images et apte à implémenter une méthode de traitement apte à déterminer au moins une valeur de mouvement entre le premier instant et le deuxième instant à partir de la première image, de la deuxième image et d'une pluralité de données images déterminées sur les au moins première et deuxième images ; ladite méthode de détermination d'un rayon de protection comprenant les étapes suivantes : une première étape de détermination d'au moins une valeur nominale d'incertitude de la au moins une valeur de mouvement obtenue par la méthode de traitement pour un ensemble comprenant la pluralité de données images déterminées ; une seconde étape de détermination de i-èmes sous-valeurs d'incertitude de la au moins une valeur de mouvement déterminée par la méthode de traitement pour un i-ème sous-ensemble défini en enlevant une i-ème partie des données image déterminées ; une troisième étape de détermination d'un i-ème rayon de protection pour le i-ème sous-ensemble à partir des i-èmes sous-valeurs d'incertitude et de la au moins une valeur nominale d'incertitude ;les seconde et troisième étapes étant réitérées pour chaque i-ème sous-ensemble, i variant entre 1 et une valeur M définie ; une quatrième étape de détermination d'un rayon de protection à partir des M i-ème rayons de protection déterminés.
[0023] L'invention permet de déterminer un rayon de protection pour un système de navigation par vision. La précision de cette détermination dépend du nombre M et de la sélection des sous-ensembles, qui peuvent être déterminés en fonction du système de navigation (et donc de la méthode de traitement) mis en œuvre.
[0024] Il est rappelé que le rayon de protection désigne l'erreur maximale de position horizontale que le système de navigation peut commettre : il peut être nommé « HAL » (pour « Horizontal Alert Limit » en anglais) ou « HPL » (pour « Horizontal protection level » en anglais).
[0025] Selon l'invention, il y a un rayon de protection par mouvement (un rayon de protection pour la translation et/ou un rayon de protection pour la rotation).
[0026] Plus généralement, la méthode selon l'invention peut s'adapter en fonction du système de navigation mis en œuvre, puisque le principe de la méthode est de calculer des incertitudes des valeurs de mouvement obtenues par la méthode de traitement (quelle que soit la méthode). Le mode de calcul de ces incertitudes peut se faire de différentes manières, et l'homme du métier œuvrant dans le domaine de l'invention saura adapter le mode de calcul des incertitudes en fonction de la méthode de traitement utilisée. Des modes de calculs sont donnés plus après dans la description détaillée, mais ne sont pas limitatifs.
[0027] En outre, le principe de la méthode de détermination d'un rayon de protection est simple et la rapidité de calcul dépend notamment du nombre de sous-ensembles sélectionnés (et donc de la précision recherchée). La précision recherchée dépend notamment du domaine auquel le système de navigation est destiné.
[0028] De préférence, la quatrième étape de détermination est réalisée en prenant le plus grand parmi les i-èmes rayons de protection déterminés. En d'autres termes, le rayon de protection est choisi comme étant le plus grand parmi les i-èmes rayons de protection déterminés.
[0029] Selon un mode de réalisation, la troisième étape de détermination comprend : une première sous-étape de détermination des i-èmes différences entre les i-èmes sous-valeurs d'incertitude et la au moins une valeur nominale d'incertitude ; et une seconde sous-étape de détermination d'un i-ème écart-type des différences comme étant la plus grande valeur d'écart-type des i-èmes différences ;le i-ème rayon de protection étant déterminé à partir du i-ème écart-type des différences.
[0030] Selon un mode de réalisation, la troisième étape de détermination comprend en outre : une troisième sous-étape de détermination d'un i-ème écart-type des différences corrigé, comme étant le i-ème écart-type des différences multiplié par une première constante de pondération ;le i-ème rayon de protection étant déterminé à partir du i-ème écart-type des différences corrigé.
[0031] Selon un mode de réalisation particulier, la valeur de la première constante de pondération est obtenue à partir de la probabilité de fausse alarme du système de navigation par vision, par exemple en utilisant une fonction inverse de probabilité de densité de la distribution.
[0032] Selon un mode de réalisation, la troisième étape de détermination comprend en outre : une quatrième sous-étape de détermination d'un i-ème écart-type du i-ème sous-ensemble comme étant la plus grande valeur d'écart-type des i-èmes sous-valeurs d'incertitude ;le i-ème rayon de protection étant déterminé à partir d'une somme entre le i-ème écart-type des différences ou le i-ème écart-type des différences corrigé et le i-ème écart-type.
[0033] Selon un mode de réalisation, la troisième étape de détermination comprend en outre : une cinquième sous-étape de détermination d'un i-ème écart-type corrigé, comme étant le i-ème écart-type multiplié par une seconde constante de pondération ;le i-ème rayon de protection étant déterminé à partir d'une somme entre le i-ème écart-type des différences ou le i-ème écart-type des différences corrigé et le i-ème écart-type corrigé.
[0034] Selon un mode de réalisation particulier, la valeur de la seconde constante de pondération est obtenue à partir de la probabilité de non-détection du système de navigation par vision, par exemple en utilisant une fonction inverse de probabilité de densité de la distribution.
[0035] Selon un mode de réalisation, les valeurs d'incertitude (comprenant les sous-valeurs) d'au moins une valeur de mouvement obtenue par la méthode de traitement sont définies par une matrice de covariance de ladite valeur de mouvement.
[0036] Selon un mode de réalisation, les valeurs d'incertitude d'au moins une valeur de mouvement obtenue par la méthode de traitement sont déterminées en propageant le bruit au niveau d'au moins une parmi les première et deuxième images sur les grandeurs intermédiaires nécessaires au calcul par ladite méthode de traitement de ladite valeur de mouvement.
[0037] Selon un mode de réalisation, la méthode comprend une étape préalable de détermination d'une matrice de covariance de la au moins une valeur de mouvement obtenue par la méthode de traitement, ladite étape préalable comprenant les étapes suivantes : une première sous-étape de caractérisation d'un bruit au niveau d'au moins une parmi la première et la deuxième image de manière à obtenir une matrice de covariance dudit bruit ; et au moins une sous-étape complémentaire de propagation de la matrice de covariance du bruit obtenue sur le ladite valeur de mouvement, ladite au moins une sous-étape complémentaire étant apte à propager la matrice de covariance du bruit sur les grandeurs intermédiaires nécessaires au calcul de la au moins une valeur de mouvement par la méthode de traitement.
[0038] Selon un mode de réalisation, la méthode de traitement comprend les étapes suivantes : une première étape d'acquisition d'au moins une première et une seconde images comprenant en outre l'acquisition d'au moins une troisième image ; une deuxième étape de détermination d'au moins une valeur de mouvement intermédiaire entre au moins une première et une deuxième image, comprenant une sous-étape de sélection de points d'intérêt communs auxdites première et seconde images ; une troisième étape de détermination de points dans l'espace correspondant à des points d'intérêt communs aux première et seconde images ; une quatrième étape de détermination de la au moins une valeur de mouvement finale à partir des points dans l'espace déterminés et de points d'intérêt dans la au moins une troisième image ; et la au moins une sous-étape complémentaire de propagation de la matrice de covariance du bruit sur la valeur de mouvement comprend : une sous-étape de propagation de la matrice de covariance du bruit à la au moins une valeur de mouvement intermédiaire ; une sous-étape de propagation de la matrice de covariance de la au moins une valeur de mouvement intermédiaire aux points dans l'espace ; une sous-étape de propagation de la matrice de covariance des points dans l'espace à la au moins une valeur de mouvement finale.
[0039] Selon un mode de réalisation, au moins une valeur de mouvement est une valeur de rotation et/ou une valeur de translation.
[0040] Selon un mode de réalisation, les données images comprennent des coordonnées d'une pluralité de points d'intérêt sur au moins les première et deuxième images.
[0041] Sauf indication contraire, les différents modes de réalisation peuvent être combinés entre eux.
[0042] Un second objet de l'invention concerne une méthode de traitement apte à déterminer au moins une valeur de mouvement entre un premier instant et un deuxième instant à partir d'une première image prise au premier instant, d'une deuxième image prise au deuxième instant et d'une pluralité de données image déterminées sur les au moins première et deuxième images, comprenant en outre une méthode de détermination d'un rayon de protection selon l'invention.
[0043] Un troisième objet de l'invention concerne également un système de navigation par vision comprenant : au moins un capteur d'images apte à réaliser au moins une première image à un premier instant et une deuxième image à un deuxième instant ; et une unité de traitement couplée au capteur d'images et apte à implémenter la méthode de traitement selon l'invention.
[0044] Selon l'invention, on définit par « méthode de traitement » une méthode de traitement d'image et de calcul apte à déterminer des valeurs de mouvement, par exemple de translation et/ou de rotation, d'un corps à partir d'images acquises par au moins un capteur d'images. Ledit capteur d'images peut être soit positionné au niveau du corps en mouvement (alors « porteur »), soit disposé de manière à pouvoir viser le corps en mouvement.
[0045] Le système de navigation basé sur la vision peut comprendre un ou plusieurs capteurs d'images.
[0046] Les images acquises par le ou les capteurs d'images fournissent des données image.
[0047] La méthode de traitement est configurée pour exploiter ces données images. Les données images peuvent être obtenues à partir de points images caractéristiques qui peuvent être mis en correspondance entre au moins deux images. Dans l'ensemble de la description, de tels points images caractéristiques peuvent être nommés « points d'intérêt ».
[0048] Ainsi, lorsqu'on enlève une partie des données images, cela peut signifier par exemple qu'on ne tient pas compte d'un capteur d'images (typiquement d'une ou de plusieurs images obtenues à partir d'un capteur d'image), et/ou de points d'intérêt.
[0049] Par « point image », on entend des points ou pixels d'une image, donc définis sur un plan. Ils comprennent deux coordonnées (sur le plan de l'image). Dans l'ensemble de la description, on pourra désigner les points image par des points « 2D ».
[0050] Par opposition, on désigne par « points 3D » des points dans l'espace et non seulement dans un plan et qui comprennent donc trois coordonnées.
[0051] Selon l'invention, le système de navigation basé sur la vision doit être compris comme intégrant une méthode de traitement. Brève description des figures
[0052] D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit, donnée à titre illustratif et non limitatif, faite en regard des figures annexées parmi lesquelles : [Fig.1] représente un système de navigation basé sur la vision ; [Fig.2] représente un système de navigation basé sur la vision intégrant un calculateur d'intégrité ; [Fig.3] représente une image traitée avec un algorithme de Harris pour déterminer des points d'intérêts ; [Fig.4] représente une corrélation réalisée entre deux images ; [Fig.5] illustre la géométrie épipolaire ; [Fig.6] représente la corrélation de la [Fig.4], des points non corrélés étant éliminés ; [Fig.7] illustre un calcul d'un rayon de protection d'un sous-ensemble ; [Fig.8] illustre sous forme de logigramme un exemple d'algorithme de vision incluant un exemple de méthode de détermination d'un rayon de protection. Description détaillée de l'invention
[0053] Dans la description détaillée de l'invention qui suit, l'invention est appliquée à un système de navigation basé sur la vision qui est embarqué sur un porteur et qui utilise une caméra monoculaire. Le système de vision monoculaire est moins coûteux en matériel, ainsi qu'en acquisition et traitement de données.
[0054] La longueur d'onde, la bande de fréquence, et d'autres caractéristiques de la caméra le cas échéant, peuvent varier en fonction de l'implémentation et du mode d'utilisation spécifiques de ladite caméra.
[0055] Tout autre capteur d'images adapté peut être utilisé, par exemple une caméra binoculaire, un capteur de détection de la lumière et de télémétrie (LiDAR), un capteur de détection et de télémétrie radio à ondes millimétriques (RADAR), ou encore un imageur Infra-Rouge (« IR »). Plusieurs capteurs peuvent être combinés.
[0056] L'invention peut alternativement être appliquée à système de navigation basé sur la vision fixe (au lieu d'un système embarqué).
[0057] Les mouvements déterminés dans la description détaillée sont la rotation et la translation et le système de navigation par vision est basé sur les points d'intérêt. Les données images comprennent les coordonnées sur les plans image de ces points d'intérêt.
[0058] Dans la suite de la description, la rotation et/ou la translation déterminés à partir de points images sont désignés par rotation et/ou translation « 2D-2D ». Par opposition, la rotation et/ou la translation déterminés à partir de points images et de points dans l'espace sont désignés par rotation et/ou translation « 3D-2D ».
[0059] En pratique, la finalité de la méthode de traitement décrite ci-après est de déterminer une valeur de mouvement 3D-2D, par exemple la rotation et/ou la translation 3D-2D, qui est ainsi une grandeur finale, alors qu'une valeur de mouvement 2D-2D, par exemple la rotation et/ou la translation 2D-2D, est une grandeur intermédiaire nécessaire pour le calcul de la (ou des) grandeur(s) finale(s).
[0060] Il faut comprendre que d'autres modes de réalisation peuvent être utilisés et notamment que des modifications logiques peuvent être effectuées. En outre, les modes de réalisations présentés dans la description détaillée de l'invention ne doivent pas être interprétés comme limitant l'ordre des étapes et sous-étapes. La description détaillée qui suit ne doit donc pas être interprétée comme limitative.
[0061] Un système de navigation basé sur la vision comprend généralement les éléments illustrés en figure 1 : un capteur d'image 10 disposé sur un porteur et permettant de réaliser au moins une première image I1 à un premier instant t1 et une deuxième image I2 à un deuxième instant t2 ; une unité de traitement 20 couplée au capteur d'image 10 et apte à implémenter une méthode de traitement apte à calculer une translation t et/ou une rotation R du porteur (ou plus généralement un mouvement) entre le premier instant t1 et le deuxième instant t2 à partir de la première image I1 et de la deuxième image I2 ; une unité d'affichage 40 permettant d'afficher la translation t et la rotation R calculées.
[0062] La méthode de traitement peut être sous la forme d'un algorithme et peut également être nommée par simplification « algorithme de navigation par vision » ou « algorithme de vision » dans la présente description.
[0063] La méthode de traitement 50 comprend les étapes suivantes, illustrées notamment en figure 8 : une première étape 100 d'acquisition et/ou de traitement d'au moins une première image I1 prise à un premier instant t1 et une deuxième image I2 prise à un deuxième instant t2 ; une deuxième étape 200 de détermination de la rotation et de la translation intermédiaires entre la première image I1 et la deuxième image I2 (rotation et translation « 2D-2D »); une troisième étape 300 d'obtention de premiers points 3D à partir des première et deuxième images ; une quatrième étape 400 de détermination de la rotation et de la translation finales à partir des premiers points 3D obtenus et d'une troisième image I3 prise à un troisième instant t3 (rotation et translation « 3D-2D »).
[0064] La première étape 100 d'acquisition et/ou de traitement des images peut être réalisée avant la seconde étape 200 et peut également être réalisée avant la quatrième étape 400. Plus généralement elle peut être réalisée plusieurs fois et/ou à tout moment dans le déroulement de la méthode de traitement. Elle permet d'acquérir au moins une première et une seconde image, et peut permettre également l'acquisition d'au moins une troisième image.
[0065] La première étape 100 peut comprendre une sous-étape 110 de correction des distorsions radiale et/ou tangentielle d'au moins les première et deuxième images. En effet, les images traversant une lentille avant d'arriver au capteur, il peut se produire des distorsions radiales et tangentielles. Il est donc souhaitable d'identifier ces distorsions et de les corriger avant d'utiliser les images aux fins de la navigation. Cette étape peut être également nommée étape de « calibrage » de la caméra. En pratique, cette étape de calibrage consiste en l'acquisition d'images comprenant des points de calibrage dont on connait les coordonnées en trois dimensions, auxquels on applique une rotation et une translation. On peut utiliser une image de damier, car les intersections entre les cases blanches et noires sont facilement identifiables et donc connues et peuvent en outre former des lignes parfaitement droites. Dans ce cas, on utilise un algorithme qui identifie les paramètres du polynôme passant par les intersections et génère une correction à être appliquée aux images. On peut utiliser par exemple l'algorithme « camera calibration toolbox for Matlab » de J. Y. Bouguet, qui est facile d'utilisation.
[0066] La deuxième étape 200 comprend une première sous-étape 210 pour la sélection de points d'intérêt. En effet, pour pouvoir traiter les images, on peut sélectionner des points d'intérêt qui, comme cela a été défini plus avant, sont des points image caractéristiques que l'on retrouve au moins dans la première et la deuxième image, mais qui sont généralement en décalage du fait du déplacement entre les deux images. Les points d'intérêt sont mis en correspondance entre lesdites images pour être comparés, dans le but d'obtenir des valeurs de rotation et de translation les plus précises possible. De nombreuses méthodes existent pour sélectionner des points d'intérêt dans une image : par exemple la méthode « Scale Invariant Feature Transform » (« SIFT »), ou « Speeded Up Robust Features » (« SURF ») », « Binary Robust Independent Elementary Features » (« BRIEF »), « Oriented Fast and Rotated Brief » (« ORB »), « Center Surround Extremas » (« CENSURE »), ou encore l'algorithme de Harris ...
[0067] Dans un mode de réalisation préféré, la première sous-étape 210 de sélection des points d'intérêt comprend l'utilisation de l'algorithme de Harris, pour son compromis entre rapidité, précision, et robustesse. L'algorithme de Harris repose sur le principe de détection de coins et d'arêtes. Chaque pixel de l'image est évalué en fonction de son voisinage, et si un pixel a suffisamment de contraste par rapport aux pixels environnants (selon un seuil fixé par l'utilisateur), ledit pixel est retenu comme « point d'intérêt ». La figure 3 montre un exemple d'image traitée avec l'algorithme de Harris, mettant en évidence les points d'intérêt. Il est possible de limiter le nombre de points d'intérêt, par exemple à une valeur de l'ordre de 1000 points maximum.
[0068] De préférence, la deuxième étape 200 peut comprendre une deuxième sous-étape 220 de normalisation des pixels entre la première et la seconde image, par exemple à l'aide d'un filtre moyenneur comme suit : I 1 ^ = I 1 − I 1 ‾ ‖ I 1 − I 1 ‾ ‖
[0069] Où I1 est l'ensemble de pixels de la première image, I1 est la valeur moyenne des pixels de la première image, après application du filtre moyenneur et I 1 ^
[0070] Où I2 est l'ensemble de pixels de la deuxième image, I2 est la valeur moyenne des pixels de la deuxième image, après application du filtre moyenneur et I 2 ^
[0071] Au lieu de normaliser tous les pixels de l'image, on peut alternativement appliquer la normalisation seulement à des pixels autour des points d'intérêt.
[0072] La deuxième étape 200 comprend une troisième sous-étape 230 de corrélation entre les première et deuxième images, de préférence normalisées selon la deuxième sous-étape 220, qui permet de corréler les points d'intérêt entre les deux images.
[0073] La corrélation est réalisée par exemple à l'aide de l'opérateur ci-dessous qui doit être réalisé autour des indices k et 1:C k l = ∑ i ∑ jI 1 ^i jI 2 ^ 1 − k , j − 1
[0074] Où i, j est le pixel à la ième ligne et jème colonne de l'image, et k et l sont les indices de la matrice de corrélation, où on réalise la corrélation dans une fenêtre de taille w (en pixels) centrée sur k et l, déterminée par l'utilisateur.
[0075] On obtient par exemple le résultat en figure 4. Certains points ne sont pas bien corrélés (points entourés sur la figure). De préférence, les points non ou mal corrélés doivent être éliminés. Un exemple de méthode utilisée pour réaliser cette élimination est expliqué plus loin (cinquième sous-étape 250).
[0076] La deuxième étape 200 comprend une quatrième sous-étape 240 qui exploite au moins une relation mathématique entre la première image I1 prise au premier instant t1 et la deuxième image I2 prise au deuxième instant t2, permettant de donner des informations sur la rotation et de la translation du capteur d'image entre les deux prises de vue.
[0077] Une première relation mathématique est la matrice fondamentaleF ∈ R 3 × 3 .
[0078] La matrice fondamentale est basée sur les propriétés de la géométrie épipolaire entre les deux images, la géométrie épipolaire étant définie comme l'ensemble de relations projectives entre deux images. Si on prend un point X dans l'espace (ou « point 3D ») vu par deux images I1 et I2, sa projection dans la première image I1 est donnée par P1 et sa projection dans la deuxième image est donnée par P2, comme l'illustre la figure 5. C représente le centre de la caméra au premier instant t1 et C' le centre de la caméra au deuxième instant t2 (dans le cas où une caméra seule se déplace avec le porteur). La géométrie épipolaire établit que les points X, P1, P2, C, C' sont coplanaires (plan épipolaire π).
[0079] La matrice fondamentale F doit satisfaire la relation suivante, nommée « relation fondamentale » : P 2 T F P 1 = 0
[0080] Cette relation permet de déterminer la matrice fondamentale.
[0081] Les points P1 et P2 correspondent à un même point d'intérêt (l'un est sur la première image Il et l'autre sur la deuxième image I2). De tels points peuvent être connus. La relation fondamentale est satisfaite si les points sont corrélés. Les points P1 et P2 sont caractérisés par leurs coordonnées xl, y1 et x2, y2 dans le plan de la première image I1 et de la deuxième image I2. En exprimant ces points sous forme de vecteurs : P1 = [x₁ y₁ 1]^T et P2 = [x₂ y₂ 1]^T, on obtient : x 2 y 2 1 T f 11 f 12 f 13 f 21 f 22 f 23 f 31 f 32 f 33 x 1 y 1 1 = 0
[0082] La formule [Math.5] revient à résoudre un système de plusieurs équations linéaires sous la forme A_Ff = 0 où A_F est la matrice du système linéaire utilisé pour trouver f. La solution f doit minimiser ∥A_Ff∥ soumise à la condition ∥f∥ = 1.
[0083] Ce système de plusieurs équations linéaires peut être résolu en utilisant plusieurs points d'intérêt connus, par exemple en utilisant huit points d'intérêt (ce qui peut être nommé « algorithme à 8 points »).
[0084] En pratique, parmi les points d'intérêt, certains ne sont pas bien corrélés entre la première et la deuxième image. Ces points d'intérêt ne vont pas forcément respecter la relation fondamentale. Il est préférable d'éliminer ces points dits « points aberrants » (ou « outliers »), ou du moins de ne pas les utiliser pour résoudre le système à plusieurs équations issu de [Maths.5]. La matrice fondamentale obtenue en éliminant les points aberrants est plus précise. Cela permet d'améliorer la précision de détermination de la rotation et de la translation.
[0085] Ainsi, la deuxième étape 200 peut comprendre une cinquième sous-étape 250 d'élimination de points aberrants. Cette cinquième sous-étape 250 peut être réalisée avant, pendant ou après la quatrième sous-étape 240. Elle peut également être réalisée plus largement au cours de la deuxième étape, voire plus largement au cours de toutes les étapes.
[0086] La cinquième sous-étape 250 peut mettre en œuvre une méthode de type « RANSAC » qui correspond en anglais à « RANdom SAmpling Consensus » qui est une méthode pour estimer les paramètres de certains modèles mathématiques, surtout quand l'erreur induite par un modèle ne présente pas une distribution gaussienne. En effet, il s'agit d'une méthode itérative utilisée lorsque l'ensemble de données observées peut contenir des valeurs aberrantes (ou « outliers »).
[0087] Dans le cas du RANSAC appliqué à l'obtention de la matrice fondamentale, on choisit un certain nombre de points d'intérêt, par exemple huit points au hasard.
[0088] On détermine la matrice fondamentale F avec ces points d'intérêt choisis au hasard. Ensuite, on utilise la matrice fondamentale déterminée F pour calculer la distance d(F), qui est la relation fondamentale mais qui est non nulle puisque les points ne sont pas corrélés :d F = P 2 T F P 1
[0089] Cette distance est calculée pour l'ensemble des points d'intérêt. Si la distance est plus petite qu'un seuil d(F)max prédéfini, le point d'intérêt est considéré comme corrélé (« inlier »), sinon le point d'intérêt est considéré comme non corrélé, ou aberrant (« outlier »).
[0090] Ensuite, on prend aléatoirement de nouveaux points d'intérêt, par exemple huit points au hasard, et on répète les opérations décrites dans les trois paragraphes précédents : on calcule la nouvelle matrice fondamentale F et on calcule les nouvelles distances d(F).
[0091] L'opération du paragraphe précédent est de préférence réitérée plusieurs fois. En réalisant cette itération, on obtient une matrice fondamentale qui minimise la distance pour le plus grand nombre de points d'intérêt. On peut fixer un nombre maximal d'itérations et/ou un nombre de points d'intérêt à sélectionner et/ou arrêter les itérations lorsqu'on estime que la matrice fondamentale obtenue est satisfaisante.
[0092] On obtient par exemple le résultat en figure 6, de nombreux points aberrants ayant disparu de l'image.
[0093] Une deuxième relation mathématique est la matrice essentielle E qui peut être obtenue à partir de la matrice K de calibration de la caméra. Cela permet d'obtenir un modèle projectif de la caméra. La quatrième sous-étape 240 peut comprendre une étape de détermination de la matrice fondamentale puis une étape de détermination de la matrice essentielle. Alternativement, la quatrième sous-étape 240 peut comprendre une étape de détermination directe de la matrice essentielle. La méthode RANSAC, ou une autre méthode d'élimination de points aberrants, peut être appliquée à l'obtention de la matrice essentielle.
[0094] La matrice K de calibration de la caméra est une matrice intrinsèque à la caméra. Elle contient les paramètres de la caméra, comme la distance focale f et les coordonnées plan (px, py, 1) du centre de l'image :K = fp x fp y 1
[0095] La matrice essentielle E est calculée par la relation :E = K T FK
[0096] Par ailleurs, la matrice essentielle E est définie comme étant le produit vectoriel suivant :E = t 2 D ×R 2 D
[0097] Où t_2D× est la matrice antisymétrique du vecteur de translation t2D 2D-2D entre deux images et R2D est la rotation 2D-2D entre deux images.
[0098] La matrice essentielle E possède ainsi de façon intrinsèque l'information de la rotation R2D et de la translation t2D 2D-2D entre les deux images. À partir de la relation [Math. 9] on peut extraire la rotation et la translation dans le plan, c'est à dire sans la profondeur (i.e. sans la côte « z »).
[0099] La rotation et la translation ainsi déterminés peuvent être nommées « rotation intermédiaire » et « translation intermédiaire » dans la présente description (et plus généralement de « mouvement intermédiaire » si on parle de mouvement).
[0100] La troisième étape 300 permet, une fois la rotation et la translation intermédiaires entre les première et deuxième images obtenues, d'obtenir les points en trois dimensions, typiquement par triangulation. Cette troisième étape permet d'obtenir les coordonnées en 3D des points d'intérêt dont on a comparé les projections sur les première et deuxième images, avec un facteur d'échelle donné. Il est possible de corriger le facteur d'échelle.
[0101] Une propriété intéressante de la géométrie épipolaire illustrée en figure 5 et dans le paragraphe de la description correspondant, ainsi qu'une conséquence directe de la relation fondamentale est la suivante : si on respecte la formule [Math.4], c'est-à-dire si P2 ^TFP1 = 0, alors le point X (point en 3 dimensions ou « point 3D ») et les points P1, P2 (points de projection sur les première et deuxième images I1 et I2) sont coplanaires. Supposons les matrices C₁ = K[I 0] et C₂ = K[R_2D t_2D], nommées « matrices caméra », où I est la matrice identité, ceci implique que les relations suivantes (produits vectoriels nuls).P 1 ∧ C 1 X = 0
[0102] Ces relations permettent d'obtenir les points X à partir des points de projections P1 et P2 sur les première et deuxième images I1 et I2 et à partir de la rotation et la translation 2D-2D déterminées entre lesdites première et deuxième images (P1 et P2 étant corrélés).
[0103] En répétant ce calcul pour tout ou partie des points d'intérêt corrélés entre les première et deuxième images, on reconstruit tous les points 3D (points X) et par conséquent on peut aller jusqu'à reconstruire en 3D tout ou partie de la scène capturée par les images.
[0104] Les points 3D ainsi obtenus par cette première triangulation sont nommés dans la suite de la description « premiers points 3D ».
[0105] La troisième étape 300 peut comprendre en outre une sous-étape 310 d'élimination de points aberrants, en utilisant par exemple la méthode RANSAC.
[0106] La quatrième étape 400 a pour objectif de déterminer la rotation et la translation entre les premiers points X en 3D et des points d'intérêt dans une troisième image.
[0107] Dans la deuxième étape 200, on a utilisé deux images, et les valeurs de translation et de rotation 2D-2D sont déterminées par la comparaison de points d'intérêt entre les deux images. Puis dans la troisième étape 300, on a obtenu les premiers points 3D à partir des points d'intérêt et des valeurs de translation et de rotation 2D-2D déterminés dans la deuxième étape. Le problème est que pour exploiter l'odométrie visuelle dans le cas d'une navigation par vision, on ne se contente pas de comparer deux images et d'obtenir seulement une translation et une rotation entre deux images. En effet on souhaite suivre le porteur sur un intervalle de temps donné qui correspond à (beaucoup) plus que deux images. Ainsi, une navigation par vision nécessite l'acquisition de nouvelles images qu'il faut mettre en relation avec les valeurs de translation et de rotation 2D-2D déterminés et les premiers points 3D obtenus. En outre, le facteur d'échelle de la rotation et de la translation estimées en 2D-2D varie à chaque nouvelle image ajoutée pour obtenir une nouvelle estimation, rendant son utilisation impossible pour des finalités de navigation.
[0108] La quatrième étape permet de conserver un même facteur d'échelle lorsqu'une troisième image est ajoutée pour estimer les valeurs finales de rotation et de translation. Elle permet ainsi d'avoir une estimation plus stable de la rotation et de la translation du porteur.
[0109] La quatrième étape 400 comprend une première sous-étape 410 apte à déterminer des seconds points 3D à partir des premiers points 3D obtenus et des points d'intérêt dans une troisième image I3.
[0110] La première sous-étape 410 peut consister en la résolution du problème dit « P3P » de l'anglais « perspective-3-point », ou plus largement en la résolution du problème « PnP » de l'anglais « perspective-n-point ».
[0111] Pour résoudre le problème « P3P », le principe est de déterminer la distance entre les premiers points 3D et le centre de la caméra. En ayant déterminé ces distances, et à partir des points d'intérêt repérés dans une troisième image I3 en relation au moins avec la deuxième image I2 (ou avec la première image I1), on peut remonter à des seconds points 3D et obtenir la rotation et la translation des seconds points 3D par rapport aux premiers points 3D.
[0112] Les premiers points 3D sont représentés par X; et les seconds points 3D sont représentés par X̃_i (i varie entre 1 et 3 pour un problème P3P, et entre 1 et n pour un problème PnP). Les points d'intérêt dans la troisième image I3 sont représentés par P3_i. La distance di est la distance entre le point X_i et la caméra C. Le problème PnP consiste donc à déterminer chaque distance d_i.
[0113] A titre d'exemple, le problème P3P peut consister donc à résoudre le système d'équations suivant :{ d 1 2 + d 2 2 − 2 d 1 d 2 cosθ 12 = d 12 2 d 1 2 + d 3 2 − 2 d 1 d 3 cosθ 13 = d 13 2 d 2 2 + d 3 2 − 2 d 2 d 3 cosθ 23 = d 23 2Où d 1 = ‖ C − X 1 ‖ , d 2 = ‖ C − X 2 ‖ , d 3 = ‖ C − X 3 ‖ , θ 12 =X 1 CX 2^ , θ 13 =X 1 CX 3^ et θ 23 =X 2 CX 3^ , d 12 = ‖ X 1 − X 2 ‖ , d 13 = ‖ X 1 − X 3 ‖ et D 23 + ‖ x 2 − x 3 ‖ .
[0114] Les angles θ₁₂, θ₁₃ et θ₂₃ sont obtenus à partir de la matrice de calibration caméra K et des points P3₁, P3₂, P3₃ dans la troisième image : cosθ 12 = K − 1 P 3 1 TK − 1 P 3 2 ‖ K − 1 P 3 1 ‖ ‖ K − 1 P 3 2 ‖
[0115] Alternativement, on peut utiliser une méthode P5P pour obtenir cinq distances di avec 5 points dans la troisième image en utilisant un système A_d de plusieurs équations linéaires : a 1 1 a 2 1 a 3 1 a 4 1 a 5 1 a 1 2 a 2 2 a 3 2 a 4 2 a 5 2 ⋮ ⋮ ⋮ ⋮ ⋮ a 1 5 a 2 5 a 3 5 a 4 5 a 5 5 1 d 1 d 1 2 d 1 3 d 1 4 = A d d = 0
[0116] Où les coefficients a i j
[0117] À partir de la décomposition de la matrice A_d en valeurs singulières A_d = USV^T, la solution d est donnée par :d = V : , 5 .
[0118] On trouve d₁ à partir des relations : d 1 = d 2 / d 1 ou d 3 / d 2 ou d 4 / d 3 ou d 5 / d 4.
[0119] On fait de même pour les autres points pour trouver d₂, d₃, d₄ et d₅.
[0120] Une fois le problème PnP résolu et donc les distances di trouvées, on peut déterminer les seconds points 3D X̃_i à partir des points P3_i de la troisième image I3, donnés par la formule : X ˜i = d i K − 1 P 3 i ‖ K − 1 P 3 i ‖
[0121] De nombreuses méthodes existent pour résoudre le problème P3P, et plus largement le problème PnP. La plupart reposent sur l'élimination des inconnues par un résultant de Sylvester et ensuite par la résolution d'un système d'équations linéaires.
[0122] La quatrième étape 400 comprend en outre une deuxième sous-étape 420 qui consiste en la détermination de la rotation R3D et la translation t_3D 3D-2D entre les premiers points 3D X_i et les seconds points 3D X̃_i.
[0123] Cette détermination peut être réalisée en utilisant une méthode connue sous le nom de « problème de Procuste ». Le problème de Procuste est un problème de minimisation qui consiste à résoudre l'équation suivante : min R , t ‖ R 3 D X ˜i + t 3 D − X i ‖ 2
[0124] La quatrième étape 400 peut comprendre en outre une troisième sous-étape 430 d'élimination de points aberrants, plus précisément pour obtenir des valeurs de rotation R_3D et de translation t_3D 3D-2D qui conviennent au plus grand nombre de points d'intérêt, et donc plus précises.
[0125] La troisième sous-étape 430 peut comprendre par exemple l'utilisation d'une méthode de type « RANSAC » qui consiste en la minimisation de la distance, pour chaque point image P (qui correspond à une projection sur une image d'un point X en 3D), entre le point P_mes mesuré sur une image et le point P_est estimé par l'algorithme de vision (en utilisant les valeurs de rotation R_3D et de translation t_3D 3D-2D obtenues), soit par exemple à minimiser :d R t = ∑ P mes − P est2
[0126] La quatrième étape 400 permet donc d'obtenir la rotation et la translation de la caméra à partir d'une troisième image et des premiers points 3D calculés pour les première et seconde images.
[0127] La rotation et la translation ainsi déterminés (également désignés par rotation et translation « 3D-2D ») peuvent être nommées « rotation finale » et « translation finale » dans la présente description (et plus généralement de « mouvement final » si on parle de mouvement).
[0128] Ensuite, on peut réaliser une étape supplémentaire de triangulation (à partir des deuxième et troisième images corrélées, de la rotation et de la translation obtenues en 3D-2D), de manière à redéfinir des seconds points 3D, puis une étape supplémentaire de détermination de la rotation et de la translation entre les seconds points 3D et des points d'intérêt dans une quatrième image I4 en résolvant un nouveau PnP. Plus généralement, on peut reproduire des étapes supplémentaires de triangulation et de PnP de manière itérative lors de l'acquisition de nouvelles images afin d'estimer à chaque fois la rotation et la translation. En effet, au fur et à mesure du mouvement du porteur de caméra et de l'acquisition de nouvelles images, les points d'intérêt communs à toutes les images diminuent, jusqu'à ne plus exister (la scène vue par la caméra va évoluer). Pour pouvoir continuer à suivre le mouvement, il faut ajouter des points d'intérêt communs aux dernières images acquises (et donc plus nécessairement communs aux images précédemment acquises), et faire en sorte d'avoir un facteur d'échelle cohérent avec les images précédentes.
[0129] La deuxième étape de détermination de la rotation et de la translation 2D-2D est en fait utilisée juste pour initialiser le calcul, puisqu'à partir du moment où on a déterminé des premières valeurs finales de rotation et de translation 3D-2D, à l'issue de la quatrième étape, on va utiliser ces premières valeurs dans une première itération, puis on va utiliser les valeurs de rotation et de translation 3D-2D obtenues pour une prochaine itération, et ainsi de suite.
[0130] Ainsi cela permet de suivre le mouvement du porteur de la caméra au fur et à mesure des prises d'images.
[0131] Un exemple de système de navigation basé sur la vision intégrant un calculateur d'intégrité dudit système comprend les éléments illustrés en figure 2 : un capteur d'image 11 disposé sur un porteur et permettant de réaliser au moins une première image I1 à un premier instant t1 et une deuxième image I2 à un deuxième instant t2 ; une unité de traitement 21 couplée au capteur d'image 11 et apte à implémenter une méthode de traitement apte à calculer une translation t et/ou une rotation R du porteur (ou plus généralement un mouvement) entre le premier instant t1 et le deuxième instant t2 à partir de la première image I1 et de la deuxième image I2 ; un module de calcul d'intégrité 31 couplé à l'unité de traitement 21 et permettant de calculer un rayon de protection D ; une unité d'affichage 41 permettant d'afficher la translation t et la rotation R calculées ainsi que le rayon de protection D ;
[0132] Le module de calcul d'intégrité 31 peut être intégré dans l'unité de traitement, ou peut être distinct.
[0133] En outre, il faut comprendre que, bien qu'une seule unité de traitement 21 soit représentée sur la figure 2, l'unité de traitement 21 peut comprendre plusieurs processeurs, chaque processeur étant chargé d'exécuter une tâche particulière. Il en va de même pour le module de calcul d'intégrité.
[0134] L'unité de traitement 21 et/ou le module de calcul d'intégrité 31 incluent ou fonctionnent avec des programmes logiciels ou autres instructions lisibles par ordinateur pour exécuter les étapes et sous-étapes de la méthode de traitement et/ou de la méthode de détermination du rayon de protection.
[0135] La méthode de traitement 51 met en œuvre a minima les mêmes étapes que celles décrites précédemment notamment en référence à la figure 8, à savoir : une première étape 100 d'acquisition et/ou de traitement d'au moins une première image I1 prise à un premier instant t1 et une deuxième image I2 prise à un deuxième instant t2 ; une deuxième étape 200 de détermination de la rotation et de la translation intermédiaires entre la première image I1 et la deuxième image I2 (rotation et translation « 2D-2D »); une troisième étape 300 d'obtention de premiers points 3D à partir des première et deuxième images ; une quatrième étape 400 de détermination de la rotation et de la translation finales à partir des premiers points 3D obtenus et d'une troisième image I3 prise à un troisième instant t3 (rotation et translation « 3D-2D »).
[0136] En outre, toutes les sous-étapes décrites précédemment peuvent s'appliquer à un exemple de système de navigation basé sur la vision intégrant une unité de calcul d'intégrité.
[0137] En outre, la méthode de traitement 51 peut comprendre : une cinquième étape 500 de calcul de l'incertitude induite par un bruit au niveau d'une parmi la première ou la deuxième image sur la rotation et/ou la translation finale.
[0138] Par « bruit », il faut comprendre les variations ou « petites erreurs » aléatoires qui s'ajoutent lors de l'acquisition d'une image par un capteur d'image. En effet, lors de l'acquisition d'une mesure physique à partir d'un capteur, des défauts viennent s'ajouter à la grandeur mesurée.
[0139] Le principe est de caractériser le bruit au niveau d'une image, typiquement de déterminer son écart-type σ, puis de propager l'incertitude induite par ce bruit sur les grandeurs intermédiaires nécessaires à la détermination de la rotation et/ou de la translation finales de manière à déterminer les incertitudes sur les valeurs finales de rotation et/ou de translation.
[0140] Typiquement, on propage l'incertitude induite par le bruit sur les grandeurs intermédiaires qui sont déterminées lors du déroulement des étapes et sous-étapes d'une méthode de traitement (algorithme de vision) afin de déterminer les incertitudes sur les valeurs finales de rotation et/ou de translation obtenues.
[0141] Comme illustré en figure 2, l'unité de traitement 21 peut implémenter ces étapes de propagation du bruit de manière à obtenir les incertitudes ∑.
[0142] Une incertitude est de préférence définie par la covariance. En particulier, une incertitude peut être déterminée sous la forme d'une matrice de covariance.
[0143] Un mode de réalisation de la cinquième étape 500 est décrit ci-après, notamment en référence à la figure 8.
[0144] Selon ce mode de réalisation de la cinquième étape, l'incertitude induite et propagée est déterminée sous la forme d'une matrice de covariance de la rotation et d'une matrice de covariance de la translation.
[0145] D'autres méthodes sont possibles. Ainsi, au lieu calculer l'incertitude sous forme de covariance, on peut la calculer par le résidu de la solution, par exemple le résidu d'une solution de moindres carrés.
[0146] Le terme « cinquième » étape ne sous-entend pas que ladite étape intervienne nécessairement après les autres étapes. Ainsi, ladite cinquième étape peut comprendre plusieurs sous-étapes dont certaines peuvent être implémentées avant, pendant ou après l'une ou l'autre des sous-étapes des deuxième, troisième et quatrième étapes décrites plus avant.
[0147] Par exemple, toujours en référence aux étapes décrites plus avant dans la présente description, on propage l'incertitude induite par le bruit sur la rotation et la translation intermédiaires (2D-2D), puis on propage l'incertitude induite par la rotation et la translation intermédiaires sur les premiers points 3D générés par triangulation, puis on propage l'incertitude induite par les premiers points 3D sur les seconds points 3D générés par un algorithme P3P ou PnP, et enfin on propage l'incertitude induite par les seconds points 3D sur la rotation et la translation finales (3D-2D).
[0148] La cinquième étape 500 peut comprendre une première sous-étape 510 de caractérisation du bruit au niveau d'au moins une parmi la première et la deuxième image. Cela permet d'obtenir par exemple une matrice de covariance du bruit.
[0149] Lorsque le calcul de la rotation et de la translation intermédiaires est basé sur la détermination de la matrice fondamentale F et/ou de la matrice essentielle E, comme cela est décrit plus avant dans la présente description, la cinquième étape 500 peut comprendre une deuxième sous-étape 520 de détermination de la propagation du bruit à la matrice fondamentale F et/ou à la matrice essentielle E. La deuxième sous-étape peut en particulier être réalisée en déterminant la covariance de la matrice fondamentale F et/ou la covariance de la matrice essentielle E.
[0150] A titre d'exemple, soit ∑_σ la matrice de covariance du bruit au niveau des points obtenue à l'issue de la première sous-étape 510 : Σ σ = σ 2 ⋱ σ 2
[0151] Où σ est l'écart-type du bruit au niveau des points d'intérêt.
[0152] Alors la covariance de f est donnée par : Σ f = J A F Σ σ J A F T
[0153] Où J_AF est la matrice Jacobéenne de la matrice A_F du système linéaire utilisé pour trouver f On peut maintenant calculer la matrice de covariance de la matrice fondamentale désignée ∑_F : Σ F = J F Σ f0 0 0 J F T
[0154] Où J_F est la matrice Jacobéenne de la décomposition en valeur singulière (« SVD ») utilisée pour calculer la matrice fondamentale F.
[0155] La covariance de la matrice essentielle E désignée ∑_E est la covariance de F multipliée par une constante. Elle est donc égale à covariance de F, soit : Σ E = Σ F
[0156] La cinquième étape 500 peut comprendre en outre une troisième sous-étape 530 de propagation du bruit de la matrice essentielle E aux valeurs intermédiaires de translation t_2D et de rotation R_2D. La troisième sous-étape 530 peut être réalisée en déterminant la covariance de ladite rotation intermédiaire et la covariance de ladite translation intermédiaire.
[0157] A titre d'exemple, la rotation et la translation intermédiaires peuvent être déduits de la matrice essentielle E à partir de sa décomposition en valeurs singulières :E = USV T
[0158] Alors la rotation intermédiaire R_2D est donnée par :R 2 D = UWV TouUW T V T Où W = 0 − 1 0 1 0 0 0 0 1
[0159] En outre, la translation intermédiaire t_2D est donnée par :t 2 D = ± U : , 3ou t = ± UZU T Où Z = 0 1 0 − 1 0 0 0 0 0
[0160] La covariance de la rotation intermédiaire ∑_R2D est donnée par : Σ R 2 D = ∂ UWV T ∂ EΣ E∂ UWV TT∂ E
[0161] Et la dérivée de UWV^T est donnée par : ∂ UWV T ∂ e ij= ∂ U ∂ e ij WV T + UW ∂ V T∂ e ij
[0162] Où e_ij sont les éléments de la matrice essentielle E
[0163] La covariance de la translation intermédiaire ∑_t2D est donnée par :Σ t 2 D = ∂ U 3 ∂ EΣ E∂ U 3T∂ Eoù U 3 = U : , 3 .
[0164] La cinquième étape 500 peut comprendre en outre une quatrième sous-étape 540 de propagation du bruit des valeurs intermédiaires de translation t_2D et de rotation R_2D aux premiers points 3D X.
[0165] A titre d'exemple, on a vu plus avant qu'on pouvait obtenir un point 3D par une méthode de triangulation, de la façon suivante :P 1 ∧ C 1 X = 0
[0166] Où P1 = [x₁ y₁ 1]^T et P2 = [x₂ y₂ 1]^T sont les points d'intérêt dans les première et deuxième images I1 et I2 et X est un point 3D.
[0167] On peut écrire le problème comme un système linéaire : A X X = 0
[0168] À partir de la décomposition en valeurs singulières de A_X comme suit : A X = USV T ;
[0169] La solution X est donnée par la dernière colonne de V soit X = V(:,4). On désigne V₄ = V(:,4).
[0170] L'équation A_X X = 0 configure une fonction implicite. La covariance de X est donc donnée par : J X Σ X J X T = J A X Σ A X J A X T
[0171] Où J_X est la Jacobéenne de la décomposition en valeurs singulières de la solution de X obtenue par triangulation, ∑_X est la covariance du point 3D X, ∑_AX est la matrice de covariance composée par les covariances des points dans les images, par la covariance de la rotation et de la translation intermédiaires et J_AX est sa Jacobéenne.
[0172] De façon simplifiée, on peut trouver la covariance ∑_X en réalisant l'inversion de J_X suivante : Σ X = J X − 1J A X Σ A X J A X T J X − 1 T
[0173] De manière plus rigoureuse, on peut trouver la covariance ∑_X à partir de la solution du système d'équations linéaires A_X X = 0 et X donné par V₄ = V(:,4) de manière à obtenir la solution : Σ X = ∂ V 4∂ a ij J A X Σ A X J A X T ∂ V 4∂ a ij T
[0174] Où a_ij sont les éléments de la matrice A_X
[0175] La cinquième étape 500 peut comprendre en outre une cinquième sous-étape 550 de propagation entre les premiers points 3D obtenus par triangulation et les distances di obtenues par le P3P ou le PnP.
[0176] Par exemple, le problème P3P ou le PnP peut être déterminé comme indiqué plus avant par le système d'équations :{ d 1 2 + d 2 2 − 2 d 1 d 2cos θ 12 = d 12 2 d 1 2 + d 3 2 − 2 d 1 d 3cos θ 13 = d 13 2 d 2 2 + d 3 2 − 2 d 2 d 3cos θ 23 = d 23 2
[0177] Ceci résultant en le système d'équations linéaires suivant : a 1 1 a 2 1 a 3 1 a 4 1 a 5 1 a 1 2 a 2 2 a 3 2 a 4 2 a 5 2 ⋮ ⋮ ⋮ ⋮ ⋮ a 1 5 a 2 5 a 3 5 a 4 5 a 5 5 1 d 1 d 1 2 d 1 3 d 1 4 = A d d = 0
[0178] Où les coefficients a i j
[0179] À partir de la décomposition en valeurs singulières A_d = USV^T, la solution d est donnée par :d = V : , 5 .
[0180] Comme il s'agit d'une fonction implicite, on peut calculer la covariance ∑_d de la solution de d comme suit : Σ d = ∂ V 5 ∂ A d J A d Σ A d J A d T∂ V 5T∂ A d
[0181] Où V₅ = V(: ,5) et où J_Ad est la matrice Jacobéenne de A_d et ∑_Ad sa covariance.
[0182] Le problème consiste à déterminer J A d ∑ A d J A d T ,
[0183] Où σ est l'écart-type du bruit appliqué à des points d'intérêt dans une des images.
[0184] La cinquième étape 500 peut comprendre ensuite une sixième sous-étape 560 de propagation du bruit aux seconds points 3D X̃ _i qui sont déterminés à partir des distances d; et de points P3_i dans une troisième image I3, comme indiqué plus avant, par la formule : X ˜ = d i K − 1 P 3 i ‖ K − 1 P 3 i ‖
[0185] Le calcul de la covariance ∑_X̃ des seconds points 3D X̃ _i à partir de la covariance des distances ∑_d est le suivant : Σ X ˜ = J X ˜ Σ d diag σ 2J X ˜T
[0186] Où J X ˜ =∂ X ˜ ∂ d 1∂ X ˜ ∂ d 2… ∂ X ˜ ∂ x 1∂ X ˜ ∂ x 2…
[0187] La cinquième étape 500 peut comprendre ensuite une septième sous-étape 570 de propagation de bruit des seconds points X̃_i aux valeurs de translation et de rotation finales.
[0188] A titre d'exemple, et comme décrit plus avant, la détermination de la rotation R_3D et la translation t_3D entre les premiers points 3D X_i et les seconds points 3D X̃_i peut être réalisée en utilisant le problème de Procuste, qui consiste à résoudre l'équation suivante : min R , t ‖ R 3 D X ˜i + t 3 D − X i ‖ 2
[0189] Pour résoudre le problème de Procuste, on peut au préalable déterminer le « barycentre » des points X; et le « barycentre » des points X̃_i à l'aide des formules suivantes : B X = 1 N ∑ i = 1 N X i
[0190] Où N est le nombre de premiers et seconds points 3D (par exemple cinq premiers points 3D et cinq seconds points 3D).
[0191] On calcule la covariance croisée H entre B_X et B_X̃ donnée par la formule :H = X ˜ − B X ˜ X − B XT
[0192] Si on décompose cette covariance croisée en valeurs singulières H = USV^T, la rotation finale R_3D est donnée par : R 3 D = UV T
[0193] La covariance ∑_R3D de la rotation finale est donnée par la formule : Σ R 3 D = ∂ UV T ∂ HΣ H∂ UV TT∂ H
[0194] La dérivée de UV^T étant donnée par : ∂ UV T ∂ h ij= ∂ U ∂ h ij V T + U∂ V T∂ h ij
[0195] Où hij sont les éléments de la matrice H
[0196] La matrice de covariance ∑_H est calculée comme suit : Σ H = J H Σ X ˜ Σ X J H T
[0197] Où J_H est la matrice Jacobéenne de H.
[0198] En outre, la translation finale t_3D est donnée par : t 3 D = B X ˜ − R 3 DB X
[0199] On peut donc effectuer ses dérivées partielles : ∂ t 3 D ∂ t ij =∂ B X ˜ ∂ t ij − R 3 D ∂ B X∂ t ij −∂ R ∂ t ij B X
[0200] Le terme ∂ R 3 D ∂ t ij
[0201] Ainsi la covariance ∑_t3D de la translation finale est donnée par : Σ t 3 D = Σ X ˜ + R 3 DΣ X R 3 DT +∂ UV T ∂ h ij Σ X ∂ UV TT∂ h ij
[0202] Ainsi on obtient la matrice de covariance de la rotation finale et la matrice de covariance de la translation finale du système de navigation par vision. Selon l'invention, une telle matrice est nommée « matrice nominale de covariance de la translation » ou « matrice nominale de covariance de la rotation ».
[0203] Le module de calcul d'intégrité 31 permet d'implémenter une méthode de calcul d'intégrité (qui peut être nommée « algorithme d'intégrité »), et plus précisément une méthode de détermination 600 d'un rayon de protection du système de navigation par vision.
[0204] Lorsque le module de calcul d'intégrité 31 fait partie de l'unité de traitement 21, la méthode de calcul d'intégrité peut être intégrée dans la méthode de traitement (par exemple en un seul algorithme). Dans ce cas, la méthode de détermination d'un rayon de protection peut être une sixième étape 600 d'une méthode de traitement 52, comme cela est représenté en figure 8. En particulier, la méthode de calcul d'intégrité peut exploiter des étapes et/ou sous-étapes de l'algorithme de vision, notamment, mais pas exclusivement, la cinquième étape de détermination des matrices de covariance de la rotation et de la translation finales.
[0205] Selon le mode de réalisation présenté ci-après, la méthode de calcul d'un rayon de protection est basée uniquement sur la détermination de matrices de covariance de la translation finale (et non sur la détermination de matrices de covariance de la rotation finale en plus de celle de la translation finale). Dans ce cas, la matrice nominale de covariance de la translation est nommée par simplification « matrice nominale de covariance » ou « matrice nominale ».
[0206] Alternativement ou complémentairement, la méthode de calcul d'un rayon de protection peut être basée sur la détermination de la matrice de covariance de la rotation.
[0207] En outre, selon le mode de réalisation présenté, il est procédé à plusieurs calculs de covariance de la translation pour des i-èmes sous-ensembles, un sous-ensemble étant typiquement obtenu en enlevant un ensemble de points d'intérêt et/ou, si on utilise un ensemble de plusieurs capteurs d'images, en enlevant au moins un capteur.
[0208] Ainsi, selon le mode de réalisation présenté, le principe de la méthode de détermination du rayon de protection est d'exécuter l'algorithme de vision afin d'obtenir une sous-matrice de covariance de la translation finale, et ce pour un sous-ensemble obtenu en enlevant un ensemble de points d'intérêt et/ou, si on utilise un ensemble de plusieurs capteurs d'images, en enlevant au moins un capteur d'images. Selon l'invention, cette matrice est nommée « sous-matrice de covariance de la translation » ou encore par simplification « sous-matrice de covariance » ou « sous-matrice ».
[0209] On peut ensuite comparer la sous-matrice avec la matrice nominale. En réitérant ces opérations plusieurs (M) fois, on obtient plusieurs (M) sous-matrices de covariance qui sont exploitées pour obtenir une valeur de rayon de protection du système de navigation par vision.
[0210] Un exemple de méthode 600 de calcul du rayon de protection peut comprendre les étapes suivantes, notamment en référence à la figure 8 : une première étape 610 d'exécution de l'algorithme de vision de manière à obtenir une matrice nominale de covariance ∑_t3D de la translation.
[0211] La matrice nominale de covariance de la translation peut être obtenue à l'aide des étapes et sous-étapes décrites plus avant dans la présente description détaillée, et notamment par l'équation [Math.56].
[0212] Ensuite, l'exemple de méthode 600 de calcul du rayon de protection comprend, pour chaque i-ème sous-ensemble Si avec i variant entre 1 et M, qui est un sous-ensemble correspondant au système de navigation par vision pour lequel on a enlevé une i-ème partie des points d'intérêt et/ou, si on utilise un ensemble de plusieurs capteurs d'images, au moins un i-ème capteur : une deuxième étape 620 d'exécution de l'algorithme de vision de manière à obtenir une i-ème sous-matrice de covariance de la translation ∑_tSi (pouvant être nommée « i-ème sous-matrice de covariance » ou « i-ème sous-matrice ») ; une troisième étape 630 de détermination d'un i-ème rayon de protection D_i qui peut comprendre les sous-étapes suivantes : une première sous-étape 631 de détermination d'une i-ème matrice Δ_i des différences entre la matrice nominale et la i-ème sous-matrice, soit Δ_i = ∑_t - ∑_tSi (pouvant être nommée « i-ème matrice différence ») ; une seconde sous-étape 632 de calcul de la i-ème plus grande valeur d'écart-type de la i-ème matrice différence (pouvant être nommée « i-ème écart-type différence » ou « i-ème écart-type des différences »), soit σ Δi = max λ ΔiΔ i
[0213] Enfin, l'exemple de méthode 600 de calcul du rayon de protection comprend : une quatrième étape 640 de calcul de la valeur du rayon de protection D comme étant le plus grand des rayons de protection obtenus pour les sous-ensemble S_i, soit D = max_i=1...M D_i.
[0214] Les sous-matrices de covariance de la translation peuvent également être obtenues à l'aide des étapes et sous-étapes décrites plus avant dans la présente description détaillée, et ce pour chaque sous-ensemble Si, et notamment par l'équation [Math.56].
[0215] Dans le cas où la méthode de calcul d'un rayon de protection prend en compte la covariance de la rotation, les première à troisième étapes de ladite méthode de calcul décrites dans les paragraphes précédents, ainsi que la quatrième étape peuvent s'appliquer à la matrice nominale de covariance de la rotation et aux sous-matrices de covariance de la rotation, lesquelles peuvent également être obtenues à l'aide des étapes et sous-étapes décrites plus avant dans la présente description détaillée pour le système de navigation et pour chaque sous-ensemble Si, et notamment l'équation [Math.55].
[0216] La valeur de la première constante de pondération a peut être égale à 1 et dans ce cas : D Δi = σ Δi .
[0217] Alternativement, la valeur de la première constante de pondération a peut être définie par l'utilisateur. Par exemple, cette valeur de a peut être obtenue à partir de la probabilité de fausse alarme (PFA) du système de navigation en utilisant une distribution du χ² : a 2 = FDF − 11 − PFA M , 1 = a 2 : PDF a 2 1 = PFA M
[0218] Où PDF est la fonction de probabilité de densité de la distribution χ² et M est le nombre de sous- ensembles Si.
[0219] La valeur de la seconde constante de pondération b peut être égale à 1 et dans ce cas D_Si = σ_Si être égale à 0 et dans ce cas D(i) = D_Δi.
[0220] Alternativement, la valeur de b peut être définie par l'utilisateur. Par exemple la constante b peut être obtenue à partir de la probabilité de non-détection (PND) du système de navigation en utilisant une distribution du χ² : b 2 = PDF − 11 − PND , 1
[0221] La figure 7 illustre un exemple de calcul du rayon de protection d'un sous-ensemble. Dans ce cas simplifié, il y a 5 sous-ensembles S1 à S5, l'ensemble S0 correspondant au système de navigation nominal, ce qui correspond dans l'exemple au système de navigation avec tous les points d'intérêt. Le calcul du rayon de protection D₁ du sous-ensemble S₁ donne D1 = aσΔ1 + bσS1.
[0222] Le même calcul est fait pour chaque autre sous-ensemble S2 à S5.
[0223] Il s'avère dans cet exemple que lorsqu'on omet des points d'intérêt pour obtenir le sous-ensemble S₁ on obtient un résultat qui est le plus proche de la position réelle.
[0224] Ainsi la méthode selon l'invention permet de déterminer une valeur du rayon de protection du système de navigation par vision. Ceci permet par exemple à un corps en mouvement de naviguer avec une information de position intègre afin d'éviter des obstacles fixes (le relief montagneux, les bâtiments d'une ville ...) et mobiles (aéronefs, véhicules, piétons ...).
[0225] La précision de cette détermination dépend du nombre M et de la sélection des sous-ensembles, qui peuvent être déterminés en fonction du système de navigation (et donc de la méthode de traitement) mis en œuvre.
[0226] La méthode selon l'invention peut s'adapter en fonction du système de navigation mis en œuvre, puisque le principe de la méthode est de calculer des incertitudes des valeurs de mouvement obtenues par la méthode de traitement (quelle que soit la méthode). Le mode de calcul de ces incertitudes peut se faire d'autres manières que celles indiquées précédemment, et l'homme du métier œuvrant dans le domaine de l'invention saura adapter le mode de calcul des incertitudes en fonction de la méthode de traitement utilisée.
[0227] Il est très avantageux de pouvoir connaître de manière précise le rayon de protection du système de navigation par vision. La précision recherchée dépend notamment du domaine auquel le système de navigation est destiné.
[0228] La méthode selon l'invention s'applique quel que soit le système de navigation par vision mis en œuvre : embarqué, fixe, un capteur, plusieurs capteurs ...
[0229] La méthode selon l'invention permet de garantir ou de vérifier si un système de navigation par vision répond aux contraintes, normes et/ou standards d'utilisation dans certains domaines d'application, dont certains peuvent être particulièrement exigeants.
[0230] Les domaines d'application de l'invention peuvent être, entre autres, ceux de la navigation aéronautique, de la navigation terrestre, de la navigation spatiale, de la navigation maritime et sous-marine.
[0231] En particulier, un système de navigation par vision peut servir de système de navigation relais lorsqu'un système de navigation par satellite ne peut plus être utilisé (par exemple pour la navigation au sol pour un avion) ou lorsqu'il devient défaillant (par exemple pour la navigation en altitude pour un avion en cas de perte d'un ou de plusieurs satellites).
[0232] Un système de navigation par vision peut également être un système de navigation principal, par exemple lorsqu'il s'agit d'éviter tout risque de masquage, de brouillage (par exemple pour la livraison de colis par drone).
[0233] La méthode selon l'invention permet en outre de savoir s'il est nécessaire de corriger le soft (paramètres dans l'algorithme de vision ...) ou d'améliorer le hard (caméra ...).
[0234] Les différents modes (étapes, sous-étapes, exemples, variantes ...) présentés peuvent être combinés entre eux.
[0235] En outre, la présente invention n'est pas limitée aux modes de réalisation précédemment décrits mais s'étend à tout mode de réalisation entrant dans la portée des revendications.

权利要求:
Claims (16)
[0001] Méthode (600) de détermination d'un rayon de protection (D) d'un système de navigation par vision, ledit système comprenant :
- au moins un capteur d'images (11) apte à réaliser au moins une première image (I1) à un premier instant (t1) et une deuxième image (I2) à un deuxième instant (t2) ; et
- une unité de traitement (21) couplée à chaque capteur d'images (11) et apte à implémenter une méthode de traitement (50, 51, 52) apte à déterminer au moins une valeur de mouvement entre le premier instant (t1) et le deuxième instant (t2) à partir de la première image (I1) et de la deuxième image (I2) et d'une pluralité de données images déterminées sur les au moins première et deuxième images ;ladite méthode de détermination d'un rayon de protection comprenant les étapes suivantes :
- une première étape (610) de détermination d'au moins une valeur nominale d'incertitude de la au moins une valeur de mouvement obtenue par la méthode de traitement pour un ensemble (S) comprenant la pluralité de données images déterminées ;
- une seconde étape (620) de détermination de i-èmes sous-valeurs d'incertitude de la au moins une valeur de mouvement déterminée par la méthode de traitement pour un i-ème sous-ensemble (Si) défini en enlevant une i-ème partie des données image déterminées ;
- une troisième étape (630) de détermination d'un i-ème rayon de protection (Di) pour le i-ème sous-ensemble (Si) à partir des i-èmes sous-valeurs d'incertitude et de la au moins une valeur nominals d'incertitude ;les seconde et troisième étapes étant réitérées pour chaque i-ème sous-ensemble (Si), i variant entre 1 et une valeur M définie ;
- une quatrième étape (640) de détermination d'un rayon de protection (D) à partir des M i-èmes rayons de protection (Di) déterminés.
[0002] Méthode (600) selon la revendication 1, le rayon de protection (D) étant le plus grand parmi les M i-èmes rayons de protection (Di) déterminés.
[0003] Méthode (600) selon la revendication 1 ou 2, la troisième étape (630) de détermination comprenant :
- une première sous-étape (631) de détermination des i-èmes différences entre les i-èmes sous-valeurs d'incertitude et la au moins une valeur nominale d'incertitude ; et
- une seconde sous-étape (632) de détermination d'un i-ème écart-type des différences comme étant la plus grande valeur d'écart-type des i-èmes différences ;le i-ème rayon de protection (Di) étant déterminé à partir du i-ème écart-type des différences.
[0004] Méthode (600) selon la revendication 3, la troisième étape (630) de détermination comprenant en outre :
- une troisième sous-étape (633) de détermination d'un i-ème écart-type des différences corrigé, comme étant le i-ème écart-type des différences multiplié par une première constante de pondération (a) ;le i-ème rayon de protection (Di) étant déterminé à partir du i-ème écart-type des différences corrigé.
[0005] Méthode (600) selon la revendication 4, la valeur de la première constante de pondération (a) étant obtenue à partir de la probabilité de fausse alarme du système de navigation par vision, par exemple en utilisant une fonction inverse de probabilité de densité de la distribution.
[0006] Méthode (600) selon l'une des revendications 3 à 5, la troisième étape (630) de détermination comprenant en outre :
- une quatrième sous-étape (634) de détermination d'un i-ème écart-type du i-ème sous-ensemble (Si) comme étant la plus grande valeur d'écart-type des i-èmes sous-valeurs d'incertitude ;le i-ème rayon de protection (Di) étant déterminé à partir d'une somme entre le i-ème écart-type des différences ou le i-ème écart-type des différences corrigé et le i-ème écart-type.
[0007] Méthode (600) selon la revendication 6, la troisième étape (630) de détermination comprenant en outre :
- une cinquième sous-étape (635) de détermination d'un i-ème écart-type corrigé, comme étant le i-ème écart-type multiplié par une seconde constante de pondération (b) ;le i-ème rayon de protection (Di) étant déterminé à partir d'une somme entre le i-ème écart-type des différences ou le i-ème écart-type des différences corrigé et le i-ème écart-type corrigé.
[0008] Méthode (600) selon la revendication 7, la valeur de la seconde constante de pondération (b) étant obtenue à partir de la probabilité de non-détection du système de navigation par vision, par exemple en utilisant une fonction inverse de probabilité de densité de la distribution.
[0009] Méthode (600) selon l'une des revendications précédentes, les valeurs d'incertitude d'au moins une valeur de mouvement obtenue par la méthode de traitement étant définies par une matrice de covariance de ladite valeur de mouvement.
[0010] Méthode (600) selon l'une des revendications précédentes, les valeurs d'incertitude d'au moins une valeur de mouvement obtenue par la méthode de traitement étant déterminées en propageant le bruit au niveau d'au moins une parmi les première et deuxième images sur les grandeurs intermédiaires nécessaires au calcul par ladite méthode de traitement de ladite valeur de mouvement.
[0011] Méthode (600) selon la revendication 9 en combinaison avec la revendication 10, comprenant une étape préalable (500) de détermination d'une matrice de covariance de la au moins une valeur de mouvement obtenue par la méthode de traitement, ladite étape préalable comprenant les étapes suivantes :
- une première sous-étape (510) de caractérisation d'un bruit (σ) au niveau d'au moins une parmi la première et la deuxième image (I1, I2) de manière à obtenir une matrice de covariance (∑_σ) dudit bruit ; et
- au moins une sous-étape complémentaire (520, 530, 540, 550, 560, 570) de propagation de la matrice de covariance (∑_σ) du bruit (σ) obtenue sur ladite valeur de mouvement, ladite au moins une sous-étape complémentaire étant apte à propager la matrice de covariance (∑_σ) du bruit (σ) sur les grandeurs intermédiaires nécessaires au calcul de la au moins une valeur de mouvement par la méthode de traitement.
[0012] Méthode (600) selon la revendication 11, la méthode de traitement (50, 51, 52) comprenant les étapes suivantes :
- une première étape (100) d'acquisition d'au moins une première et une seconde images (I1, I2) comprenant en outre l'acquisition d'au moins une troisième image (I3) ;
- une deuxième étape (200) de détermination d'au moins une valeur de mouvement intermédiaire entre au moins une première et une deuxième image (I1, I2), comprenant une sous-étape (201) de sélection de points d'intérêt (P1, P2) communs auxdites première et seconde images ;
- une troisième étape (300) de détermination de points (X) dans l'espace correspondant à des points d'intérêt (P1, P2) communs aux première et seconde images (I1, I2) ;
- une quatrième étape (400) de détermination d'au moins une valeur de mouvement finale à partir des points (X) dans l'espace déterminés et de points d'intérêt (P3) dans la au moins une troisième image (I3) ; etla au moins une sous-étape complémentaire (520, 530, 540, 550, 560, 570) de propagation de la matrice de covariance (∑_σ) du bruit (σ) sur la valeur de mouvement comprenant :
- une sous-étape (520, 530) de propagation de la matrice de covariance (∑_σ) du bruit (σ) à la au moins une valeur de mouvement intermédiaire ;
- une sous-étape (540) de propagation de la matrice de covariance de la au moins une valeur de mouvement intermédiaire aux points (X) dans l'espace ;
- une sous-étape (550, 560, 570) de propagation de la matrice de covariance des points (X) dans l'espace à la au moins une valeur de mouvement finale.
[0013] Méthode (600) selon l'une des revendications 1 à 12, au moins une valeur de mouvement étant une valeur de rotation et/ou une valeur de translation.
[0014] Méthode (600) selon l'une des revendications 1 à 13, les données images comprenant des coordonnées d'une pluralité de points d'intérêt sur au moins les première et deuxième images.
[0015] Méthode de traitement (52) apte à déterminer au moins une valeur de mouvement entre un premier instant (t1) et un deuxième instant (t2) à partir d'une première image (I1) prise au premier instant (t1), d'une deuxième image (I2) prise au deuxième instant (t2) et d'une pluralité de données image déterminées sur les au moins première et deuxième images, comprenant en outre la méthode (600) de détermination d'un rayon de protection (D) selon l'une des revendications 1 à 14.
[0016] Système de vision comprenant :
- au moins un capteur d'images (11) apte à réaliser au moins une première image (I1) à un premier instant (t1) et une deuxième image (I2) à un deuxième instant (t2) ; et
- une unité de traitement (21) couplée au capteur d'images (11) et apte à implémenter la méthode de traitement (52) selon la revendication 15.

类似技术:

---

公开号 | 公开日 | 专利标题

---

US9922422B2|2018-03-20|Mobile imaging platform calibration

---

US9709404B2|2017-07-18|Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation

---

CN103954283B|2016-08-31|基于景象匹配/视觉里程的惯性组合导航方法

---

US9805294B2|2017-10-31|Method for denoising time-of-flight range images

---

EP2795580B1|2019-12-18|Procédé d'estimation de flot optique à partir d'un capteur asynchrone de lumière

---

US20190066344A1|2019-02-28|3d submap reconstruction system and method for centimeter precision localization using camera-based submap and lidar-based global map

---

US10408918B2|2019-09-10|Sky polarization and sun sensor system and method

---

US9243916B2|2016-01-26|Observability-constrained vision-aided inertial navigation

---

EP2820618B1|2018-09-26|Auto-estimation de pose basée sur la structure de scène

---

US8213706B2|2012-07-03|Method and system for real-time visual odometry

---

US20150379766A1|2015-12-31|Generation of 3d models of an environment

---

RU2529594C1|2014-09-27|Устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки

---

EP2549288B1|2014-03-19|Indentification de vraies correspondances de caractéristiques pour navigation à base de vision

---

EP2503510B1|2013-07-24|Mise en correspondance des caractéristiques sous large base stéréo utilisant une navigation collaborative et contrainte par des données numériques d'élévation de terrain

---

JP5955121B2|2016-07-20|画像の表示

---

EP2513668B1|2018-01-24|Procede de geo-referencement d'une zone imagee

---

EP2215492B1|2011-10-12|Procède de localisation aoa-tdoa multi-emetteurs et multi-trajets comprenant un sous-procede de synchronisation et d'egalisation des stations de receptions

---

EP2459966B1|2013-10-16|Procede d'estimation de l'orientation d'un solide en mouvement

---

EP1839070B2|2014-04-30|Recepteur de positionnement par satellite a integrite et continuite ameliorees

---

EP2687817B1|2019-03-20|Procédé de mise en corrélation d'images avec des cartes d'élévation de terrain pour la navigation

---

US10671083B2|2020-06-02|Neural network architecture system for deep odometry assisted by static scene optical flow

---

EP2884226A1|2015-06-17|Procédé de calibration angulaire de la position d'une caméra video embarquée dans un véhicule automobile

---

JP2017529616A|2017-10-05|モバイルプラットフォームの制御方法およびシステム

---

US20100148977A1|2010-06-17|Localization and detection system applying sensors and method thereof

---

EP2353024B1|2016-08-31|Procede de geo-localisation d'un objet par multitelemetrie

同族专利:

---

公开号 | 公开日

---

CN111435092A|2020-07-21|

---

FR3091777B1|2020-12-18|

---

US20200226768A1|2020-07-16|

---

CA3067378A1|2020-07-11|

---

FR3091777A1|2020-07-17|

引用文献:

---

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

---

法律状态:
2020-06-12| STAA| Information on the status of an ep patent application or granted ep patent|Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED |

---

2020-06-12| PUAI| Public reference made under article 153(3) epc to a published international application that has entered the european phase|Free format text: ORIGINAL CODE: 0009012 |

---

2020-07-15| AK| Designated contracting states|Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |

---

2020-07-15| AX| Request for extension of the european patent|Extension state: BA ME |

---

2020-12-18| STAA| Information on the status of an ep patent application or granted ep patent|Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |

---

2021-01-20| RBV| Designated contracting states (corrected)|Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |

---

2021-01-20| 17P| Request for examination filed|Effective date: 20201216 |

优先权:

---

申请号 | 申请日 | 专利标题

---