![]() カーネル融合を使用するデジタル信号パターンの検出および分類
专利摘要:
本開示は、信号の形状を判定するための技法について説明する。特に、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と信号の部分の第2の1次導関数とを計算するために、信号の部分にカーネルを適用する。第1および第2の1次導関数に基づいて信号の部分の形状を判定する。一例では、信号の部分の形状は、第1の1次導関数と第2の1次導関数との間の比に基づいて判定される。これらの技法は、画像信号内のエッジを検出することに特に有効である。ただし、本技法を使用して、時間、空間または他の寸法にわたって変化している変数を表す信号内の著しい変化の形状を検出することができる。 公开号:JP2011511984A 申请号:JP2010545161 申请日:2009-01-29 公开日:2011-04-14 发明作者:フォルタンプアー、ババック 申请人:クゥアルコム・インコーポレイテッドQualcomm Incorporated; IPC主号:G06T7-60
专利说明:
[0001] 本開示は、信号処理に関し、より詳細には、信号の形状を検出することに関する。] 背景技術 [0002] 信号によって表される変数が著しい変化を示す信号の位置を検出することは、信号を分析し、処理することに有用である。特に、変数の著しい変化を示す位置を検出することは、信号の形状、信号内の成分などを分析することに有用である。著しい変化を検出することは、画像処理、オーディオ処理、ビデオ処理または他の任意の情報処理アプリケーションを含むいくつかの分野で有用である。] [0003] 画像処理の分野では、たとえば、強度の著しい変化が発生する画像信号の位置を検出することは、画像内のエッジを検出することに有用である。これらの検出されたエッジは、一般に、深さの不連続性、表面配向の不連続性、材料性質の変化、シーン照明の変動など、当該のシーンの構造的性質を表す。] [0004] 画像信号は、当該のシーン内の特定の位置において強度および/または色を表す複数のピクセル値を含む。画像信号内のエッジを検出するために、画像プロセッサは画像にカーネルフィルタを適用する。カーネルフィルタは、重みファクタまたは増倍率の行列と見なすことができる。行列は、一般に、それが適用される実際の画像よりもはるかに小さい。エッジ検出のために使用される典型的なカーネル行列は、たとえば、3ピクセル×3ピクセル(すなわち、3×3カーネル)とすることができる。] [0005] 画像プロセッサがエッジを検出するために、画像プロセッサは、カーネルを画像上でスライドさせることによって、カーネル行列を画像のピクセルの各々に順に適用することができる。画像プロセッサは、カーネルを画像の各ピクセル上に順にセンタリングし、中心ピクセルの周りの3×3領域のピクセル値にカーネル行列の対応する重みを乗算して、重み付けされたピクセル値を生成する。] [0006] 画像プロセッサは、重み付けされたピクセル値を加算して、画像信号の3×3部分の1次導関数を得る。画像プロセッサは、画像信号の3×3部分の1次導関数をしきい値と比較し、1次導関数がしきい値以上であるとき、エッジを検出する。様々なカーネルを適用して、様々なタイプのフィルタ処理を実行することができる。] [0007] 本開示は、信号の形状を判定するための技法を対象とする。本技法を使用して、信号によって表される変数が著しい変化を示す信号の位置を検出し、検出された位置にわたって変数がどのように変化するかを判定することができる。このようにして、本技法は、デジタル信号パターンを検出し、検出されたパターンを分類するものと見なすことができる。画像処理に関して、たとえば、本技法を使用して、画像信号内のエッジ、すなわち、強度の著しい変化を示すデジタル画像信号の位置を検出することができる。このコンテキストにおいて、デジタル信号パターンは画像信号内のエッジである。] [0008] 本技法は、エッジを検出し、同時に、検出されたエッジの形状を判定することができる。たとえば、本技法を使用して、検出されたエッジがシャープであるかスムーズであるかを判定することができる。シャープなエッジは、ハードエッジと呼ばれることがあり、単一のピクセル上に発生することがある。スムーズなエッジは、ソフトエッジと呼ばれることがあり、いくつかのピクセル上に発生することがある。エッジを検出し、エッジ形状を、すなわち、シャープであるかスムーズであるかを見分けるために、本技法は、単一のパスにおけるいくつかの位置において複数の1次導関数を計算する融合カーネル(fused kernel)を採用することができる。] [0009] 検出されたエッジの形状を判定することは、画像信号を処理する画像プロセッサの能力を向上させ、スムーズエッジをシャープエッジよりも積極的にシャープ化することによって、よりシャープな画像を生成することができる。本開示で説明する技法を使用して、時間、空間または別の寸法にわたって変化している変数を表す信号内の著しい変化と、著しい変化の形状とを検出することができる。たとえば、本技法は、オーディオ信号、ビデオ信号、または他のタイプの信号内の著しい変化を検出するために使用することができる。] [0010] 一態様では、方法は、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と信号の部分の第2の1次導関数とを計算するために、信号の部分にカーネルを適用することと、第1および第2の1次導関数に基づいて信号の部分の形状を判定することとを備える。] [0011] 別の態様では、デバイスは、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と信号の部分の第2の1次導関数とを計算するために、信号の部分にカーネルを適用し、第1および第2の1次導関数に基づいて信号の部分の形状を判定するためのエッジ検出モジュールを含むプロセッサを備える。] [0012] 別の態様では、コンピュータ可読媒体は、プロセッサに、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と信号の部分の第2の1次導関数とを計算するために、信号の部分にカーネルを適用させ、第1および第2の1次導関数に基づいて信号の部分の形状を判定させるための命令を備える。] [0013] 別の態様では、デバイスは、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と信号の部分の第2の1次導関数とを計算するために、信号の部分にカーネルを適用するための手段と、第1および第2の1次導関数に基づいて信号の部分の形状を判定するための手段とを備える。] [0014] 本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実装できる。ソフトウェアで実装された場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはデジタル信号プロセッサ(DSP)、あるいは他の等価の集積またはディスクリート論理回路など、1つまたは複数のプロセッサを指すことがあるプロセッサで実行できる。本技法を実行するソフトウェアは、初めにコンピュータ可読媒体に記憶され、プロセッサによってロードされ、実行される。したがって、本開示はまた、プロセッサに、本開示で説明する様々な技法のいずれかを実行させる命令を備えるコンピュータ可読媒体を企図する。場合によっては、コンピュータ可読媒体はコンピュータプログラム製品の一部をなすことができ、コンピュータプログラム製品は、製造業者に販売でき、および/またはデバイス中で使用できる。コンピュータプログラム製品はコンピュータ可読媒体を含むことがあり、場合によってはパッケージング材料を含むこともある。] [0015] 1つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。] 図面の簡単な説明 [0016] 本開示で説明される技法を実装する例示的な画像キャプチャデバイスのブロック図。 画像信号内のハードエッジおよびソフトエッジへのシャープ化マスクの適用を示す図。 画像信号内のハードエッジおよびソフトエッジへのシャープ化マスクの適用を示す図。 画像信号の部分に対応するソフトエッジとピクセル値とを含む画像信号の例示的な部分を示す図。 画像信号の部分に対応するソフトエッジとピクセル値とを含む画像信号の例示的な部分を示す図。 画像信号の部分に対応するハードエッジとピクセル値とを含む画像信号の例示的な部分を示す図。 画像信号の部分に対応するハードエッジとピクセル値とを含む画像信号の例示的な部分を示す図。 本開示で説明する技法を使用して信号の形状を判定するプロセッサの例示的な動作を示す流れ図。 本開示で説明するエッジ検出技法を実装する画像キャプチャデバイスを含む例示的なワイヤレス通信デバイスを示すブロック図。] 実施例 [0017] 図1は、本開示で説明する技法を実装する例示的な画像キャプチャデバイス2のブロック図である。画像キャプチャデバイス2は、デジタル静止画像カメラ、デジタルビデオカメラまたは両方の組合せなどのデジタルカメラとすることができる。さらに、画像キャプチャデバイス2は、独立型カメラなどの独立型デバイスでもよく、またはワイヤレス通信デバイスなどの別のデバイスに一体化されてもよい。一例として、画像キャプチャデバイス2をモバイルワイヤレス電話に一体化して、いわゆる「カメラ付き携帯電話」または「ビデオ電話」を形成することができる。] 図1 [0018] 図1に示すように、画像キャプチャデバイス2は、画像センサ4と、画像プロセッサ6と、記憶モジュール8と、を含む。画像センサ4は、静止画像、または場合によっては完全動画ビデオシーケンスをキャプチャし、その場合、エッジ検出技法は、ビデオシーケンスの1つまたは複数の画像フレーム上で実行することができる。画像センサ4は、たとえば、行と列に配列された個々の画像センサ要素の2次元アレイを含むことができる。いくつかの態様では、画像センサ4の画像センサ要素の各々は、単一のピクセルに関連することができる。言い換えれば、画像センサ要素とピクセルとの間には1対1の対応がある。代替的に、各ピクセルに関連する2つ以上の画像センサ要素、または各画像センサ要素に関連する2つ以上のピクセルが存在することができる。画像センサ4は、たとえば、相補型金属酸化膜半導体(CMOS)センサ、電荷結合デバイス(CCD)センサなどの固体センサのアレイを備えることができる。さらに、画像センサ4は、画像獲得中に画像情報を記憶するための1つまたは複数の画像バッファを維持することができる。] 図1 [0019] 画像をキャプチャするために、画像センサ4は、画像センサ要素を画像シーンに露光して、画像をキャプチャする。画像センサ4内の画像センサ要素は、たとえば、特定のピクセル位置でのシーンの光の強度を表す強度値をキャプチャすることができる。より具体的には、画像センサ要素は、当該のシーン内の対象物から反射する光の強度を表す強度値をキャプチャする。場合によっては、画像センサ4の画像センサ要素の各々は、その要素を覆う色フィルタのために、1つの色、または色帯域にしか反応しないことがある。たとえば、画像センサ4は、たとえば、赤と緑と青(RGB)のフィルタのアレイを備えることができる。ただし、画像センサ4は、シアンとマゼンタと黄と黒(CMYK)の色フィルタなどの他の色フィルタを利用することができる。したがって、画像センサ4の画像センサ要素の各々は、ただ1つの色の強度値をキャプチャすることができる。したがって、画像情報は、画像センサ4のセンサ要素によってキャプチャされたピクセル強度値を含むことができる。] [0020] 画像センサ要素によってキャプチャされたピクセル強度値は、対象物から反映する光の強度に基づいて、画像全体にわたって変化する。小さいピクセル強度値から大きいピクセル強度値への著しい遷移、または大きいピクセル強度値から小さいピクセル強度値への著しい遷移は、一般に、画像内のエッジと対応する。たとえば、強度値の著しい変化は、画像内の対象物のエッジを表すことができる。いくつかの例では、ピクセル強度値の遷移は、1つまたは2つのピクセルにわたって起こるシャープな遷移であることがある。たとえば、2つの隣接ピクセルが、著しく異なる強度値を有することがある。このタイプのシャープな遷移は、「シャープエッジ」または「ハードエッジ」と呼ぶことができる。本明細書で使用するシャープエッジおよびハードエッジという用語は、互換的に使用することができる。他の例では、ピクセル強度値の遷移は、より多数のピクセルにわたって緩やかに起こることがある。たとえば、その遷移は、5つ以上のピクセル値にわたって緩やかに起こることがある。このタイプのスムーズな緩やかな遷移は、「スムーズエッジ」または「ソフトエッジ」と呼ぶことができる。本明細書で使用するスムーズエッジおよびソフトエッジという用語は、互換的に使用することができる。ユーザには、ソフトエッジは、ぼんやりしたエッジとして見えることがあり、一方、ハードエッジは、よりシャープであるように見えることがある。] [0021] 画像プロセッサ6は、たとえば、画像センサ4のバッファから、画像(またはフレーム)のためのデジタル画像信号を得て、本開示で説明する形状検出技法を実行する。本形状検出技法については、エッジを検出し、同時に、検出されたエッジの形状、すなわち、エッジがハードであるかソフトであるかを判定することに関して説明する。画像プロセッサ6は、エッジ検出モジュール10とカーネル選択モジュール12とを含む。エッジ検出モジュール10は、デジタル画像信号の場合、画像のピクセル強度値を分析して、画像内のエッジを識別することができる。特に、エッジ検出モジュール10は、カーネルを適用して、画像信号内のエッジを検出する。以下でより詳細に説明するように、カーネルは、画像の部分、たとえば、画像の5×5部分に適用される重みまたは乗数の行列と見なすことができる。いくつかの例では、エッジ検出モジュール10は、カーネルを適用して、画像内のハードエッジとソフトエッジの両方を検出することができる。他の例では、エッジ検出モジュール10は、ソフトエッジまたはハードエッジのみを検出することができる。この後者の場合、エッジ検出モジュール10は、選択的エッジ検出、すなわち、特定の形状のエッジのみの検出を実行する。] [0022] エッジ検出モジュール10は、カーネル選択モジュール12からカーネルを受信する。いくつかの例では、カーネル選択モジュール12は、画像信号に適用するためのカーネルを複数のカーネルから選択することができる。たとえば、画像キャプチャデバイス2は、垂直方向にエッジを検出するために使用される第1のカーネルと、水平方向にエッジを検出するために使用される第2のカーネルとを記憶モジュール8に記憶することができ、カーネル選択モジュール12は、エッジ検出モジュール10がエッジを垂直方向に検出しているのか水平方向に検出しているのかに基づいて、水平エッジ検出カーネルまたは垂直エッジ検出カーネルのいずれかを選択することができる。このようにして、カーネル選択モジュール12は、エッジ検出で使用されるべきカーネルを自動的に選択することができる。] [0023] 別の例として、画像キャプチャデバイス2は、様々な解像度の画像中のエッジを検出する際に使用するための複数のカーネルを記憶することができる。カーネルは、たとえば、画像センサ出力の解像度が増加するにつれて、寸法が増加する。言い換えれば、画像センサ出力の解像度が高くなるほど、カーネルの寸法は大きくなる。たとえば、カーネル選択モジュール12は、320×240の解像度の画像センサ出力に対して5×5の寸法のカーネルを選択し、2560×1920の解像度の画像センサ出力に対して7×7サイズの寸法のカーネルを選択することができる。このようにして、カーネル選択モジュール12は、画像センサ出力の解像度に基づいて、エッジ検出で使用されるべきカーネルを選択することができる。いくつかの例では、画像キャプチャデバイス2は、予め定義されたカーネルを記憶モジュール8内に記憶しないことがあるが、代わりにカーネル選択モジュール12が、オンザフライで、たとえば、数学関数に従ってカーネルを生成することができる。] [0024] カーネル選択モジュール12によるカーネルの選択の後、エッジ検出モジュール10は、選択されたカーネルを画像に適用する。エッジ検出モジュール10は、画像とカーネルの間の畳み込みを実行することができる。画像畳み込みを実行するために、エッジ検出モジュール10は、カーネルを画像の各ピクセル上に順にセンタリングし、ピクセル値を乗算されたカーネルの和を計算する。次いで、この和はそのピクセルに割り当てられる。本明細書で説明する技法によれば、カーネルを適用すると、信号の部分についての少なくとも2つの1次導関数を表す和が、単一のパスにおいて生成される。言い換えれば、信号の部分についての少なくとも2つの1次導関数が、単一のカーネルの適用によって生成される。以下でさらに詳細に説明するように、生成された和の様々な大きさの値は、少なくとも2つの1次導関数を表す。たとえば、生成された和が80,160の場合、第1の大きさの値、すなわち、80,000は第1の1次導関数を表すことができ、第2の大きさの値、すなわち、160は第2の1次導関数を表すことができる。このようにして、エッジ検出モジュール10は、信号の部分に関する2つ以上の1次導関数を単一のカーネルの単一のパスにおいて計算する。本開示の技法を使用して適用される単一のカーネルは、一般的には2つ以上のカーネルの適用を必要とする結果をもたらすので、融合カーネルと見なすことができる。] [0025] 単一のパスにおいてカーネルを用いて信号の部分についての2つ以上の1次導関数を計算すると、2つ以上のパスにおいて2つ以上のカーネルを適用する必要性を排除することによってエッジ検出のために使用される処理リソースの量を低減することができる。さらに、本技法は、画像内でエッジを検出するために要する時間の量を低減することができる。本明細書で説明する技法とは異なり、従来の画像プロセッサは、パス当たり1つの1次導関数を計算するだけであり、したがって、信号の部分に関する少なくとも2つの1次導関数を検出するためには、2つ以上のカーネルの2つ以上のパスが必要になる。2つの1次導関数を計算するために、従来の画像プロセッサは、第1のカーネルを画像の部分に適用して第1の1次導関数を得て、第2のカーネルを画像の部分に適用して第2の1次導関数を得る。] [0026] エッジ検出モジュール10は、少なくとも2つの1次導関数を使用して、ピクセルがエッジに位置しているかどうかを判断し、ピクセルがエッジに位置している場合は、エッジの形状、たとえば、シャープ/ハードまたはスムーズ/ソフトを判定する。エッジ検出モジュール10は、それらの1次導関数を正規化し、それらの1次導関数のうちの少なくとも1つを1つまたは複数のしきい値またはしきい値範囲と比較して、ピクセルが信号内のエッジに位置しているかどうかを判定することができる。たとえば、エッジ検出モジュール10は、それらの1次導関数のうちの少なくとも1つをしきい値と比較して、その変化がエッジであるために十分著しいことを確認することができる。エッジ検出モジュール10が、ピクセルがエッジに位置していると判定した場合、エッジ検出モジュール10は、ピクセルが位置しているエッジの形状を判定することができる。エッジ検出モジュール10は、たとえば、それらの1次導関数の比に基づいて、エッジの形状を判定することができる。このようにして、エッジ検出モジュール10は、信号を分析して、信号の形状を判定する。しきい値および範囲は、エッジ検出モジュール10がハードエッジ、ソフトエッジ、または両方を検出するように調整することができる。] [0027] 画像プロセッサ6は、検出されたエッジを使用して、キャプチャされた画像を処理することができる。たとえば、画像プロセッサ6は、検出されたエッジに基づいて、画像をシャープ化することができる。したがって、画像内の検出されたエッジに対して実行されるシャープ化の量は、エッジがハードエッジとして検出されたかソフトエッジとして検出されたかによって決まる。画像プロセッサ6は、ハードエッジをシャープ化するために使用されるシャープ化技法よりも積極的なシャープ化技法を使用して、ソフトエッジをシャープ化することができる。ソフトエッジをシャープ化するために使用されるシャープ化技法と同じシャープ化技法を使用してハードエッジをシャープ化すると、ハードエッジにおいてクリッピングアーティファクト(clippingartifacts)が生じることがあり、それによってノイズおよび画像品質の低下が生じる。したがって、画像プロセッサ6は、エッジがソフトエッジであると検出されたときは、エッジの2つの側の間の対比をより積極的に高めるシャープ化マスクを使用し、エッジがハードエッジであると検出されたときは、エッジの2つの側の間の対比をより消極的に高めるシャープ化マスクを使用することができる。このようにして、画像プロセッサ6は、画像プロセッサ6によって実行されるシャープ化機能のための発見的方法(heuristic)として、計算された1次導関数、より詳細には、2つの1次導関数の比を使用することができる。画像プロセッサ6は、画像内の検出されたエッジに基づいて、画像に対して他の画像処理を実行することができる。言い換えれば、計算された1次導関数は、画像プロセッサ6によって実行される他の画像処理機能のための発見的方法として機能することができる。] [0028] 画像プロセッサ6は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、あるいは他の等価のディスクリートまたは集積論理回路、あるいはそれらの組合せなどの1つまたは複数の集積回路デバイスによって実現できる。いくつかの例では、画像プロセッサ6は、動画像専門家グループ(MPEG)−2、MPEG−4、国際電気通信連合(ITU)H.263、ITU H.264、共同静止画像専門家グループ(JPEG)、グラフィックス交換形式(GIF)、タグ付き画像ファイル形式(TIFF)などの特定の符号化技法または形式に従って画像情報を符号化するエンコーダ/デコーダ(コーデック)の一部を形成することができる。画像プロセッサ6は、画像クロッピング、圧縮、強調などの追加の処理を画像情報に対して実行することができる。] [0029] 画像プロセッサ6は、キャプチャされた画像を記憶モジュール8に記憶することができる。代替的に、画像プロセッサ6は、その画像に対して追加の処理を実行し、処理済み形式または符号化形式のいずれかで全体画像を記憶モジュール8に記憶することができる。画像情報にオーディオ情報が伴う場合、オーディオ情報も、独立して、または画像情報を含む1つまたは複数のフレームを備えるビデオ情報とともに、記憶モジュール8に記憶できる。記憶モジュール8は、読取り専用メモリ(ROM)、電気消去可能プログラマブル読出し専用メモリ(EEPROM)、またはフラッシュメモリなど、あるいは磁気データ記憶デバイスまたは光学データ記憶デバイスなど、揮発性または不揮発性メモリあるいは記憶デバイスを備えることができる。] [0030] いくつかの他の要素を画像キャプチャデバイス2中に含めることもできるが、説明を簡単で容易にするために図1には特に示していない。たとえば、画像キャプチャデバイス2は、レンズ、シャッター、フラッシュデバイス、ビューファインダなどの、画像をキャプチャするための追加の構成要素を含むことができる。本開示で説明する技法は様々な他のアーキテクチャで実施できるので、図1に示すアーキテクチャは例にすぎない。さらに、図1に示す機能は、ハードウェアおよび/またはソフトウェア構成要素の任意の適切な組合せによって実現できる。] 図1 [0031] 本明細書では、画像信号内のエッジを検出する画像キャプチャデバイスに関して本技法を説明するが、本技法は、時間、空間、または他の寸法にわたって変化している変数を表す任意の信号内の著しい変化の形状を検出するための他のタイプのデバイスによって使用することができる。たとえば、本技法は、オーディオ信号、ビデオ信号、または他のタイプの信号内の著しい変化の形状を検出するために使用することができる。ただし、本技法は、任意の信号のデジタル信号パターンを検出し、検出されたデジタル信号パターンを分類することに適用することができる。] [0032] 図2Aおよび図2Bに、画像信号内のハードおよびソフトエッジへのシャープ化マスクの適用を示す。図2Aに、ソフトエッジを含む画像信号の部分へのシャープ化マスクの適用を示す。画像信号14は、シャープ化の前の元の画像信号の部分を表す。前述のように、画像信号14内のソフトエッジは、ピクセル強度遷移がスムーズな緩やかな形で起こるために、閲覧者には、ぼんやりと見えることがある。ソフトエッジをシャープ化するために、画像プロセッサ6は、画像信号14内のエッジのより暗い側のピクセル強度値を低減し、画像信号14内のエッジのより明るい側のピクセル強度値を増大させる重み付けされた値を含むシャープ化マスクを適用することができる。シャープ化マスクの重み付けされた値は、エッジのより暗い側とエッジのより明るい側との間の対比をよりシャープに閲覧者に見せるために十分大きいものとする。画像信号16は、シャープ化マスクを画像信号14に適用した後に得られた画像信号を表す。図2Aに示すように、画像信号16の低強度(暗)領域は、元の画像信号14における低強度領域よりも著しく低く、画像信号16の高強度(明)領域は、元の画像信号16における高強度領域よりも著しく高い。] 図2A 図2B [0033] 図2Bに、ハードエッジを含む画像信号の部分への同じシャープ化マスクの適用を示す。画像信号18は、シャープ化の前の元の画像信号の部分を表す。前述のように、画像信号18内のハードエッジは、閲覧者には、すでにシャープに見える。しかしながら、エッジ検出モジュールがハードエッジとソフトエッジを区別することができない場合、画像プロセッサ6は、ソフトエッジと同様に、ハードエッジにシャープ化マスクを適用する。画像信号19は、シャープ化マスクを画像信号18に適用した後に得られた画像信号を表す。図2Bに示すように、ソフトエッジをシャープ化するために使用されるシャープ化マスクを画像信号18に適用すると、画像信号の低強度および高強度領域においてクリッピングアーティファクトが生じる。言い換えれば、画像信号19の低強度領域は黒に固定され、画像信号19の高強度領域は白に固定される。得られた画像信号は、たとえば、閲覧者にはごま塩ノイズ(salt and pepper noise)のように見えるノイズを含む。] 図2B [0034] 本開示で説明する信号形状検出技法により、画像プロセッサ6は、キャプチャされた画像内のエッジを選択的にシャープ化することができる。たとえば、エッジ検出モジュール10は、ソフトエッジのみが検出され、シャープ化されるように、画像信号内のエッジを選択的に検出することができる。別の例として、エッジ検出モジュール10は、検出されたエッジの形状を特定することができ、画像プロセッサ6は、より大きい重みを用いたシャープ化フィルタを使用してソフトエッジをシャープ化し、より小さい重みを用いたシャープ化フィルタを使用してハードエッジをシャープ化することができる。たとえば、画像プロセッサ6は、検出されたエッジに基づいて、画像をシャープ化することができる。このようにして、画像プロセッサ6は、画像プロセッサ6によって実行されるシャープ化機能のための発見的方法として、検出されたエッジの形状を使用することができる。] [0035] 図3Aに、ソフトエッジを含む画像信号の例示的な部分を示す。図3Bに、画像信号の部分に対応する5ピクセル×5ピクセル(5×5)領域のピクセル強度値を示す。特に、図3Bに示す5×5領域のピクセル強度値は、図3Aに示す画像信号の部分と対応する。図3Aおよび図3Bに示す画像信号は、5ピクセルの範囲にわたって、比較的スムーズな緩やかな方法で、ピクセル強度値10からピクセル強度値50まで遷移する。図3Bのピクセル強度値で示すように、画像信号は、緩やかな様式で10から50まで逐次増加する。図3Aに示すデジタル画像信号の部分の点20、22、および24は、図3Bに示すピクセル強度値の列1、3、および5におけるピクセル強度値と対応する。] 図3A 図3B [0036] 説明のために、画像の例示的な部分の第3の行および第3の列にあるピクセルに例示的なカーネルを適用して、そのピクセルがエッジ上、より詳細には、ソフトエッジ上にあると判定することについて説明する。エッジ検出モジュール10は、同様の方法で、例示的なカーネルを画像内の他のピクセルに適用することができる。いくつかの例では、エッジ検出モジュール10は、同様の方法で、そのカーネルを画像内のすべてのピクセルに適用することができる。他の例では、エッジ検出モジュール10は、そのカーネルを、画像内のピクセルのサブセット、たとえば、1つおきの行または列にあるピクセルのみに適用することができる。次のページに示す例示的なカーネル(1)に関して説明するが、本技法は、様々な寸法のカーネル、より多いまたはより少ない0でない値をもつカーネル、様々な0でない値をもつカーネル、またはそれらの組合せを用いて利用することができる。] [0037] 上記に示した例示的な5×5カーネルは、少なくとも1つの行を有する。この行は、第1の大きさの少なくとも1つの負値を含む第1の列と、第2の大きさの少なくとも1つの負値を含む第2の列と、第1の大きさの成分および第2の大きさの成分を含む少なくとも1つの正値を含む第3の列とを有する。上記に示した例示的な5×5カーネルは、0でない値を含む3つの行を含む。カーネルの第2の行は値−1、0、−1000、0、および1001を含み、カーネルの第3の行は値−2、0、−2000、0、および2002を含み、カーネルの第4の行は値−1、0、−1000、0、および1001を含む。したがって、それらの3つの行の各々は、第1の大きさである負値、すなわち、−1または−2と、第2の大きさである負値、すなわち、−1000または−2000と、それぞれ、値−1001および−2002の第1の大きさの成分、すなわち、−1または−2、ならびに、それぞれ、値−1001または−2002の第2の大きさの成分、すなわち、−1000または−2000を有する正値とを有する。以下で詳細に説明するように、第1および第2の大きさをもつカーネル値を選択すると、エッジ検出モジュール10は、信号の部分の少なくとも2つの1次導関数を表す和を単一のパスにおいて生成することができる。] [0038] 「第1の大きさ」および「第2の大きさ」という用語は、様々な大きさと対応し、必ずしも連続する大きさと対応するわけではない。上記の例に示すように、「第1の大きさ」の値、すなわち、値−1および−2は、第0の大きさと対応するものと見なすことができ、一方、「第2の大きさ」の値、すなわち−1000および−2000は、第3の大きさと対応するものと見なすことができる。したがって、本明細書で使用する「第1の大きさ」および「第2の大きさ」という用語は、連続していても連続していなくてもよい様々な大きさと対応する。] [0039] カーネル中の0でない値の大きさは、たとえば、アプリケーション設計者が、分析されている信号のタイプに応じて選択することができる。説明した例示的なカーネルは、8ビットデジタル画像信号、すなわち、各ピクセル値が8ビットを使用して表されるデジタル画像信号への適用に特に適している。8ビットデジタル画像信号では、各ピクセルは、0と255の間の値を有する。0でない値に対して選択される第2の大きさは、ある列の第1の大きさの0でない成分を乗算されたピクセル値の和が第2の大きさにオーバーフローする可能性が、まったくないか、または少なくとも著しく低くなるように、選択される。一例として、8ビット画像を使用すると、第1の大きさの値、すなわち−1、−2および−1を乗算された最大ピクセル値255の和は、1020に等しい。ただし、それぞれの位置にあるピクセルの各々が値255をとる可能性は著しく低いので、例示的なカーネルは第2の大きさ(たとえば、1000)を有する。オーバーフローの可能性をなくすために、より大きい第2の大きさ、たとえば、10,000を選択することができる。より多数のまたはより少数のビットで表される信号の場合、より大きいまたはより小さい大きさをもつ0でない値を使用することができる。たとえば、16ビット画像の場合、より大きい大きさをもつ0でない値、たとえば、1,000,000を使用することができる。同様に2ビット信号の場合、より小さい大きさをもつ0でない値、たとえば、100を使用することができる。このようにして、カーネルの0でない値の第2の大きさは、信号の最大可能値に応じて選択することができる。] [0040] (1)に示す例示的なカーネルを適用するために、エッジ検出モジュール10は、カーネルが第3の行および第3の列にあるピクセル上にセンタリングされるように、カーネルを画像の部分上にセンタリングする。エッジ検出モジュール10は、画像の部分とカーネルとの畳み込みを実行して、ピクセル値を乗算されたカーネルの和を計算する。特に、画像の部分のピクセル強度値の各々は、カーネル内の対応する位置の値を乗算されて、重み付けされたピクセル値が得られ、次いで、その重み付けされたピクセル値は合計される。上記に示した例では、エッジ検出モジュール10は、中心ピクセル位置について和80,160、すなわち、(−1)(10)+(−1000)(30)+(1001)(50)+(−2)(10)+(−2000)(30)+(2002)(50)+(−1)(10)+(−1000)(30)+(1001)(50)を計算する。このようにして、特定のピクセル位置についての和は、特定ピクセルの近傍にあるピクセル値の少なくとも一部分に応じて計算される。カーネルの0でない値の数は、追加または削除して、より多いまたはより少ない隣接ピクセル値を判定に含めることができる。] [0041] 上述のように、計算された和は、カーネルが適用される信号の部分の少なくとも2つの1次導関数を表す。この例では、和は、2つの1次導関数、すなわち、図3Aに示す信号の点22と点24との間の線28の傾きに対応する第1の1次導関数と、図3Aに示す信号の点20と点24との間の線26の傾きに対応する第2の1次導関数とを正確に表す。特に、和の第1の大きさの値、すなわち、80,000は第1の1次導関数に対応し、和の第2の大きさの値、すなわち、160は第2の1次導関数に対応する。したがって、エッジ検出モジュール10は、3つの点、すなわち、点20、22、および24において水平方向に沿って画像信号をサンプリングするものと見なすことができる。] 図3A [0042] エッジ検出モジュール10は、除算演算を実行して、計算された和80,160を1000で除算し、その商、すなわち、80を第1の1次導関数として使用し、その剰余、すなわち、160を第2の1次導関数として使用することによって、第1および第2の1次導関数の値を識別することができる。いくつかの例では、エッジ検出モジュール10は、モジュロ演算を実行して、剰余160を得ることができる。第1の1次導関数は、ピクセル値が点22と点24との間の第1の範囲にわたって増加した量に対応し、第2の1次導関数は、ピクセル値が点20と点24との間の第2の範囲にわたって増加した量に対応する。直線26および28の傾きに関しては、第1の1次導関数は、点22と点24との間のラン(run)にわたる第1のライズ(rise)に対応し、第2の1次導関数は、点20と点24との間のランにわたる第2のライズに対応する。点22と点24との間の第1の1次導関数は、進み1次導関数(または傾き)と見なすことができ、点20と点24との間の第2の1次導関数は、遅れ1次導関数(または傾き)と見なすことができる。] [0043] エッジ検出モジュール10は、同じランにわたる第1および第2のライズをさらに正規化することができる。第1のライズは3ピクセルランと対応し、第2のライズは5ピクセルランと対応する。同じ長さのランにわたるライズを正規化するために、エッジ検出モジュール10は第1のライズに2を乗算することができる。このようにして、それらのライズは、両方のライズが5ピクセルスパンにわたるランと対応するように正規化される。上記の例では、正規化された第1および第2のライズは両方とも160に等しい。それらのライズを5ピクセルランにわたるように正規化することによって、エッジ検出モジュール10は、直線26および28の傾きを分析するために、それらのライズの値を使用することができる。] [0044] 他の例では、エッジ検出モジュール10は、それらのライズを正規化しないことがある。代わりに、エッジ検出モジュール10は、それらのライズの各々を、対応するランで除算することによって、直線26と直線28の傾きを別々に計算し、次いで、傾きを比較することができる。たとえば、エッジ検出モジュールは、第1のライズを2(すなわち、第3のピクセルと第5のピクセルとの間のラン)で除算することによって線28の傾きを計算し、第2のライズを4(すなわち、第1のピクセルと第5のピクセルとの間のラン)で除算することによって線26の傾きを計算することができる。しかしながら、ランを正規化し、ランを比較することにより、エッジ検出モジュール10が実行する数学演算の回数を減らすことができる。特に、両方の傾きを計算するには2回除算演算を行う必要があり、次いで、その2つの傾きの比を比較するにはもう1回除算演算を行う必要がある。しかしながら、それらのライズを正規化するには1回乗算演算を行う(すなわち、第1のライズに2を乗算する)だけで済み、2つのライズの比を比較するには1回除算演算を行えば済む。その結果、数千、さらには数百万のピクセルの画像に対して演算を行うとき、分析されるピクセルにつき1回数学演算が減り、その結果、数学演算ならびに関連する計算オーバーヘッドおよび電力消費量が著しく低減する。] [0045] エッジ検出モジュール10は、線26および28の傾きを分析して、ピクセル位置がエッジに対応するかどうかを判断し、そうであれば、エッジがソフトエッジであるかハードエッジであるかを判定する。いくつかの態様では、エッジ検出モジュール10は、正規化ライズを分析することによって線26および28の傾きを分析することができる。それらのライズは同じランレングスにわたって、すなわち、5ピクセルスパンにわたって正規化されるので、エッジ検出モジュール10はそれらのライズを使用して傾きを分析することができる。エッジ検出モジュール10は、点20から点24までのスパンに対応する第2の正規化ライズを、値のしきい値範囲と比較することができる。一例として、エッジ検出モジュール10は、第2の正規化ライズが120以上および300以下であるかどうかを判定することができる。しきい値範囲は、ピクセルの最大可能値、傾きが実行されるピクセルの数、または両方に応じて選択することができる。第2の正規化ライズが300よりも大きい場合、点20から点24までの傾きは、ソフトエッジを構成するには大きすぎると見なされる。第2の正規化ライズが120よりも小さい場合、点20から点24までの傾きは、顕著なエッジを構成するのに十分大きくないと見なされる。しきい値範囲の値は、分析されている画像のタイプまたはカーネルの値の大きさに基づいて、調整することができる。] [0046] 第2の正規化ライズがしきい値範囲内に入る場合、エッジ検出モジュール10は、2つのライズの比を計算して、エッジがソフトエッジであるかハードエッジであるかを判定する。2つの正規化ライズの計算された比が0.4以上および1.6以下の場合、エッジ検出モジュール10はエッジをソフトエッジとして検出する。言い換えれば、2つのライズは、スムーズな緩やかなエッジと見なされるために互いに十分近い。2つのライズの比が0.4よりも小さいまたは1.6よりも大きい場合、エッジ検出モジュール10はエッジをハードエッジとして検出する。このようにして、エッジ検出モジュール10は、線26および28の傾きの比に基づいて、検出されたエッジがハードであるかソフトであるかを判定する。] [0047] 傾きに対するしきい値および/または範囲、ならびに傾きの比は、より積極的にエッジを検出するか、またはより消極的にエッジを検出するように調整することができる。さらに、傾きに対するしきい値および/または範囲は、エッジ検出モジュール10が、ハードエッジとソフトエッジの両方、ソフトエッジのみ、またはハードエッジのみを検出するように調整することもできる。したがって、傾きに対するしきい値および/または範囲を調整して、特定の形状のエッジ、たとえば、スムーズエッジのみおよび/またはシャープエッジのみを選択的に検出するようにエッジ検出モジュール10を構成することができる。スムーズエッジのみを検出することにより、画像プロセッサ6(図1)は、シャープエッジの品質を低減するような方法でシャープエッジがシャープ化されないように、検出されたエッジを選択的にシャープ化することができる。従来の1次および2次エッジ検出カーネルは、ハードおよびソフトエッジを発見するようにチューニングすることができる。しかしながら、1次および2次エッジ検出カーネルは、画像の部分にわたる隣接する傾きまたは傾きの変化率に関する情報を生成しないので、従来の1次および2次エッジ検出カーネルは、エッジの形状、たとえば、エッジがハードであるかソフトであるかを単一のパスにおいて検出するようにチューニングすることはできない。] 図1 [0048] 図3Aおよび図3Bに示す信号の例示的な部分では、第1および第2の正規化ライズは160に等しい。第1の正規化ライズは、対応するしきい値範囲120〜300内に入る。第2の正規化ライズも、対応するしきい値範囲25〜300内に入る。したがって、エッジ検出モジュールは、ピクセルがエッジ上に位置していると判定する。さらに、ライズの比は1に等しく、ソフトエッジを構成する範囲内にある。したがって、エッジ検出モジュール10は、第3の行および第3の列のピクセルがソフトエッジ上に位置していることを検出する。このようにして、エッジ検出モジュール10は、デジタル画像信号を分析して、信号の形状を判定する。] 図3A 図3B [0049] このようにして、エッジ検出モジュール10は、信号の部分の2つ以上の1次導関数を単一のパスにおいて計算し、2つ以上の1次導関数を使用して、信号の形状を判定する。しかしながら、従来のエッジ検出器では、信号の部分に関する少なくとも2つの1次導関数を検出するために2つのカーネルを適用する必要がある。たとえば、従来のエッジ検出器は、以下に示すカーネル(2)および(3)を適用して、その2つの1次導関数を生成することができる。特に、従来のエッジ検出器は、カーネル(2)を適用して、画像信号の部分の第1の1次導関数を検出し、カーネル(3)を適用して、画像信号の部分の第2の1次導関数を検出することができる。] [0050] したがって、従来のエッジ検出技法では、本明細書で開示する技法と同様の結果を達成するために約2倍の量の処理リソースおよび時間が必要である。エッジ検出モジュール10は、単一のカーネル、たとえば、(1)に示すカーネルのみを適用することによって、同じ結果を得ることができる。このようにして、(1)に示すカーネルは、カーネル(2)とカーネル(3)の単一のカーネルへの融合と見なすことができる。] [0051] カーネルをさらに最適化するために、画像プロセッサ6は、(1)に示すカーネルを3×3カーネルに圧縮することができる。特に、すべての0の値を含む行および列を((4)に示す)5×5行列から削除して、((5)に示す)3×3圧縮カーネルを形成することができる。] [0052] このカーネルは3×3カーネルとして圧縮され、記憶されるが、エッジ検出モジュール10は、依然としてこのカーネルを画像信号の5×5の部分に適用することができる。] [0053] 上記の(1)に示す例示的なカーネルは、画像内の垂直エッジを検出するためにエッジ検出モジュール10によって適用される。エッジ検出モジュール10は、実質的に同様の性質の第2のカーネルを適用して、画像信号内の水平エッジを検出することができる。本開示の技法による、画像信号内の水平エッジを検出するために使用することができる例示的なカーネルを以下に示す。] [0054] エッジ検出モジュール10は、同時に、または、別々のパスの間、第1および第2のカーネルをピクセル位置に適用することができる。垂直エッジを検出するために使用されるカーネルの場合と同様に、水平エッジを検出するために使用されるカーネル(6)は、カーネル(7)とカーネル(8)の融合と見なすことができる。] [0055] 上記(1)に示す例示的なカーネルに関して説明するが、本技法は、様々な寸法のカーネル、より多くのまたはより少ない0でない値をもつカーネル、カーネル内の様々な位置に0でない値をもつカーネル、様々な0でない値をもつカーネル、またはそれらの組合せを用いて利用することができる。一例として、カーネル(1)の0でない値の代わりに、2のべきである0でない値を使用することができる。たとえば、(1)および(4)に示す5×5カーネルの値−1000の代わりに(9)に示す−1024を使用し、(1)および(4)に示す5×5カーネルの値1001の代わりに(9)に示す1025を使用し、(1)および(4)に示す5×5カーネルの値−2000の代わりに(9)に示す−2048を使用し、(1)および(4)に示す5×5カーネルの値2002の代わりに(9)に示す2050を使用することができる。2のべきである0でない値を使用することにより、エッジ検出モジュール10は、たとえば、シフトおよび除算のみを使用する、より高速のシフト演算子を利用することができる。] [0056] 別の例として、カーネルは、3つの異なる大きさの4つの0でない値をもつ行を含むことができる。そのようなカーネルの一例を以下に示す。] [0057] 例示的なカーネルは、第1の大きさの第1の負値と、第2の大きさの第2の負値と、第3の大きさの第3の負値と、第1の大きさの成分、第2の大きさの成分、および第3の大きさの成分を有する正値とを含む行から構成される。そのようなカーネルを使用することにより、エッジ検出モジュール10は、3つの1次導関数、すなわち、3つの異なる範囲の傾きを単一のパスにおいて計算することができる。したがって、エッジ検出モジュール10は、信号の部分内のエッジの形状をより正確に判定することができる。] [0058] 別の例として、カーネルは、水平垂直形ではなく放射形に配列された0でない値を含むことができる。そのようなカーネルを以下に示す。] [0059] 本技法は、様々な寸法のカーネル、より多くのまたはより少ない0でない値をもつカーネル、様々な0でない値をもつカーネル、またはそれらの組合せを用いて利用することができる。] [0060] 図4Aに、ハードエッジを含む画像信号の例示的な部分を示す。図4Bに、画像信号の部分に対応する5ピクセル×5ピクセル(5×5)領域のピクセル強度値を示す。特に、図4Bに示す5×5領域のピクセル強度値は、図4Aに示す画像信号の部分と対応する。図3Aおよび図3Bに示す画像信号の5×5部分のように、図4Aおよび図4Bに示す画像信号の5×5部分は、ピクセル強度値10からピクセル強度値50まで遷移する。しかしながら、図4Aおよび図4Bに示す画像信号の部分は、5ピクセルスパンにわたって緩やかにではなく、単一のピクセルにわたってシャープに遷移する。図4Bのピクセル強度値が示すように、このシャープな遷移は、ピクセルの第3の列とピクセルの第4の列との間で起こる。図4Aに示す画像信号の部分の点30、32、および34は、図4Bに示すピクセル強度値の列1、3、および5におけるピクセル強度値と対応する。] 図3A 図3B 図4A 図4B [0061] 別の例として、エッジ検出モジュール10が、図4Aおよび図4Bに示す信号の部分におけるハードエッジを検出するために、上記に示した5×5カーネル(1)を適用することについて説明する。エッジ検出モジュール10は、カーネルが第3の行および第3の列にあるピクセル上にセンタリングされるように、カーネルを画像の部分上にセンタリングする。エッジ検出モジュール10は、画像の部分とカーネルとの畳み込みを実行して、重み付けされたピクセル値を計算し、重み付けされたピクセル値を合計する。図3Aおよび図3Bに示す信号の場合、エッジ検出モジュール10は、中心ピクセル位置について和160,160、すなわち、(−1)(10)+(−1000)(10)+(1001)(50)+(−2)(10)+(−2000)(10)+(2002)(50)+(−1)(10)+(−1000)(10)+(1001)(50)を計算する。] 図3A 図3B 図4A 図4B [0062] 計算された和の第1の大きさの値、すなわち、160,000は第1の1次導関数に対応し、第2の大きさの値、すなわち、160は第2の1次導関数に対応する。エッジ検出モジュール10は、最初に、除算演算の商および剰余を使用することによって、第1および第2の1次導関数の値を同じ大きさに正規化することができる。特に、除算演算の商、すなわち、160は第1の1次導関数と対応し、剰余、すなわち、160は第2の1次導関数と対応する。上述のように、正規化された第1の1次導関数は、点32と点34との間のランにわたる第1のライズに対応し、正規化された第2の1次導関数は、点30と点34との間のランにわたる第2のライズに対応する。] [0063] エッジ検出モジュール10は、第1のライズに2を乗算することによって、同じランにわたる第1および第2のライズをさらに正規化することができる。このようにして、それらのライズは、両方のライズが5ピクセルスパンにわたるランと対応するように正規化される。上記の例では、正規化された第1のライズは320に等しく、第2のライズは160に等しい。それらのスロープの各々を別々に計算するのではなく、それらのライズを5ピクセルランにわたるように正規化することによって、エッジ検出モジュール10は、直線26および28の傾きを分析する目的で、それらのライズの値を使用することができる。上述のように、そのような技法により、エッジ検出モジュール10によって実行される算術演算の回数を減らすことができる。] [0064] この場合、2つのライズの比は2に等しく、範囲0.4〜1.6の外側にある。したがって、エッジ検出モジュール10は、そのエッジをハードエッジとして特徴付ける。上述のように、エッジ検出モジュール10は、同じランレングスにわたるライズを正規化することなしに傾きを計算し、計算された傾きを分析することができる。ただし、そのような分析では、エッジ検出モジュール10は追加の数学演算を実行する必要があることがある。] [0065] 図5は、本明細書で説明する技法を使用して信号の形状を判定する、図1の画像プロセッサ6などの画像プロセッサの例示的な動作を示す流れ図である。最初に、画像プロセッサ6は信号を得る(40)。画像プロセッサ6は、たとえば、画像プロセッサ6が結合される画像センサ4(図1)から画像信号を得ることができる。ただし、画像プロセッサ6は、他のソースから、たとえば、画像プロセッサ6が結合されるネットワークを介して、画像信号を得ることができる。] 図1 図5 [0066] 画像プロセッサ6のカーネル選択モジュール12は、信号に適用するための複数のカーネルのうちの1つを選択する(42)。カーネル選択モジュール12は、画像プロセッサ6のエッジ検出モジュール10がエッジを垂直方向に検出しているのか水平方向に検出しているのかに基づいて、カーネルを選択することができる。たとえば、他のカーネルを水平検出用に編成し、いくつかのカーネルを垂直検出用に編成することができる。カーネル選択モジュール12はまた、画像の解像度などの他のパラメータに基づいて、カーネルを選択することができる。] [0067] エッジ検出モジュール10は、カーネルを第1のピクセルに適用して、そのピクセルについて和を計算する(44)。特に、エッジ検出モジュール10は、カーネルを第1のピクセル上にセンタリングし、第1のピクセルの周りの画像の部分内のピクセル値の各々に、カーネル内の対応する位置の値を乗算する畳み込みを実行し、次いで、その結果を合計する。エッジ検出モジュール10は、計算された和に基づいて、少なくとも2つの1次導関数を識別する(46)。上述のように、計算された和の第1の大きさの値は第1の1次導関数に対応し、その和の第2の大きさの値は第2の1次導関数に対応する。エッジ検出モジュール10は、計算された和に対して除算演算を実行し、その除算演算の商および剰余を、それぞれ、第1の1次導関数および第2の1次導関数として使用することによって、第1の1次導関数および第2の1次導関数を得ることができる。] [0068] エッジ検出モジュール10は、同じピクセルスパンにわたる少なくとも2つの1次導関数を正規化することができる(48)。第1の1次導関数は、第1のピクセルスパンにわたる第1のライズに対応し、第2の1次導関数は、第2のピクセルスパンにわたる第2のライズに対応する。一例では、第1の1次導関数は、点22と点24(図3A)との間の傾きを表すことができ、第2の1次導関数は、点20と点24(図3A)との間の傾きを表すことができる。それらの1次導関数は、同じピクセルスパンにわたって正規化することができる。これにより計算の複雑性が低減され、したがって、除算演算を使用して傾きを計算することに勝る、いくつかの効率性の利点が得られる。] 図3A [0069] エッジ検出モジュール10は、第2の1次導関数が値のしきい値範囲内にあるかどうかを判定する(52)。第2の1次導関数が値のしきい値範囲内にない場合(52の「いいえ」分岐)、エッジ検出モジュール10は、第2の1次導関数がしきい値範囲を超えているかどうかを判定する(54)。エッジ検出モジュール10が、第2の1次導関数がしきい値範囲を超えていると判定した場合(54の「はい」分岐)、エッジ検出モジュール10は、そのピクセルがハードエッジに位置していることを検出する(56)。エッジ検出モジュール10が、第2の1次導関数がしきい値範囲を超えていないと判定した場合(54の「いいえ」分岐)、エッジ検出モジュール10は、そのピクセルがエッジに位置していないことを検出する(58)。] [0070] 第2の1次導関数が値のしきい値範囲内にある場合(52の「はい」分岐)、エッジ検出モジュール10は、第1の1次導関数と第2の1次導関数との比が、比のしきい値範囲内にあるかどうかを判定する(60)。その比が比のしきい値範囲よりも大きいまたは小さい場合(60の「いいえ」分岐)、エッジ検出モジュール10は、そのピクセルがハードエッジに位置していることを検出する(56)。その比が比のしきい値範囲内にある場合(60の「はい」分岐)、エッジ検出モジュール10は、そのピクセルがソフトエッジに位置していることを検出する(62)。エッジ検出モジュール10は、画像信号内にカーネルを適用すべき追加のピクセルがあるかどうかを判定する(64)。追加のピクセルがない場合(64の「いいえ」分岐)、画像プロセッサ6は、別の信号を得るのを待つ(40)。追加のピクセルがある場合(64の「はい」分岐)、エッジ検出モジュール10は、カーネルを画像信号中の次のピクセルに適用する(44)。このようにして、画像プロセッサ6は、信号の部分の形状をカーネルの単一のパスにおいて判定し、たとえば、そのピクセルがエッジにあるかどうかを検出する。] [0071] 図6は、本開示で説明するエッジ検出技法を実装する画像キャプチャデバイス2を含む例示的なワイヤレス通信デバイス70を示すブロック図である。図6は、ワイヤレス通信デバイス70内に一体化された画像キャプチャデバイス2を示している。画像キャプチャデバイス2の動作については、上記で図1に関して説明しており、したがって、ここでは詳細に説明しない。ワイヤレス通信デバイス70は、画像キャプチャ機能を有するセルラー電話(たとえば、いわゆるカメラ付き携帯電話またはビデオ電話)、ビデオレコーダ、ウェブカメラ、携帯情報端末(PDA)、ラップトップコンピュータ、または画像キャプチャおよびワイヤレス通信機能を有する他のデバイスなどのワイヤレス通信デバイスハンドセットを備えることができる。ワイヤレス通信デバイスに関して説明するが、本開示の技法は有線通信デバイスにも適用可能である。] 図1 図6 [0072] 図6の例では、ワイヤレス通信デバイス70は、画像キャプチャデバイス2と、符号化モジュール72と、送信機74と、ビューファインダ76とを含む。符号化モジュール72は、記憶および/または送信のために、キャプチャされた画像情報を符号化して、画像を特定の画像圧縮形式に圧縮することができる。符号化モジュール72は、JPEG、TIFF、GIFまたは他の画像圧縮形式を含む、いくつかの画像圧縮形式のいずれかを使用して、画像を圧縮することができる。ビデオの場合、符号化モジュール72は、MPEG、MPEGアドバンストビデオコーディング(AVC)パート10、ITUH.264などの任意の数のビデオ圧縮形式を使用して、ビデオを圧縮することができる。] 図6 [0073] ワイヤレス通信デバイス70は、符号化画像を送信機74を介して別のデバイスに送信することができる。送信機74は、一般に、符号分割多元接続(CDMA)ネットワーク、広帯域符号分割多元接続(W−CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、Global System for Mobile Communications(GSM)ネットワークなどのセルラーネットワーク、または他の同様のネットワークへのインターフェースを与える。送信機74は、セルラーネットワークに加えて、またはその代替として、関係する米国電気電子学会(IEEE)802.11規格のいずれかによって定義されたワイヤレスネットワーク、あるいは他の有線またはワイヤレスネットワークへのインターフェースを与えることができる。] [0074] ワイヤレス通信デバイス70は、画像キャプチャデバイス2によってキャプチャされた画像、またはビューファインダ76上の、画像キャプチャデバイス2によってキャプチャされる当該のシーンのリアルタイム画像(すなわち、画像プレビュー)のいずれかを提示することができる。ビューファインダ76は電子ビューファインダを備えることができる。例示的な電子ビューファインダは、一般に、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ(たとえば、アクティブマトリックスLEDディスプレイ)などの1つまたは複数のタイプのディスプレイ、あるいはキャプチャされた画像またはリアルタイム画像を提示することができる任意の他のタイプのディスプレイを含む。ビューファインダ76はまた、上述の電子ビューファインダの代わりに、より従来型の光学ビューファインダを備えることができる。ワイヤレス通信デバイス70の場合、ビューファインダ76は、汎用電子ディスプレイを備えることができ、このディスプレイは、ワイヤレス通信デバイス70が実行することができる他の機能に関係する情報をも提示する。たとえば、ワイヤレス通信デバイス70がいわゆるカメラ付き携帯電話を表す場合、ビューファインダ76は、セルラー電話呼の送信および受信に関係する情報をも提示することができる。] [0075] 画像キャプチャデバイス2、符号化モジュール72、送信機74、およびビューファインダ76のみを含むものとして説明したが、ワイヤレス通信デバイス70は、ユーザとインターフェースするためのユーザインターフェース(たとえば、キーパッド)、追加の動作を実行するための1つまたは複数のプロセッサ、ならびにリムーバブルメモリを受容するための様々なポートおよびレセプタクル、ヘッドフォン、電源、ならびに他のそのような周辺装置などの他のモジュールを含むことができる。] [0076] 本明細書で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装することができる。モジュールまたは構成要素として説明する機能は、集積論理デバイスに一緒に、またはディスクリートであるが相互運用可能な論理デバイスとして別々に実装できる。場合によっては、様々な機能は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装できる。ソフトウェアで実装した場合、これらの技法は、実行されると、上記で説明した方法の1つまたは複数をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現できる。コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部をなすことができる。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリ、磁気または光学データ記憶媒体などを備えることができる。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または伝達し、コンピュータによってアクセス、読込み、および/または実行できるコンピュータ可読通信媒体によって、少なくとも部分的に実現できる。] [0077] コードは、1つまたは複数のDSP、汎用マイクロプロセッサ、ASIC、フィールドプログラマブル論理アレイFPGA、または他の等価な集積またはディスクリート論理回路など、1つまたは複数のプロセッサによって実行できる。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明する機能を、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供することができ、または複合ビデオエンコーダ/デコーダ(コーデック)に組み込むことができる。したがって、本開示はまた、本開示で説明した技法の1つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップまたは複数の相互運用可能な集積回路チップで提供できる。] [0078] 本開示で説明する技法は、デジタル画像信号に関して説明するが、本技法は、時間、空間、または他の寸法にわたって変化している変数を表す任意の信号内の著しい変化(たとえば、エッジ)を示す、信号の位置を検出するために使用することができる。さらに、本開示の技法は、検出された位置にわたってその変数がどのように変化しているかを判定するために使用することができる。このようにして、本技法は、デジタル信号パターンを検出し、検出されたパターンを分類するものと見なすことができる。たとえば、本開示の技法は、オーディオ信号、ビデオ信号、または他のタイプの信号内のデジタル信号パターンを検出し、検出されたパターンを分類するために使用することができる。] [0079] 様々な態様について説明した。これらおよび他の態様は以下の特許請求の範囲の範囲内にある。]
权利要求:
請求項1 カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と前記信号の部分の第2の1次導関数とを計算するために、前記信号の部分に前記カーネルを適用することと、前記第1および第2の1次導関数に基づいて前記信号の部分の形状を判定することと、を備える方法。 請求項2 前記信号を得ることをさらに備え、前記信号は、デジタル画像信号である、請求項1に記載の方法。 請求項3 前記信号の部分の前記形状を判定することは、前記第1および第2の1次導関数に基づいてエッジを検出することと、前記第1および第2の1次導関数に基づいて前記エッジの形状を判定することと、を備える、請求項1に記載の方法。 請求項4 前記エッジを検出することは、前記第1および第2の1次導関数のうちの1つがしきい値よりも大きい場合に前記エッジを検出することを備える、請求項3に記載の方法。 請求項5 前記エッジの前記形状を判定することは、前記第1の1次導関数と前記第2の1次導関数との間の比に基づいて前記エッジの前記形状を判定することを備える、請求項3に記載の方法。 請求項6 前記エッジの前記形状を判定することは、前記比がしきい値範囲内である場合、前記エッジをソフトであると識別することを備える、請求項5に記載の方法。 請求項7 前記エッジの前記形状を判定することは、前記比がしきい値範囲よりも大きいまたは小さい場合、前記エッジをハードであると識別することを備える、請求項5に記載の方法。 請求項8 前記カーネルを適用することは、少なくとも1つの行を有するカーネルを適用することを備え、第1の列が第1の大きさの少なくとも1つの負値を含み、第2の列が第2の大きさの少なくとも1つの負値を含み、第3の列が、前記第1の大きさの第1の成分と前記第2の大きさの第2の成分とを含む少なくとも1つの正値を含む、請求項1に記載の方法。 請求項9 前記第2の大きさは、前記信号の最大可能値の関数である、請求項8に記載の方法。 請求項10 前記カーネルの単一のパスにおいて前記信号の部分の前記第1の1次導関数と前記信号の部分の前記第2の1次導関数とを計算するために、前記信号に前記カーネルを適用することは、重み付けされた信号値を得るために、前記カーネルの非負値に前記信号の部分の対応する値を乗算することと、前記重み付けされた信号値の和を取ることと、前記和の第1の大きさの値を前記第1の1次導関数として識別することと、前記和の第2の大きさの値を前記第2の1次導関数として識別することと、を備える、請求項1に記載の方法。 請求項11 前記和の前記第1の大きさの前記値を識別することは、除算演算の商を前記和の前記第1の大きさの前記値として識別することを備え、前記和の前記第2の大きさの前記値を識別することは、除算演算の剰余を前記和の前記第2の大きさの前記値として識別することを備える、請求項10に記載の方法。 請求項12 前記信号の部分の前記形状を判定することは、前記第1および第2の1次導関数に基づいて垂直方向における前記信号の部分の前記形状を判定することを備え、第2のカーネルの単一のパスにおいて前記信号の部分の第3の1次導関数と前記信号の部分の第4の1次導関数とを計算するために、前記信号の部分に前記第2のカーネルを適用することと、前記第3および第4の1次導関数に基づいて水平方向における前記信号の部分の形状を判定することと、をさらに備える、請求項1に記載の方法。 請求項13 カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と前記信号の部分の第2の1次導関数とを計算するために、前記信号の部分に前記カーネルを適用し、前記第1および第2の1次導関数に基づいて前記信号の部分の形状を判定するためのエッジ検出モジュールを含むプロセッサ、を備えるデバイス。 請求項14 前記信号をキャプチャするための画像センサをさらに備え、前記信号は、デジタル画像信号を備え、前記プロセッサは、前記画像センサから前記デジタル画像信号を得る、請求項13に記載のデバイス。 請求項15 前記エッジ検出モジュールは、前記第1および第2の1次導関数に基づいてエッジを検出し、前記第1および第2の1次導関数に基づいて前記エッジの形状を判定する、請求項13に記載のデバイス。 請求項16 前記エッジ検出モジュールは、前記第1および第2の1次導関数のうちの1つがしきい値よりも大きい場合に前記エッジを検出する、請求項15に記載のデバイス。 請求項17 前記エッジ検出モジュールは、前記第1の1次導関数と前記第2の1次導関数との間の比に基づいて前記エッジの前記形状を判定する、請求項15に記載のデバイス。 請求項18 前記エッジ検出モジュールは、前記比がしきい値範囲内である場合、前記エッジをソフトであると識別する、請求項17に記載のデバイス。 請求項19 前記エッジ検出モジュールは、前記比がしきい値範囲よりも大きいまたは小さい場合、前記エッジをハードであると識別する、請求項17に記載のデバイス。 請求項20 前記エッジ検出モジュールは、少なくとも1つの行を有するカーネルを適用する、なお、第1の列が第1の大きさの少なくとも1つの負値を含み、第2の列が第2の大きさの少なくとも1つの負値を含み、第3の列が、前記第1の大きさの第1の成分と前記第2の大きさの第2の成分とを含む少なくとも1つの正値を含む、請求項13に記載のデバイス。 請求項21 前記第2の大きさが前記信号の最大可能値の関数である、請求項20に記載のデバイス。 請求項22 前記エッジ検出モジュールは、重み付けされた信号値を得るために、前記カーネルの非負値に前記信号の部分の対応する値を乗算し、前記重み付けされた信号値の和を取り、前記和の第1の大きさの値を前記第1の1次導関数として識別し、前記和の第2の大きさの値を前記第2の1次導関数として識別する、請求項13に記載のデバイス。 請求項23 前記エッジ検出モジュールは、除算演算の商を前記和の前記第1の大きさの前記値として識別し、除算演算の剰余を前記和の前記第2の大きさの前記値として識別する、請求項22に記載のデバイス。 請求項24 前記エッジ検出モジュールは、前記第1および第2の1次導関数に基づいて垂直方向における前記信号の部分の前記形状を判定し、第2のカーネルの単一のパスにおいて前記信号の部分の第3の1次導関数と前記信号の部分の第4の1次導関数とを計算するために、前記信号の部分に前記第2のカーネルを適用し、前記第3および第4の1次導関数に基づいて水平方向における前記信号の部分の前記形状を判定する、請求項13に記載のデバイス。 請求項25 前記デバイスは、ワイヤレス通信デバイスを備える、請求項13に記載のデバイス。 請求項26 前記デバイスは、集積回路デバイスを備える、請求項13に記載のデバイス。 請求項27 プロセッサに、カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と前記信号の部分の第2の1次導関数とを計算するために、前記信号の部分に前記カーネルを適用することと、前記第1および第2の1次導関数に基づいて前記信号の部分の形状を判定することと、を行わせるための命令を備えるコンピュータ可読媒体。 請求項28 前記プロセッサに前記信号を得ることを行わせるための命令をさらに備え、前記信号は、デジタル画像信号を備える、請求項27に記載のコンピュータ可読媒体。 請求項29 前記プロセッサに前記信号の部分の前記形状を判定させることを行わせるための命令は、プロセッサに、前記第1および第2の1次導関数に基づいてエッジを検出することと、前記第1および第2の1次導関数に基づいて前記エッジの形状を判定することと、を行わせるための命令を備える、請求項27に記載のコンピュータ可読媒体。 請求項30 前記プロセッサに前記エッジを検出させることを行わせるための命令は、前記第1および第2の1次導関数のうちの1つがしきい値よりも大きい場合、前記プロセッサに前記エッジを検出させることを行わせるための命令を備える、請求項29に記載のコンピュータ可読媒体。 請求項31 前記プロセッサに前記エッジの前記形状を判定させることを行わせるための命令は、前記第1の1次導関数と前記第2の1次導関数との間の比に基づいて、前記プロセッサに前記エッジの前記形状を判定させることを行わせるための命令を備える、請求項29に記載のコンピュータ可読媒体。 請求項32 前記プロセッサに前記エッジの前記形状を判定させることを行わせるための命令は、前記比がしきい値範囲内である場合、前記プロセッサに前記エッジをソフトであると識別させることを行わせるための命令を備える、請求項31に記載のコンピュータ可読媒体。 請求項33 前記プロセッサに前記エッジの前記形状を判定させることを行わせるための命令は、前記比がしきい値範囲よりも大きいまたは小さい場合、前記プロセッサに前記エッジをハードであると識別させるための命令を備える、請求項31に記載のコンピュータ可読媒体。 請求項34 前記プロセッサに前記カーネルを適用させることを行わせるための命令は、プロセッサに少なくとも1つの行を有するカーネルを適用させることを行わせるための命令を備え、第1の列が第1の大きさの少なくとも1つの負値を含み、第2の列が第2の大きさの少なくとも1つの負値を含み、第3の列が、前記第1の大きさの第1の成分と前記第2の大きさの第2の成分とを含む少なくとも1つの正値を含む、請求項27に記載のコンピュータ可読媒体。 請求項35 前記第2の大きさが前記信号の最大可能値の関数である、請求項34に記載のコンピュータ可読媒体。 請求項36 前記カーネルの単一のパスにおいて前記信号の部分の前記第1の1次導関数と前記信号の部分の第2の1次導関数とを計算するために、前記プロセッサに前記信号に前記カーネルを適用させることを行わせるための命令は、前記プロセッサに、重み付けされた信号値を得るために、前記カーネルの非負値に前記信号の部分の対応する値を乗算することと、前記重み付けされた信号値の和を取ることと、前記和の第1の大きさの値を前記第1の1次導関数として識別することと、前記和の第2の大きさの値を前記第2の1次導関数として識別することと、を行わせるための命令を備える、請求項27に記載のコンピュータ可読媒体。 請求項37 前記プロセッサに前記和の前記第1の大きさの前記値を識別させることを行わせるための命令は、前記プロセッサに除算演算の商を前記和の前記第1の大きさの前記値として識別させることを行わせるための命令を備え、前記プロセッサに前記和の前記第2の大きさの前記値を識別させることを行わせるための命令は、前記プロセッサに除算演算の剰余を前記和の前記第2の大きさの前記値として識別させることを行わせるための命令を備える、請求項36に記載のコンピュータ可読媒体。 請求項38 前記プロセッサに前記信号の部分の前記形状を判定させることを行わせるための命令は、前記プロセッサに、前記第1および第2の1次導関数に基づいて垂直方向における前記信号の部分の前記形状を判定させることを行わせるための命令を備え、前記プロセッサに、第2のカーネルの単一のパスにおいて前記信号の部分の第3の1次導関数と前記信号の部分の第4の1次導関数とを計算するために、前記信号の部分に前記第2のカーネルを適用することと、前記第3および第4の1次導関数に基づいて水平方向における前記信号の部分の形状を判定することと、を行わせるための命令をさらに備える、請求項27に記載のコンピュータ可読媒体。 請求項39 カーネルの単一のパスにおいて少なくとも信号の部分の第1の1次導関数と前記信号の部分の第2の1次導関数とを計算するために、前記信号の部分に前記カーネルを適用するための手段と、前記第1および第2の1次導関数に基づいて前記信号の部分の形状を判定するための手段と、を備えるデバイス。 請求項40 前記信号を得るための手段をさらに備え、前記得る手段は、デジタル画像信号を得る、請求項39に記載のデバイス。 請求項41 前記形状判定手段は、前記第1および第2の1次導関数に基づいてエッジを検出し、前記第1および第2の1次導関数に基づいて前記エッジの形状を判定する、請求項39に記載のデバイス。 請求項42 前記形状判定手段は、前記第1および第2の1次導関数のうちの1つがしきい値よりも大きいとき、前記エッジを検出する、請求項41に記載のデバイス。 請求項43 前記形状判定手段は、前記第1の1次導関数と前記第2の1次導関数との間の比に基づいて前記エッジの前記形状を判定する、請求項41記載のデバイス。 請求項44 前記形状判定手段は、前記比がしきい値範囲内である場合、前記エッジをソフトであると識別する、請求項43に記載のデバイス。 請求項45 前記形状判定手段は、前記比がしきい値範囲よりも大きいまたは小さい場合、前記エッジをハードであると識別する、請求項43に記載のデバイス。 請求項46 前記カーネル適用手段は、少なくとも1つの行を有するカーネルを適用する、なお、第1の列が第1の大きさの少なくとも1つの負値を含み、第2の列が第2の大きさの少なくとも1つの負値を含み、第3の列が、前記第1の大きさの第1の成分と前記第2の大きさの第2の成分とを含む少なくとも1つの正値を含む、請求項39に記載のデバイス。 請求項47 前記第2の大きさは、前記信号の最大可能値の関数である、請求項46に記載のデバイス。 請求項48 前記カーネル適用手段は、重み付けされた信号値を得るために前記カーネルの非負値に前記信号の部分の対応する値を乗算し、前記重み付けされた信号値の和を取り、前記和の第1の大きさの値を前記第1の1次導関数として識別し、前記和の第2の大きさの値を前記第2の1次導関数として識別する、請求項39に記載のデバイス。 請求項49 前記カーネル適用手段は、除算演算の商を前記和の前記第1の大きさの前記値として識別し、除算演算の剰余を前記和の前記第2の大きさの前記値として識別する、請求項48に記載のデバイス。 請求項50 前記形状判定手段は、前記第1および第2の1次導関数に基づいて垂直方向における前記信号の部分の前記形状を判定し、前記カーネル適用モジュールが、第2のカーネルの単一のパスにおいて前記信号の部分の第3の1次導関数と前記信号の部分の第4の1次導関数とを計算するために、前記信号の部分に前記第2のカーネルを適用し、前記形状判定手段は、前記第3および第4の前記信号の1次導関数に基づいて水平方向における前記信号の部分の前記形状を判定する、請求項39に記載のデバイス。
类似技术:
公开号 | 公开日 | 专利标题 US9596407B2|2017-03-14|Imaging device, with blur enhancement US9792672B2|2017-10-17|Video capture devices and methods US9883125B2|2018-01-30|Imaging systems and methods for generating motion-compensated high-dynamic-range images JP5908511B2|2016-04-26|ブロックベースの画像安定化 RU2543974C2|2015-03-10|Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки JP6395810B2|2018-09-26|動きゴーストフィルタリングのための基準画像選択 KR101831551B1|2018-02-22|높은 동적 범위의 이미지 생성 및 렌더링 EP2775719B1|2016-09-14|Image processing device, image pickup apparatus, and storage medium storing image processing program JP3293920B2|2002-06-17|画像処理装置およびその方法 KR101205842B1|2012-11-28|복수 개의 이미지 프레임들에 기초하여 이미지를 형성하기위한 방법, 이미지 처리 시스템, 및 디지털 카메라 JP5346082B2|2013-11-20|画像処理装置 US8730341B2|2014-05-20|Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor US7916940B2|2011-03-29|Processing of mosaic digital images JP5254466B2|2013-08-07|ハイダイナミックレンジイメージ合成 US8374459B2|2013-02-12|Dynamic image compression method for human face detection JP5220677B2|2013-06-26|画像処理装置、画像処理方法および画像処理プログラム CN101855651B|2013-10-16|运动辅助的图像传感器配置 JP4415188B2|2010-02-17|画像撮影装置 KR101169882B1|2012-07-31|통합 바코드 스캐닝을 갖는 이미지 캡쳐 장치 EP2055093B1|2017-11-01|Adaptive spatial image filter for filtering image information US9288392B2|2016-03-15|Image capturing device capable of blending images and image processing method for blending images thereof KR101437195B1|2014-09-03|코딩된 화상 및 영상에서 블록 아티팩트 검출 US7548689B2|2009-06-16|Image processing method US7599569B2|2009-10-06|Method and apparatus for bilateral high pass filter KR100647402B1|2006-11-23|이미지 센서의 화질개선장치 및 그 방법
同族专利:
公开号 | 公开日 JP5254361B2|2013-08-07| KR20100107516A|2010-10-05| US20090190837A1|2009-07-30| KR101177634B1|2012-08-27| TW200943232A|2009-10-16| EP2085910A1|2009-08-05| US7995845B2|2011-08-09| WO2009097423A1|2009-08-06| CN101903893A|2010-12-01| CN101903893B|2014-10-22|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
法律状态:
2012-01-11| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 | 2012-04-10| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 | 2012-05-30| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 | 2012-08-29| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120828 | 2013-03-14| TRDD| Decision of grant or rejection written| 2013-03-21| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 | 2013-04-25| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130417 | 2013-04-26| R150| Certificate of patent or registration of utility model|Ref document number: 5254361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2013-05-02| FPAY| Renewal fee payment (event date is renewal date of database)|Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 | 2016-04-26| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2017-04-11| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-04-10| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2019-04-26| LAPS| Cancellation because of no payment of annual fees|
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|