クリエイティブな照明技術によりコンピュテーショナルイメージングが可能に

画像出典: スマートビジョンライト

コンピューテーショナル イメージングの概念は多くの人にとって新しいものかもしれませんが、すでにある程度成熟したこのテクノロジーの価値は広範囲に及びます。 アルゴリズムに基づいて計算された出力画像を伴うマルチ画像およびマルチライト イメージング入力を含むアプリケーションは、本来の研究開発の領域をはるかに超えて拡張されています。 この技術は産業用自動検査に活用されており、照明コンポーネントの創造的な使用が、価値のある画像処理機能を提供する実現技術として浮上しています。

大まかに言うと、「コンピューテーショナル イメージング」という用語は、複数の光学取得から単一の画像を作成するアルゴリズムを使用するさまざまな技術に適用される場合があります。 コンピューテーショナル イメージングの研究には、レンズレス、単一ピクセル、さらには平面カメラが含まれます。 コンピューテーショナル イメージングのマシン ビジョン実装ははるかに成熟しており、特定のアプリケーション分野向けのコンポーネントとソフトウェアはこれまでよりも使いやすくなっています。 2 つの一般的な使用例では、照明デバイスとコントロールが主要なイメージング機能に貢献します。 これらの使用例は、幾何学的特徴を強調するために使用されるフォトメトリック ステレオ (またはシェイプ フロム シェーディング) イメージングと、高解像度のカラー イメージングです。

測光ステレオ イメージングは​​ 3D イメージングと密接に関連しています。 シーンの直接的な物理的な 3D 表現ではありませんが、測光ステレオ画像は画像内の特徴の幾何学的形状を表すため、イメージングの実装がはるかに簡単になります。 通常、単一のカメラが使用され、複数の画像上の複数の照明源がソフトウェアで結合されます。ソフトウェアは、多くのマシン ビジョン コンポーネントおよびソフトウェア ライブラリから簡単に利用でき、サポートされています。

基本的に、マシン ビジョンのコンピュテーショナル イメージングにおけるフォトメトリック ステレオは、マルチアングル照明を活用して、高さが周囲の表面の高さと異なる特徴を抽出します。 単一画像取得では、特徴は近くの表面に比べて明るく見えます。 この照明技術は、表面の特徴や欠陥を効果的に検出するためにマシン ビジョンで広く使用されています。 ただし、異なる角度からの照明を使用して一連の画像を取得した場合 (図 1)、シェイプ・フロム・シェーディング・アルゴリズムを使用して結果の画像を結合し、特徴の相対的な高さの未校正の 3D 画像表現を取得できます。

図1：マシン ビジョンのコンピューテーショナル イメージングにおけるフォトメトリック ステレオでは、マルチアングル照明を利用して、高さが周囲の表面の高さと異なる特徴を抽出します。 | 画像出典: スマートビジョンライト

より複雑な 3D イメージング システムとは異なり、結果として得られる測光ステレオ画像は、多くの場合、純粋な高さまたは奥行きの画像ではなく、曲率画像になります。 画像データは、局所的な高さの変化を持つ個別のフィーチャの表面ジオメトリのグレースケール表現を作成します。 周囲の表面から高さまたは深さが遠く離れているものは、より高いグレースケール ピクセル値を持ちます。 高度なビジョン ライブラリは、曲率画像の処理に加えて、他のアルゴリズムを通じて指向性画像を処理できます (図 2)。 フィルターには、テクスチャ、平均、局所形状、局所コントラスト、ガウス、アルベドが含まれます。 各フィルターは異なる表面特性を強調し、ユーザーは特定の用途に最適なものを選択できます。

図2:測光ステレオ イメージングの出力は、処理アルゴリズムの選択によって異なります。 同じ方向入力データが、Matrox Design Assistant の平均曲率 (左上)、局所コントラスト (右上)、テクスチャ (左下)、およびガウス曲率 (右下) アルゴリズムを使用して表示されます。 追加のアルゴリズムには、アルベドとローカル シェイプが含まれます。 正しい選択は、画像化されるオブジェクトと検出される特徴のタイプによって異なります。 | 画像出典: スマートビジョンライト

フォトメトリック ステレオ イメージングの広範な用途は、オブジェクトまたはシーンにグレースケール コンテンツがないものの、個々のフィーチャが表面に対して幾何学的変化を持っている画像内のフィーチャを強調表示することです。 一例として、サイドウォールのグラフィックと文字に基づいてタイヤを識別するための画像化が挙げられます。 マルチ画像表現によって提供される情報を利用して、一般的なマシン ビジョン ツールを使用してグレースケール画像を処理し、欠陥検出、OCR/OCV、測定などの検査タスクを実行できます。 エンボス加工またはデボス加工されたコードや文字のある表面も、フォトメトリック ステレオ イメージングに適しています。 同様に、コントラストは低くても幾何学的構造を持つ多くの製品やコンポーネントは、このイメージング技術の恩恵を受けることができます (図 3)。

図3:標準カラー画像 (左) と測光ステレオ画像 (右) を使用したゴルフ ボール検査の並べて比較。 ビジュアルイメージの表面テクスチャの光沢と鏡面ハイライトの中でかろうじて検出できる亀裂は、フォトメトリックステレオでは簡単に検出できます。 測光ステレオ画像の計算された表面は、カラー画像を困難にする視覚的なノイズを除去しますが、検査に重要な表面の詳細は保持します。 画像出典: スマートビジョンライト

フォトメトリック ステレオ イメージングは​​、オブジェクトのさまざまなビューを組み合わせて処理するために使用されるソフトウェアとアルゴリズムに大きく依存しています。 このマルチ画像計算技術の実装は、照明コンポーネントから始まります。 通常、単一のカメラを対象物の中央に配置すると、4 つの別々の画像が取得されます。 それぞれのカメラは、視野の周囲で異なるクロック角度で照明を備えています。ほとんどの場合、0、90、180、270 度 (もっと非公式に言うと、カメラの長方形または正方形の視野の 4 辺) です。 各ライトの照射角度によって、強調表示される特徴が定義されます。

照明コンポーネントは必要な視野に基づいて選択され、アプリケーションによっては、複数の個別のライト、または複数の制御可能な照明角度を備えた単一の光源を使用する場合があります。たとえば、複数の個別に制御されるセグメントまたはゾーンを備えたリング ライト (図 4)。 取得した画像ごとに、異なる光 (または照明ゾーン) が使用されます。 マルチ画像取得のシーケンスは、照明、カメラ、取得ソフトウェアと連携する照明コントローラを使用して簡単に実装できます。

図4: LEDプログラマブルシーケンスコントローラー（左）とマルチゾーンライトキット（右）。 これらのプラグアンドプレイ ソリューションは実装が簡単で、一般的なハードウェアおよびソフトウェアで動作し、あらゆるレベルのユーザーが計算画像処理にアクセスできるようになります。 | 画像出典: スマートビジョンライト

計算によるイメージングと組み合わせた照明の別の例には、高解像度のカラー画像の取得が含まれます。 シングルセンサーカメラでは、赤、緑、または青の広帯域フィルターを個々のピクセル上に製造することによってカラー画像が生成されます。 ほとんどの RGB イメージングでは、ピクセル上のフィルターのレイアウトから、この技術はベイヤー フィルター処理と呼ばれます。 各ピクセルが 3 つの色のうち 1 つだけを持つため、最終的なフルカラー画像は、デベヤリング (またはデモザイク) と呼ばれるプロセスで隣接するピクセルから再構築する必要があります。 このピクセルの組み合わせにより、結果として得られる画像の実効空間解像度は、センサーの実際の解像度と比較して大幅に低下します。 解像度の損失に対する効果的かつ簡単な解決策は、マルチスペクトル照明を使用した計算によるイメージングの実装です。

複数の色 (またはマルチスペクトル) で視野を照明できる照明コンポーネントは、カラー カメラで使用される広帯域フィルタリングを、ピクセル レベルのフィルターを持たないグレースケール カメラで模倣できます。 このコンピューテーショナル イメージングの実装では、取得された複数の画像が、赤、緑、青の 3 つの広波長色を使用した部品の照明に関連付けられます。 フォトメトリック ステレオと同様に、適切な照明コントローラーを使用すると、取得をさらに簡素化できます。 結果のイメージには、シーンの赤、緑、青のコンテンツのフル解像度表現が含まれます。 ソフトウェアでは、3 つの画像を簡単に組み合わせて、特定のアプリケーションに必要な構造を持つマルチチャネル カラー画像を作成できます (図 5)。

図5:モノクロ カメラで撮影され、それぞれ赤、緑、または青の光でストロボされた 3 つの画像が 1 つのフルカラー画像に結合されます。これにより、色補間プロセスで解像度が失われるベイヤー カラー画像と比較すると、解像度が維持されます。 | 画像出典: スマートビジョンライト

場合によっては、単純なベイヤー フィルタリングよりも空間解像度だけでなく色の忠実性も向上する可能性があります。 照明源の一貫性により、一部のアプリケーションではセンサー上のフィルタリングの能力を超えるレベルの信頼性と色再現がもたらされる可能性があります。 このコンピューテーショナル イメージング技術により、ユーザーはベイヤー カラー カメラやオンチップ カラー フィルターに伴う解像度を損なうことなく、カラー イメージングの利点を得ることができます。

コンピューテーショナル イメージングは​​、静止した部品や物体だけでなく、部品 (またはイメージング コンポーネント) が動いているアプリケーションでも簡単に使用できます。 この手法では、慎重な指定が必要となり、場合によっては追加の処理が必要になります。 可動部品を含むすべてのイメージング アプリケーションと同様、モーション ブラーを最小限に抑えるために考慮すべき重要な指標は、動きの速度と各画像の露光 (またはストロボ) 時間です。 フォトメトリックステレオイメージングでは、マルチ画像取得の速度と、総取得時間にわたる視野内の部品の移動量も考慮する必要があります。

パーツが十分にゆっくりと移動し、イメージング レートが十分に高い場合、取得された複数の画像はパーツの動きに関して互いに十分に近く、適切な結合画像が得られる可能性があります。 低コスト、高速 CMOS イメージャの台頭により、このプロセスはかつてないほど簡単になりました。 シーン内の動きが大きすぎる場合は、より高速な CMOS カメラを使用してください。

部品が画像から画像へと移動しすぎていて、より高速なカメラが選択肢にない場合は、画像をデジタル的に位置合わせするために画像を前処理することが必要になる場合があります。 これには、各画像上の適切な特徴を最初に撮影した画像と比較し、その後の複数画像の計算でそれらの特徴と一致するように適切な変換を適用することが含まれます (図 6)。

図6:カラー テキストの最後の数行を拡大すると、カラー カメラの解像度がピクセル レベルで低下し、解像度が失われ、カラー チェッカーが発生していることがわかります。 計算上のイメージングの色は忠実であり、解像度は安定しており、モノクロ カメラの感度の向上とノイズの低減により背景の均一性が実現します。 | 画像出典: スマートビジョンライト

ソフトウェア ツールは、キャプチャされた複数のフレームにわたってオブジェクトをピクセルまで再調整し、回転の変動を修正することもできます。 ほとんどのマシン ビジョン ライブラリの標準ツールは、パーツが静止していない場合やシーケンスの収集時に登録されていない場合でも、動きを修正してこれらのコンピュテーショナル イメージング技術を活用できます。

もう 1 つの手法は、各画像間の部品の動き (たとえば、コンベア上) を外部で追跡し、画像の既知の物理オフセット量に基づいて変換を直接適用することです。 もちろん、すべての場合において、画像の取得中に部品がカメラの視野内に留まっていることが必須です。 この方法は、エンコードされたコンベア ベルト上を移動する物体やライン スキャン カメラでキャプチャされた画像に特に適しています。

より複雑な解決策のように見えるかもしれませんが、コンピューテーショナル イメージングは​​、標準的なビジュアル イメージングでは解決するのが難しい特定の問題を実際に単純化できます。 コンピューテーショナル イメージングは​​、特に今日の照明コンポーネントやコントローラーによって実現され、幅広いマシン ビジョン アプリケーションで容易に利用できる、実装が容易で価値のあるイメージング技術となっています。

スティーブ・キニー 、Smart Vision Lights のトレーニング、コンプライアンス、および技術ソリューションのディレクター。 詳細については、www.SmartVisionLights.com をご覧ください。