カメラの未来

フラット パネル ディスプレイ、プリント基板 (PCB)、半導体の検査、倉庫物流、インテリジェント輸送システム、作物の監視、デジタル パソロジーなどのマシン ビジョン アプリケーションに使用される産業用カメラ技術とイメージ センサーの進化カメラやイメージセンサーに新たな要求が課せられています。 その中で最も重要なのは、より高い解像度と速度を実現するドライブと、より低い消費電力とデータ帯域幅のバランスをとる必要性です。 場合によっては、小型化も推進されています。

外側には、カメラが取り付け機能と光学系を備えたハウジングになっています。 これはユーザーにとって重要ですが、内部にはパフォーマンス、機能、消費電力に影響を与える大きな課題があります。 ここでは、ソフトウェアだけでなくイメージセンサーやプロセッサーなどのハードウェアも重要な役割を果たします。

私たちが知っていることから、今後 10 年間でカメラ、プロセッサー、イメージ センサー、処理にどのような変化が見られるでしょうか? そしてそれらは私たちの生活の質にどのような影響を与えるのでしょうか?

新しい車を選ぶとき、1 つのサイズがすべてに適合するわけではありません。 イメージセンサーについても同様のことが言えます。

確かに、ますます大型化して強力なイメージ センサーは、特定のクラスの高性能ビジョン アプリケーションにとって非常に魅力的です。 このような場合、アプリケーションで使用されるイメージ センサーのサイズ、消費電力、価格はパフォーマンスほど重要ではありません。 フラットパネルディスプレイの検査が良い例です。 一部のフラットパネルメーカーは現在、プレミアム品質のディスプレイのサブミクロンの欠陥を探しています。 これは文字通り、ディスプレイ上のバクテリアを検出するには十分な大きさです。

地上および宇宙ベースの天文学アプリケーションでは、さらに高いパフォーマンスが求められます。 米国エネルギー省の SLAC 国立加速器研究所の研究者は、複数の小型イメージ センサーのアレイを使用して、今日のカメラ数百台に相当する 3 ギガピクセルのイメージング ソリューションを実証しました。 SLACによると、画像の解像度は「約15マイル離れたところからでもゴルフボールが見えるほど」だという。 この驚くべき成果から、世界の研究機関が達成できることの将来はほぼ無限であることが推測できます。

大規模シノプティックサーベイ望遠鏡 LSST カメラ チームのメンバーは、3.2 メガピクセルの画像を表示できる CCD センサーの円形アレイであるカメラの焦点面に L3 レンズを取り付ける準備をしています。 画像提供：ジャクリーン・ラムザイヤー・オレル/SLAC国立加速器研究所

しかし、解像度がどれほど高くても、確立された 2D イメージングの能力が不足し始めていることがわかります。 高度な光学検査システムは、実際には高速化やより多くのデータを必要としません。 彼らはより多くの有益な情報のみを要求します。

単一ピクセルごとに必要な情報量が増え続けることに関するいくつかのトレンドが定着しつつあります。

3D 画像キャプチャは、さらなる粒度、詳細さ、検出機能を提供する追加の次元を提供します。 バッテリー検査や、テレビ/ノートパソコン/電話画面の製造などのアプリケーションでは、光学式検査センサーを活用してさらに多くの情報を収集しています。 この場合、サブミクロンの解像度で 2D 欠陥を見つけるだけでも不十分になりつつあり、画像が他の粒子状物質の中でも清掃可能な塵、硬い粒子、または針状物質の影響を受けているかどうかを判断するために、欠陥の高さ、場合によっては形状を把握する必要があります。

アプリケーション開発者は、顧客のニーズを満たすために、色、角度、および 3D や光の別の次元である偏光などのさまざまなイメージング モダリティを熱心に採用しています。 一方、カメラメーカーは業界向けのツールを提供するために懸命に取り組んでいます。

ハイパースペクトル イメージングも、急速に強化されている傾向です。 ほとんどのリモート センシング技術と同様に、ハイパースペクトル イメージングは​​、すべての物体がその電子構造 (可視スペクトルの場合) と分子構造 (SWIR/MWIR スペクトルの場合) により、波長に基づいた固有のスペクトル フィンガープリントを持っているという事実を利用します。可視光と不可視光を吸収および反射します。 これにより、通常のカラー画像システム (人間やカメラなど) では見えない多数の詳細が明らかになります。 材料中の化学を「見る」能力は、鉱物、ガス、石油の探査、天文学、氾濫原や湿地の監視などに幅広く応用できます。 高いスペクトル分解能、分離、速度は、ウェーハ検査、計測学、健康科学に役立ちます。

これらの市場では、センサーとカメラのメーカーが速度、コスト、解像度、機能の限界を押し広げています。 当社は、X 線から始まり高精度の熱画像に至るエネルギー検出まで、スペクトル範囲内で技術を拡大しており、これにより、より多くのアプリケーションがこれらの技術にアクセスできるようになります。 このより注意深く、より速く、正確な検査は、製造業者が食品、汚染物質の検索、内容物の測定、食品由来細菌のスクリーニングなどに関する全数検査を導入するのに役立ちます。

画像処理は本質的にデータ集約型です。 現在、非常に高いフレーム レートで動作する高解像度イメージャーは、16 GB/秒を超える連続データを生成できます。 アプリケーションは、このデータを取得、分析し、それに基づいて行動する必要があります。 人工知能 (AI) の緊急事態により、処理ニーズの限界がさらに押し広げられています。

信号機取り締まり用の AI ベースのカメラを例に考えてみましょう。

通常、これらのアプリケーションは 10 メガピクセルのセンサーを使用し、毎秒約 60 フレームで動作します。 これにより、わずか 600MB/秒のデータの連続データ ストリームが配信されます。

現在の典型的なニューラル ネットワーク処理は、カラーで 224x224 ピクセル = 3*50 キロ ピクセル、ピクセルあたり 3*1 バイト (フレームあたり 150kB) 程度の小さな画像フレームの使用に基づいて構築されています。 最新の PC の CPU では、物体認識ニューラル ネットワークを 20 フレーム/秒で実行でき、最大 3MB/秒のデータ スループットを達成できます。 これは、交通カメラよりもデータ スループットが 200 分の 1 低いため、可能性のあるトラフィックが抑制されます。入力データストリームが深刻です。

インテリジェント交通ソリューションでは、ビデオおよびサーマル カメラと人工知能、ビデオ分析、レーダー、および V2X と交通管理およびデータ分析ソフトウェアを組み合わせて、都市の安全かつ円滑な運営を支援します。 Teledyne FLIR 経由の画像

注意することが重要です。出力ストリームは単なる生データとしてではなく、情報として見るべきです。 600MB/秒の画像ストリームの例に従って、システムは追跡、読み取り、処理を実行して、シーンごとにいくつかの数値を取得します。 ナンバープレートが表示されたり、並べ替えアプリケーションでは、膨大なデータ ストリームが 1 ビットにまで削減される「取り出し: はいまたはいいえ」だけでも表示されるかもしれません。

これは簡単な作業ではありませんが、達成できれば、下流のデータのキャプチャ、処理、保存にとって非常に魅力的になります。 これらの入力データ ストリームの制限を解決するには、賢いセンサー エンジニアリング、高度な AI プロセッサー、統合されたアルゴリズム ソリューションを組み合わせる必要があります。

大多数のカメラは、中央処理装置 (CPU) やフィールド プログラマブル ゲート アレイ (FPGA) などの従来の半導体を使用しています。 より強力なユニットでは、より強力な FPGA またはグラフィックス プロセッシング ユニット (GPU) が使用される場合があります。 これまでのところ、この種のプロセッサはムーアの法則に従うことができていますが、過去のパフォーマンスは将来を保証するものではありません。

さらに、GPU、CPU、FPGA は大量の電力を消費するため、大量の熱が発生します。 これは適切な設計である程度は管理できますが、長期的な課題を解決するには代替プロセッサと処理、つまりアーキテクチャが必要になります。

量子コンピューティングと統合フォトニクス/エレクトロニクス プロセッサは、あらゆる画像処理アプリケーションの最も要求の厳しいパフォーマンス/電力要件を満たすためにラインナップされています。

ただし、これらのテクノロジが利用可能になり商業的に実現可能になるまでは、コンピューティングインメモリや統合された専用アクセラレーションなどの新しいプロセッサ アーキテクチャが可能性の限界を押し広げ続けるでしょう。

主に、メーカーはシステムに適切なプロセッサを選択する際に、テラ演算数/秒/ワット (TOPS/W) を考慮する必要があります。 これは生の電力効率を表す有用な性能指数ですが、最終的な要件は実際にはワットあたりの決定であり、この指標はまだ存在していないことを覚えておく必要があります。

処理面では、Microsoft、Apple、Google などの大手企業によって推進され、速度と機能の両方でアルゴリズムの進歩が見られます。 AI ベースのソリューションは軽量化されていますが、さらに高機能で幅広い機能を備えています。 従来のアルゴリズムベースのソリューションは、最新のプロセッサ アーキテクチャをより効率的に利用しています。 既存の導入フローに統合できる商用 AI ソフトウェア ツールの可用性により、電力とコストの削減と同時に機能が向上します。

高度なイメージ センサー テクノロジーと併せて、空間的、時間的、さらには光子レベルで実装されるイベントベースのセンシング (光子増倍管や電子増倍 CCD (EMCCD) など) を含む、低データ ソリューションの進歩も見られます。交換品。

Evolve カメラ製品群には、量子効率と低読み取りノイズを実現するために Teledyne e2v によって設計および製造された世界をリードする EMCCD センサーが含まれています。 これらのセンサーは、単一分子イメージングや TIRF 顕微鏡などの極度に低照度のアプリケーション向けに、Teledyne Photometrics によってカメラに統合されています。

イベントベースのセンサーは変化に反応し、無関係なデータをセンサー内で直接フィルタリングして、変化したピクセルからの情報のみをプロセッサーに送信します。 これは、すべてのピクセルを記録して処理のために送信するため、システムのパイプラインに過剰な負荷をかける従来のフレームベースのセンサーとは異なります。 そのデータ処理アーキテクチャが人間の脳が情報を処理する方法を模倣しているため、このタイプのデータ フローをニューロモーフィック処理と呼ぶことがよくあります。 ニューロモーフィック処理はプロセッサー内で実行できますが、最適なデータ量削減を達成したい場合は、イベントベースのセンサーとニューロモーフィック プロセッサーを組み合わせる必要があります。

スマート関心領域 (ROI) 機能や動的データ削減アルゴリズムなど、データ送信を動的に削減する賢い方法は他にもあり、ハイエンド センサーで導入され始めています。

特殊なデータ キャプチャ動作と高性能プロセッサおよびインテリジェントな軽量アルゴリズムを統合することで、イベントが発生しアクションが必要となるエッジで意思決定を行うために必要な重要な組み合わせが得られます。 このアプローチを使用すると、高性能、高情報の光学式検査システムであっても、長時間、低速で高価な PC 接続を必要とせずに独立して動作できるため、コストを削減しながら 100% 監視して問題に迅速に対応できるようになります。

全体として、これらの進歩により、さまざまな製品、農作物、商品の安全性と品質が向上すると同時に、生産コストも削減されます。

従来の方法を逃れる別のレベルの検査があります。

ディスプレイ上のバクテリアの検出を望まないフラット パネル メーカーとは異なり、ユーザーが非常に高い解像度でバクテリアを確認する必要がある場合があります。

ここでは、光学的、化学的、生物学的、計算的手法を組み込んだ高倍率顕微鏡技術を使用して、世界のナノ構造に関するより深い情報を提供しています。

画像センサーにより、人間の組織のがん細胞を検査することが可能になりました。 組織サンプル中のがんを検出する今日の方法は粗雑で、組織サンプルを外科的に除去し、その後さらなる研究のために研究室に送る必要がありますが、新しい技術であるセルサイトメトリーにより、いつの日か医師がサンプルががん性かどうかを判断できるようになるでしょう。患者がまだ手術台にいる間、ほぼリアルタイムで。 処理能力がピクセルに近づくにつれて、臨床現場の大規模な研究室で細胞の画像を取得し、その DNA を調べることができるようになりました。 将来的には、このほぼリアルタイムの細胞検査を大規模な研究室から地元の研究室、そして最終的には手術台に移す予定です。

香港大学の研究者は、血液スクリーニングの時間とコストを削減するためにイメージング フローサイトメトリー技術を開発しました。 Teledyne SP Devices のデジタイザでパルス レーザー ライン スキャン イメージングを使用し、ディープ スキャン イメージングと組み合わせることで、結果として得られる膨大な量のデータ (最大 100,000 個の単一細胞画像/秒と 1 TB の画像データを 1 ～ 2 分で処理することができました) -学習ニューラルネットワークと自動化された「ビッグデータ」分析。

外科医が手術中に診断を完了するためのツールを備えていることを想像してみてください。 患者にストレスのかかる待ち時間を課したり、医師に二度目の手術を強要したりすることなく、リアルタイムで腫瘍を分類して切除できる可能性がある。 それは生活の質の真の向上です。

サイズは、イメージングと視覚の発達に新たな課題をもたらします。 新しい高機能ソリューションは通常、高価で大規模です。 生体内手術中にゲノミクス分析装置をデスクトップに設置することを目指すことは、医師とその患者にとってより小型でアクセスしやすいソリューションを実現するためには、克服しなければならない課題の例となります。

小型カメラアプリケーション向けの超小型イメージセンサー、光源、プロセッサーが役に立ちます。 小型チップオンザチップ CMOS イメージ センサーは、外科医に低侵襲の内視鏡手術や腹腔鏡手術を以前よりも効率的に行うために必要な視覚を強化します。 ロボット誘導手術も同様に、特定の医療処置に合わせて最適化された非常に小さなピクセルピッチと画質を備えたコンパクトなイメージセンサーの恩恵を受けます。

使い捨ての柔軟な内視鏡および腹腔鏡用の「チップオンザチップ」CMOS イメージ センサーには、非常に小さなピクセル ピッチと、特に医療用途に最適化された画質を備えたコンパクトなセンサーが必要です。

強力で効果的なツールを医師が利用できるようになると、医療処置がより迅速になり、侵襲性が低くなり、より成功するようになり、患者、医師、そして医療界全体に利益がもたらされます。

カメラと画像センシング技術の進歩は、工場の現場や倉庫、インテリジェント輸送システムだけでなく、大きな影響を与えるでしょう。 次世代のカメラは、ドローンに配備されたり、ハンドヘルド機器に組み込まれたりして、分光学を使用して、私たちの農産物や飲料水に毒素が存在するかどうか、あるいは私たちが吸う空気中に環境毒素が存在するかどうかを教えてくれます。

SARS-CoV-2などの病気のポリメラーゼ連鎖反応（PCR）検査でさえ、分子診断ツールに低コストのイメージセンサーが使用されるため、より簡単かつ安価に実施できるようになります。 また、かつては祖先を決定するためにヒトゲノムの配列を決定するために大型で高価な機械が必要だった DNA 配列決定も、イメージングと分析の技術革新により、ますます利用しやすく、手頃な価格になるでしょう。

100% の精度で予測することはできませんが、市場の需要と進化するテクノロジーについての知識に基づいて予測することはできます。 より低い電力とより低い温度でより大きな計算力を提供する、これまで以上に強力な AI プロセッサーが期待されます。 強力なアルゴリズム ソリューションと組み合わせることで、ソリューション プロバイダーはより広範囲の適切なアプリケーションにアクセスできるようになります。

ニューロモーフィック コンピューティング プラットフォームは、人間の視覚の効率を模倣します。 より直観的な AI ソフトウェア アルゴリズムにより、マシン ビジョン モデルがこれまでより効果的にトレーニングされます。 ハイパースペクトル イメージングは​​今後も私たちを地球の表面の下に連れて行きます。 また、小型化された画像センサーにより、患者が手術を受けている間に分子診断が可能になります。

18 世紀初頭に最初の写真用カメラが発明されて以来、カメラは 100 万マイルもの進歩を遂げてきました。 カメラや画像センサーの技術革新により、私たちの周囲や内部の世界を理解する能力が向上するにつれて、私たちはさらに何百万回も旅行することになるでしょう。

マティアス・ソンダー著、Teledyne DALSA