内視鏡画像解析におけるAIの立ち位置は？ ギャップと今後の方向性を読み解く

npj デジタルメディスン 第 5 巻、記事番号: 184 (2022) この記事を引用

4577 アクセス

15 オルトメトリック

メトリクスの詳細

深層学習の最近の発展により、人間レベル以上のパフォーマンスを達成できるデータ駆動型アルゴリズムが可能になりました。 医用画像解析手法の開発と展開には、人口の多様性や機器メーカーの違いによるデータの異質性など、いくつかの課題があります。 さらに、信頼性の高いメソッド開発プロセスには、専門家からのさらなる意見が必要です。 臨床画像データの指数関数的な増加により、ディープラーニングの隆盛が可能になりましたが、データの不均一性、マルチモダリティ、稀な疾患や目立たない疾患の症例については依然として調査する必要があります。 内視鏡検査はオペレーターに大きく依存しており、一部の疾患では厳しい臨床転帰を伴いますが、信頼性が高く正確な自動システムガイダンスにより、患者ケアを向上させることができます。 設計された手法のほとんどは、目に見えないターゲット データ、患者集団の変動性、さまざまな疾患の出現に対してより一般化できる必要があります。 この論文では、人工知能 (AI) による内視鏡画像解析に関する最近の研究をレビューし、この分野における現在の比類のないニーズを強調しています。 最後に、患者の転帰を改善するための臨床関連の複雑な AI ソリューションの将来の方向性について概説します。

内視鏡検査は、多くの中空臓器に対するゴールドスタンダードの処置です。 これは主に疾患の監視、炎症の監視、癌の早期発見、腫瘍の特徴付けと切除処置、低侵襲治療介入、治療反応の監視に使用されます。 内視鏡画像解析は近年、より注目を集め始めており、コンピュータ支援検出（CADe）1、2、3、4、5、コンピュータ支援診断（CADx）6 において内視鏡画像ベースの手法が多数公開されています。 、7、8、9、10、11、およびコンピューター支援手術 (CAS)12、13、14、15、16。 他の放射線データ (X 線、CT、MRI など) とは異なり、内視鏡画像化とその分析は高度に専門化され、やりがいのあるテーマです。 内視鏡画像処理には、オペレータへの大きな依存性（経験や訓練など）、スコープ関連の問題（画像品質のばらつきなど）、シーンのダイナミクスを強調する要素（深刻なアーティファクトを伴うフレームの差し迫った破損、大きな臓器の動きなど）を含む多要素の依存関係があります。表面ドリフト17)。 消化管内視鏡介入の品質基準は、いくつかの注目すべきガイドライン研究で議論されています 18,19。 最近の研究の中には、内視鏡検査の品質を評価するためのメトリクスを自動化する深層学習領域を探求したものもあります。 これらは、盲点を定量化する際に特に重要です 20,21。 SLAM ベースの 3D 再構成は結腸マップの生成に使用されました 18 が、上部消化管 (GI) がんの前駆体であるバレット食道の長さと面積は、深層学習ベースの深さ推定技術 22 を使用して定量化されました。 同様に、低侵襲外科手術 (腹腔鏡検査など) で最も重要な作業は、下線を引いた場面を理解し、解釈することです。

中空臓器の 3D 再構成は不可欠ですが、高度に非線形な臓器変形、シーンの乱雑さ (例: 体液の流出、血液)、閉塞 (例: 肝臓手術の周囲の脂肪) などのいくつかの理由により、達成が困難です。 したがって、ほとんどの研究は、分類、検出、およびセグメンテーションの方法を使用したローカルシーンの評価に焦点を当てています。 消化管内視鏡検査では、病変の検出と特徴付け、およびその描写が主な焦点となります1、2、3、4、5、6、7、8、9、10、11。 同様に、尿管鏡検査ではターゲットを絞った結石のセグメント化とその特徴付けが主な焦点であり 23、膀胱鏡検査では腫瘍の検出 24 が研究されています。 低侵襲腹腔鏡介入では、手術ツールの分類 12、検出とセグメンテーション 13、位相認識 12,14、関連するランドマークのセグメンテーション 15、および術中の 2D 腹腔鏡への術前 3D ボリュームの重ね合わせ 16 が焦点となっています。 さまざまな内視鏡介入における主要な目的とさまざまな内視鏡画像解析タスクの図解的な概要を図 1 に示します。

広く使用されている内視鏡処置は個別の独自のカテゴリーとサブカテゴリーに分類され、残りの処置は他のカテゴリーに分類されます。 それぞれは、関心のある器官、介入の種類、目的、およびこれらの内視鏡処置で提示される目的の一部に対処するために開発されているコンピューター支援方法に分類されます。

人工知能 (AI) を活用した内視鏡画像解析アプリケーションに関するこれまでのレビュー作品のほとんどは臨床雑誌に掲載されています (2020 年から 2022 年に技術雑誌に掲載されたのは 22 件で、わずか 11 件でした)。 臨床レビュー論文は主に消化管内視鏡検査における病変用の CADe および CADx システムに焦点を当てています 25,26 が、技術レビュー論文は主に腹腔鏡手術を中心に集中しています 27,28。 他の臓器と比較して、上部消化管疾患（バレット食道、扁平上皮癌（SCC）、胃 25,29）および下部消化管疾患（結腸直腸ポリープ 26,30,31 および潰瘍性大腸炎 32,33）に関するレビューが優勢です。 さらに、一部のレビューのタイトルは一般的なものでしたが 26,34、それらは消化管内視鏡監視からの研究のみを提示しており、内視鏡画像解析の他の領域はカバーしていませんでした。 私たちの知る限り、以前に出版されたレビューは特定の内視鏡処置のみをカバーしています。 彼らは、さまざまなモダリティ、さまざまな臓器固有のデータの課題、病変の性質、および視覚化の課題を含む包括的な要約には関与していません。

これまでのレビューとは異なり、この論文は臨床統合への道を解読することを目的としています。これは、内視鏡関連のすべての研究を 1 か所にまとめ、以前と現在の成果を明確にすることによってのみ可能です。 さらに、提示されたレビューは簡潔であり、最も重要かつ包括的な研究に焦点を当てており、同様の研究が個別に照合されています (表 1 および 2 を参照)。 このレビューでは、以前の研究ではカバーされていなかった膀胱鏡検査、尿管鏡検査、鼻咽頭内視鏡検査など、さまざまな内視鏡データセットに適用された深層学習手法を示しています。 共存する課題を学び、各内視鏡処置のギャップを特定することは、臨床的に適切で高度なデジタル ヘルスケアに必要な開発を決定するために不可欠です。

内視鏡検査は術者に依存するため、人的ミスが発生しやすく、腺腫検出率（ADR）が低下する可能性があります（例、結腸内視鏡検査で報告されています35）。 その他の制限には、腫瘍サイズ、病変の位置、および低侵襲腹腔鏡手術中の閉塞などの技術的課題が含まれます36。 内視鏡処置と画像処理の課題は臓器ごとに異なります。 腹腔鏡低侵襲手術における視野の制限の問題に取り組むために、複数の硬性内視鏡が使用されています37。 ただし、他の臓器が重なっているため、この手順は非常に困難です。 同様に、結腸直腸のスクリーニング手順は、結腸の蠕動運動と排便により柔軟なスコープを使用して行われます。 これらすべての手順において、非常に類似した画像処理の制限があるという証拠がさらにあります。 胃内視鏡検査では、粘膜をきれいにするために泡や、場合によっては食べ物の残留物も洗い流されます。 また、結腸の画像化の前に腸洗浄が必要です。 同様に、膀胱鏡検査中に膀胱壁を生理食塩水で洗い流して、表面をより鮮明にします。 洗浄液は、腎臓結石の破砕手順中に現場の雑然としたものを取り除くために使用されます。 シーンの閉塞は、鼻咽頭内視鏡検査における主要な課題要因です（図 2a ～ f）。 アルゴリズム的な意味では、シーンのクラッターは、今日の AI アプローチ、つまりディープラーニングを含む、ほぼすべての画像分析アルゴリズムに影響を与えます。 それは、根底にある粘膜を理解することが難しくなり、異常を特徴付けることが難しくなり、きれいな画像で訓練された学習済みネットワークが混乱することにつながるためです。 尿管鏡検査の場合、浮遊破片により腎臓結石の分割と特性評価が困難になります。 同様に、ADR の低下は腸の準備に関連しています 38。 このような準備も重要であり、深層学習のアプローチに影響を与える可能性があります。 臓器ごとに病気の出現が異なるため、包括的な課題が生じます。 ただし、これらの課題の中には一般的なものもあります。 たとえば、画像品質の問題、不均一な手の動き、臓器の動きは、ほとんどの内視鏡処置でよく見られます。 同様に、閉塞による病変の検出の見逃しは、すべての内視鏡処置において共通の制限要因となる可能性があります。 さまざまな内視鏡取得におけるこれらの手法をレビューすることは、最も一般的な深層学習アプローチと固有の見逃した機会を理解することを目的としています。

軟性内視鏡を挿入して十二指腸の食道と胃部分の粘膜を視覚化する胃内視鏡検査処置。 スコープの位置によってシーンが大きく変化することがわかります。 同様に、左上の画像では、粘膜を取り囲む泡が観察できます。 b 結腸内視鏡検査は結腸と直腸を対象とし、この複雑にねじれた器官をナビゲートするために柔軟な内視鏡が使用されます。 腸洗浄は病変を塞ぐ可能性があるため、必須の準備です。 ほとんどの画像では、便の存在は閉塞異常の明らかなマークです。 c 腹腔鏡検査では、通常、小さな切開穴から硬性内視鏡が挿入されます。 肝臓の周囲の脂肪、肝臓の鮮明な視野、手術中の器具の存在、脂肪による肝臓の完全な閉塞を描いた画像が示されています。 d 広く使用されている硬性内視鏡は、尿道から挿入された膀胱壁を調査するために使用されます。 従来の白色光画像モダリティ (最初の 3 つ) と蛍光画像 (青) モダリティを示します 125。 上の 2 つの画像はぼやけていて、血管構造がほとんどまたはまったく示されていないことがわかります。 e 尿管鏡検査およびレーザー結石破砕術を使用した腎臓結石の除去。 in vivo 画像の質感と周囲の破片 (上) および血液 (下) の違い71。 f 軟性内視鏡は鼻の穴から入り、鼻から喉の部分まで到達できるため、総称して鼻咽頭内視鏡と呼ばれます。 画像（左側）は、小さな開口部と視野、および一部の症例の手術器具を示しています126。 関連する内視鏡画像のソース: の胃内視鏡検査画像と結腸内視鏡検査画像 (a と b は、Ref. 16/YH/0247 に基づいてオックスフォード大学病院から取得され、公的にリリースされた内視鏡検査チャレンジ データセット (CC-by-NC 4.0 および PolypGen128 に基づく EDD2020127) の一部を構成しています) CC-by に基づき、S. アリ博士は両方のデータセットの作成者です)肝臓腹腔鏡検査データは最近実施された P2ILF チャレンジから取得されています 129 (S. アリ博士はこのデータセットの作成者です)、膀胱鏡検査と尿管鏡検査データはそれぞれS. Ali 博士の博士論文 130 および彼が共著者である最近出版された論文 71. 同様に、鼻咽頭画像は、ライセンス不明で公開されている UW-Sinus-Surgery-C/L データセット 126 に対応します。

機械学習アプローチはデータ駆動型であり、主に損失関数 L の最小化 (非類似性誤差) または最大化 (類似性) に向けて方向付けられます (図 3a)。 オプティマイザー (通常は微分器) は、計算された損失関数の局所的な最適値を繰り返し見つけるために使用されます。 損失は​​通常、予測ラベル y とグランド トゥルース ラベル ytrue の間にあります (図 3a)。 ニューラル ネットワークは、事前定義された従来の画像処理フィルターとは異なり、学習可能なフィルターまたはニューロン (別名カーネルまたは重み) で構成されます。 異なるサイズのカーネル (例: 3 × 3 カーネル、K3×3 = {w1,..., w9}) から取得されたこれらの重みは、より複雑な学習を可能にする非線形活性化関数 a(.) に渡されます。そうでなければ識別されないであろう機能。 ニューラル ネットワークの重みは、各反復のオプティマイザーの出力に基づいて調整されます。 入力サンプルはほとんどがバッチで処理され、トレーニング中のすべてのサンプルに対する完全な反復はエポックと呼ばれます。 学習されたモデルの重みは、テスト データセットに適用されます (推論またはテスト フェーズとも呼ばれます)。 ほとんどの方法は、損失関数を最適化し、検証セットを使用してネットワーク θ のハイパーパラメーターを調整します。 ただし、このような最適化は、病変の分類、検出と位置特定、セマンティック セグメンテーション (ピクセルごとの分類)、インスタンス セグメンテーション (領域ボックス回帰およびピクセルごとの分類)、深度推定タスクなどのさまざまなタスク設定に対して実行できます。 バレット食道の新生物分類のための既知の深層学習アーキテクチャの概要図。 結腸内視鏡検査におけるポリープの検出、位置特定、およびセグメンテーション。 腹腔鏡手術中の手術器具の位置特定とセグメンテーション。 食道の 3D 深度推定と再構成。 畳み込みニューラル ネットワーク (CNN) への時間的なビデオ コンテキストの組み込みが実証されています (図 3b)。

a 損失関数を最小化するためのオプティマイザーを備えた深層学習システムの概念図。 3 × 3 カーネルと、カーネルの重みとバイアスを使用して計算された各ピクセルの重みで構成される、簡略化された畳み込みニューラル ネットワーク (CNN) ブロックが提供されます。 また、より複雑な特徴を捕捉するために適用される非線形活性化関数も示します。 トレーニングとテストのフェーズは分割データセットで構成され、学習されたパラメーターが一般化され、トレーニング データセットに過剰適合しないことを保証するために検証セットが使用されます。 検証セットを使用して調整されたモデルの過剰適合グラフが表示されます。 b 内視鏡画像解析のさまざまなタスクに対して広く使用されている深層学習アーキテクチャのいくつかを示します。 分類ネットワークには、通常、softmax3 などの分類器が後に続くエンコーダー ネットワークのみが使用されます。 検出のために、エンコーダ ネットワークを使用して特徴が抽出され、次に領域提案ネットワークを使用して抽出され、クラスと境界ボックス表現の両方が予測されます128。 セマンティック セグメンテーションの場合、エンコーダ機能はピクセルごとの分類に合わせて画像サイズにスケールアップされます。 同様に、インスタンス セグメンテーション タスクでは、境界ボックスの領域提案とマスクのピクセルごとの予測の両方が使用されます131。 深度推定ネットワークの考え方は、現実世界の座標系での距離を提供する解剖学的領域からカメラがどのくらい離れているかを理解することです22。 最後に、リカレント ニューラル ネットワーク (別名 RNN) は、時間的なビデオ情報を埋め込んで、CNN ネットワークからの現在の予測を改良することができます64。 ここで、連続フレーム入力 v1、...、vn が CNN ネットワークに供給され、視覚特徴ベクトル p1、...、pn が生成され、それが RNN ネットワークに供給されます。 RNN の出力は、n 番目のフレーム qn の出力が現在と前のフレームの両方、つまり特徴ベクトル q(Vn) と他のすべての前の特徴ベクトル q(Vu) に依存するように、各フレームにコンテキストを意識した予測を提供する時間的関係を表します。 )、u < n。 CNN ネットワークと RNN ネットワークは両方ともブースティング戦略を使用して共同で最適化されます。 関連する内視鏡画像のソース: (a および b) の胃カメラおよび結腸内視鏡画像は、参考文献に基づいてオックスフォード大学病院から取得されています。 16/YH/0247 に準拠し、公的にリリースされた内視鏡検査チャレンジ データセットの一部を形成します (EDD2020127 は CC-by-NC 4.0 に基づき、PolypGen128 は CC-by に基づき、両方のデータセットの作成者は S. Ali 博士です)。 手術データは ROBUST-MIS113 から取得されます。

このレビューでは、臓器固有の手順ごとに機械学習手法 (特に深層学習) を適用する傾向を特定し、議論します。 第二に、将来の方向性につながる現在のギャップが解読されます。 Web ベースの検索により、ほとんどの手法が、広く使用されている CNN で構成される教師あり学習タスクを使用して重みを最適化していることが明らかになりました。 これらのタスクには、分類、検出、セグメンテーション、深度推定が含まれます。 文献は、次のセクションに記載されている検索基準と包含基準を使用して選択されました。 主な焦点は、最近の研究を検討し、各イメージング手順と実装された方法における制限要因を理解することです。 私たちは、同様の内視鏡技術で開発された方法を学び、他の分野でも有益な方法を特定することを目指しています。 将来の開発では、内視鏡画像化における既存のギャップと課題により、戦略的計画を確立し、信頼性が高く許容できる内視鏡画像化法のプロトコルを構築できるようになります。

関連文献の検索には、Medline、Embase、Springer、Web of Science、IEEE Xplore データベースが使用されました。 臓器固有の内視鏡検査に焦点を当てるために、内視鏡検査、結腸鏡検査、肝臓腹腔鏡検査、尿管鏡検査などの名前が使用されました。 また、機械学習、AI、深層学習などの計算研究が内視鏡手術名とともに追加され、検索が凝縮されました。 2018 年以降、2022 年 6 月初旬までのほとんどの研究がこのレビューの対象に選択されます。 アクティブフィルターを使用した「内視鏡ディープラーニング」の記事、英語だけについては、Medline で 251 件の論文、Embase で 1740 件の論文が見つかりました (「Embase」にはレビュー論文も含まれていたため)。 重複もすべて削除されました。 内視鏡検査における AI、内視鏡検査用のディープラーニング、腫瘍分類などのキーワードを使用した高度な検索により、それぞれ 33 件、13 件、36 件の論文が見つかりました。 したがって、選択された論文は高度な検索ではなく「基本的な検索」からのものです。 基本的な検索では、より多くの記事が見つかりました。 ただし、これらを減らすために、ボアスコープ、トライアル、ソフトウェア、光音響、CT、MRI、ハードウェア、シミュレーション、人間と機械の研究、マイクロ超音波、スライド全体のイメージング、放射線学などを含むフィルターをさらに適用しました。 2020年から2022年までの期間も考慮されています。

腹腔鏡下外科的介入に関する科学ウェブ上の検索には、腹腔鏡下肝臓セグメンテーションや腹腔鏡下ディープラーニングなどのキーワードが含まれていました。 このために、36 件の論文を含む 56 件の論文が見つかり、そのうち 12 件の総説論文が見つかりました。 腹腔鏡に対する深い理解の傾向は、2018 年の 6 件の論文から 2021 年には 21 件の論文に増加しました。特定の疾患の症例に加えて、品質、解剖学的分類/認識、他のモダリティ (ラマンや (ハイパー) スペクトルなど) および深さ、または3D 再構成も確認されました。 消化器内視鏡検査における臨床および技術コミュニティの成長傾向に対処するために、提示されたレビューには追加の方法固有の貢献が含まれています。 この分野での技術的貢献を強化するために、8 つの査読済みの会議作品も追加されました。

このレビューをより焦点を絞り、偏りを減らし、臨床統合に向けた方法を反映させるために、提示された研究には以下の追加の包含基準があります。

研究論文には、（以前に発表された研究と比較して）大規模な患者コホートが含まれている必要があります。技術的に発表された研究の場合は、少なくとも公開されている少数のデータセットと比較してください。

研究論文には、研究の偏りを減らすために、記事内で報告された特定のトレーニング、検証、およびテストセットが含まれている必要があります。

研究論文に新規性が含まれていても、患者データに基づいて包括的に評価されていない場合、そのような研究は破棄されるか、方法への貢献の対象に含められます。

厳密に評価された各メソッドがメインテーブルに含まれています。 ここでは、固有のモダリティ、固有の標的疾患、および個別のタスク (分類、セグメンテーション、検出、位置特定など) が選択されました。 同時に、同様の研究が興味のある読者のために別のコラムで提供されます。

広く研究されていない他の内視鏡手術における AI に関するセクションが含まれており、鼻咽頭、気管支鏡、および甲状腺切除術に関するいくつかの研究をカバーしています。

深度マップの推定と 3D 再構成については、より広範な患者データセットでは評価されないため、作業は追加のアプリケーションの下に別のセクションとして含まれています。 同じセクションの下で、この調査を完了するために、内視鏡検査および解剖学的ランドマーク分類の品質保証に関連する研究も含まれています。

食道・胃・十二指腸内視鏡検査（OGD）は、上部消化管（食道、胃、十二指腸を含む）の監視を行うために使用されます。 対照的に、結腸内視鏡検査と S 状結腸鏡検査では、結腸や直腸を含む下部消化管臓器が検査されます。 深層学習の最近の発展により、コンピューター支援の検出および診断システムの構築においていくつかの進歩が見られました。 OGD と比較して、結腸内視鏡検査にはより多くの研究が焦点を当てています。 最近のレビューの中には、GI25、26、30 の上位および下位にある選ばれたグループのいくつかの作品が取り上げられています。 ただし、これらの研究で使用されるトレーニング テスト データセットと学習ベースの手法の種類、あるいはその両方の区別は示されていません。 最も多く見つかったレビュー論文のプレゼンテーションでは、深層学習 (DL) 用語を含むより一般的な CADe および CADx システムが使用されていました。 より低い GI の DL 方法は、31 に示されています。 ただし、これらは結腸直腸ポリープのみに焦点を当てています。 このレビューでは、読者に臨床ニーズと技術的手法の開発の両方についてのアイデアを提供するために、トレーニング データとテスト データの分割、および特定のタスク用に開発されたアルゴリズムの種類について明確かつ簡潔に言及しています。

OGD に関しては、バレット食道患者の増加が憂慮される中、食道の前駆病変が現在の多くの機械学習ベースの開発の主な焦点となっています。 ハイブリッド ResNet-UNet アーキテクチャを使用して、腫瘍性および非異形成バレット食道 (NDBE)1 を分類しました。これにより、2 つのテスト データセットで 88% 以上の精度が得られました。 同様に、食道の SCC については、ピクセル単位のセグメンテーションに VGG16 ネットワークを使用するエンコーダ/デコーダ アーキテクチャが使用され 39、95.03% の特異性で 98.04% の感度が報告されました。 萎縮性胃炎 (AG) と胃腸化生 (IM) は、胃腺癌の進行における 2 つの主要な段階であり 40、主にヘリコバクター ピロリ感染または自己免疫性胃炎によって引き起こされます。 DenseNet121 は、AG を特徴付けるために 5,470 枚の画像3 を使用してトレーニングされ、テスト データセットで 94.2% の精度が得られました。 同様に、UNet++ と ResNet50 を使用して、AG、IM、出血を分類しました41。 このため、トレーニングには 8141 枚の画像 (患者 4587 人) が使用され、テスト段階では 258 人の外部患者と 80 本のビデオが使用されました。

結腸内視鏡検査では、これらの方法のほとんどは、既知のがん前駆体である「ポリープ」の特定または特徴付けを目的としています。 その成功により、ほとんどのメソッドは広く使用されている CNN を実装しています。 たとえば、76% の精度でポリープ 42 をフレームレベルでバイナリ分類するための 3D CNN。 対照的に、YOLO43 や SDD6 などの検出方法は、ポリープの位置特定と検出に使用され、YOLO では 96% という非常に高い精度で、SSD アプローチでは 90% 以上の感度が報告されました。 AutoML は、Jin et al.9 によって使用されており、再帰学習および強化学習技術を使用して効率的なニューラル ネットワークを検索できます。 最適化された CNN ネットワークは、通常セルとリダクション セルで構成され、分離可能な畳み込み層や平均プーリング層と最大プーリング層などのいくつかの演算を使用しました。 検索されたネットワークにより、位置特定が困難なポリープの全体的な診断精度は 86.7% でした。 新人内視鏡医の能力が73.8％から85.6％に向上したという結果も報告された。 Inception7 は、ポリープを分類し、過形成性と腺腫性を特徴付けるために、感度 98%、特異度 83% で使用されました。

しかし、潰瘍性大腸炎 (UC) の両方に焦点を当てて、「炎症性腸疾患」と呼ばれる腸の炎症を段階的に分類する試みがなされてきました 11,44,45。 クローン病（CD）46,47。 IBD は、内視鏡検査中の疾患の重症度の等級付けにおいて、依然として観察者内および観察者間でかなりのばらつきがあります。 これらの重症度をスコアリングするための臨床的に受け入れられたシステムがいくつか存在し、内視鏡スコアの再現性と信頼性がある程度向上しています。 ただし、これらのスコアリング システムには広範な定義が含まれているため、問題は依然として曖昧です。 これらの問題に取り組み、診断におけるオペレーターのばらつきを最小限に抑えるために、幅広いディープラーニング手法が開発されています。 UC の場合、メイヨー臨床内視鏡スコアリング (MCES) は、正常 (0) から重症 (3) までの 0 ～ 3 のスコアリング システムで構成される患者を層別化するために最も広く使用されているシステムです。 インセプション V3 モデルを使用して、(0 または 1) と (2 または 3)11 の間を 97% の精度と 86% の PPV で分類しました。 同様に、読み取り可能なフレームと読み取り不可能なフレームを区別するための品質管理モデルと、UC 分類用の CNN に基づく深層学習ネットワークが、MCES ≥1、MCES ≥ の場合、それぞれ 0.84、0.85、0.85 の曲線下面積を報告する多施設データセットに基づいて開発されました。 2、MCES ≥3 (二項分類)。 CD は主に小腸に影響を及ぼしますが、従来の内視鏡では到達するのが困難でした。 深層学習を使用した CD スコアリングでは、ビデオ カプセル内視鏡 (VCE) イメージング以外にも数多くの開発が行われています。 潰瘍と正常な粘膜は、5 分割交差検証として Xception CNN モデル トレーニングを使用して分類され、各分割で 95% 以上の精度が示されました 46。 169 層の DenseNet48 を使用した深層学習モデルは、28,071 枚の CRC のある画像 (3,176 人の患者) と 436,034 枚の非 CRC 画像 (9,003 人の患者) で構成される大規模なデータセットでトレーニングされました。 このテストは、同じセンターと 2 つの異なるセンターを含む 3 つの独自のテスト セットで実施され、2 つの未確認のテスト セットで約 75% の感度を備えたトレーニング済みモデルの一般化可能性が実証されました。

結腸内視鏡検査に関する新しい方法の開発については十分に文書化されています 31,49。 これは、ポリープの検出とセグメンテーションに公開データセットが利用できるためである可能性があります。 これらのメソッドは主に会議議事録として公開されており、完全を期すためにここに記載されています。 現在の検出および位置特定のための方法の大部分は、多段階検出器 50、単一段階検出器 51、およびアンカーフリー検出器 52 に分類できます。 これに関連して、リアルタイムのポリープ検出のニーズに対処するために、Wan et al.51 は、YOLOv5 ネットワークと特徴抽出バックボーン ネットワークの各段階の最上層のセルフ アテンション メカニズムを使用して、表示される有益な特徴を強化しました。 Dice スコアが約 2% 向上し、2 つのデータセットの推論時間が短縮されました。 ほとんどの検出器は位置特定タスクに事前定義されたアンカー ボックスを使用しますが、これに対処するためにアンカーフリー検出器 53 の概念が使用され、4 つの公開データセットに対するいくつかの SOTA 手法と比較して競争力のある Dice スコアと推論時間の改善 (1 秒あたり約 52.6 フレーム) が示されました 52。 最近、リアルタイム検出を維持しながら、ビデオ ポリープ データセットの限界ゲインによる予測の空間的および時間的相関を利用するハイブリッド 2D-3D CNN ネットワークが考案されました 54。 3D CNN とビデオの時空間情報のキャプチャを可能にする畳み込み長短期記憶 (ConvLSTM) を使用したバレット食道の異常の検出も技術貢献として公開されました55。

セグメンテーションに関しては、現在の開発はエンコーダ/デコーダ アーキテクチャに広く基づいています56、57、58。 Tomar et al.57 は、効果的なポリープ セグメンテーションのための注意メカニズムとしてテキスト ラベルの埋め込みを組み合わせ、一般化可能性を向上させることを提案しました。 トレーニング中に、サイズ関連およびポリープ数関連の特徴を学習するための補助分類タスクがトレーニングされ、セグメンテーション ネットワークに埋め込まれ、4 つの公開データセットで SOTA 手法と比較して最大 2% の改善が示されました。 TransFuse59 と ColonFormer60 というトランスフォーマーベースのネットワークも最近導入されました。 TransFuse は、変換器と CNN を並列スタイルで組み合わせて、グローバルおよび低レベルの空間詳細の両方をキャプチャできるようにし、DL SOTA 手法と比較して 5 つの公開データセットで 1 ～ 2% 近くのパフォーマンス向上を実証しました。 TransFuse の改善を示す最近の研究は、ColonFormer として発表されました。これは、ミックス トランスフォーマー バックボーンを備えたエンコーダーを使用し、デコーダーは、グローバル マップのエンコーダーのレイヤー全体の特徴マップを結合できるピラミッド プーリング モジュールで構成されていました。 最終的なセグメンテーション マップの予測に広く使用されているアドホックしきい値は、最適化されたしきい値学習を可能にするデータ拡張として信頼度に基づく多様体混合を使用する ThresholdNet を提案することで取り組み、さまざまな SOTA 手法と比較して大幅な改善 (最大 5% 近く) を示しました。

外科的介入のレビュー論文とメタ分析は、レビュー論文 33 件のうち 8 件で実施されました。 これらの作品のほとんどは技術雑誌に掲載されました。 手術ロボットによって送信された画像の分析に使用される低侵襲手術器具の視覚検出、セグメンテーション、および追跡アルゴリズムは、参考文献に示されています。 27、腹腔鏡ビデオ分析に焦点を当てた DL 方法は参考文献 27 で詳細に実施されました。 28. 研究 28 では 32 の深層学習アプローチが使用されました。 この調査では、開発された手法のほぼ半数 (45%) が器具の認識と検出を目的としており、20% が位相認識、15% 近くが解剖学的認識と動作認識であることが明らかになりました。 ただし、少数の論文はガーゼ認識 (3%) や手術時間予測 (5%) に関するもので、最も広く使用されている手術は胆嚢摘出術 (胆嚢摘出手術、51%) と婦人科手術 (女性の生殖器系、26%) でした。 このレビューでは、異常検出、登録、および拡張腹腔鏡検査に関して最近発表された論文が追加されています。

「マスク R-CNN」と呼ばれるインスタンス セグメンテーション手法は、婦人科処置の内視鏡画像上で子宮、卵巣、手術器具をセグメント化するために使用されました61。 「SurgAI」データセットは 461 枚の画像で構成されていました。 別の研究では、腹腔鏡ビデオにおける手術器具の検出に焦点を当て、LapTool-Net62 という名前のマルチラベル分類を提案しています。 LapTool-Net は、リカレント畳み込みニューラル (RNN) ネットワークを使用して、さまざまなツールとタスク間の相関関係を利用しました。 彼らは、M2CAI16 や Cholec80 などの公的に入手可能な腹腔鏡下胆嚢摘出術データセットを使用しました。 彼らは、過小評価されたクラスにはオーバーサンプリング手法を採用し、多数のサンプルを含むクラスにはアンダーサンプリング手法を採用しました。 Inception V1 は、RNN ブロックとしてゲート付き再帰ユニット (GRU) による特徴抽出に使用され、その後に 2 つの完全に接続された分類器が使用されました。 オートエンコーダ技術は、データの「正規」分布を測定し、この分布から逸脱する異常なイベントを再構成エラーとして検出するための学習可能なネットワークとして使用されました63。 トレーニングは Cholec80 データセットとファントム ビデオ データを使用して実施され、Cholec80 では再現率と精度がそれぞれ 78.4%、91.5%、ファントム データセットでは 95.6%、88.1% に等しいことが示されました。 手術中のツールの使用状況の自動モニタリングに関する別の同様の研究でも、視覚的特徴とともに時間的コンテキストを利用しました (リカレント ネットワーク、図 3b)64。 最近の研究では、CASENet を使用して、133 枚の画像からなる 5 人の患者のデータセットにおける肝臓のシルエットと隆起の輪郭を予測しました 65。 この論文は 3D から 2D への輪郭ベースの位置合わせに焦点を当てていますが、この方法は、異常値の除去に RANSAC を使用した Perspective-n-Point 法を使用する古典的なコンピューター ビジョン技術に基づいて構築されています。

深層学習を内視鏡検査に直接適用した研究はほとんどありませんが、この分野は膀胱鏡検査における病変検出 66,67 および特性評価 68 のための堅牢な自動化手法を開発する上で大きな可能性を秘めています。 CystoNet67 は、ピクセル間予測用の 5 つの完全畳み込みネットワークと、バウンディング ボックス予測用の別個の領域提案および ROI プーリング レイヤーを使用して開発されました。 このトレーニングは、2,335 個の良性フレームと組織学的に検証された癌性腫瘍を示す 417 個のフレームを含む 95 人の患者に対して実施されました。 さらに、31 の正常な粘膜を含む 54 の患者のビデオと、腫瘍のある残りの 23 の患者のビデオを使用して、トレーニングされたモデルを検証しました。 トレーニング データと検証データはどちらも、白色光と青色光 (BL) の両方の膀胱鏡検査で構成されています。 この研究では、CystoNet アルゴリズムがフレームごとの感度 90.9%、特異度 98.6% で膀胱がんを特定できることが示されました。つまり、このアルゴリズムは 41 件の膀胱がんのうち 39 件を検出しました。 転移学習戦略が使用され、さまざまな事前トレーニング済みディープ CNN ネットワーク (Inception V3、MobileNetV2 ネットワーク、ResNet50、および VGG16) のアンサンブルが微調整され、各ネットワークの上に追加のレイヤーが追加されました 68。 この研究は、良性腫瘍と悪性腫瘍、腫瘍のグレード（良性、低悪性度、高悪性度）、腫瘍浸潤性（良性、CIS、Ta、T1、T2）などの BL 膀胱鏡画像の分類タスクを目的としていました。 その結果、悪性病変の同定については感度が95.77%、特異度が87.84%であることが示され、腫瘍浸潤性の平均感度と平均特異度はそれぞれ88%と96.56%でした。

同様に、尿管鏡検査については、腎臓結石の特徴付け 69,70 とレーザー結石破砕術 (腎臓結石断片化) のためのそのセグメンテーション 71 が開発されています。 結石の特性評価69のために、シュウ酸カルシウム一水和物（COM）、尿酸（UA）、リン酸マグネシウムアンモニウム六水和物（MAPH/ストルバイト）、リン酸水素カルシウム二水和物（CHPD/ブルサイト）、シスチンを含む5つの異なる組成物を結石研究所から入手しました。石。 この研究には 63 個のヒト腎臓結石が使用され、各結石について少なくとも 2 つの画像が使用されました。 ResNet101 を使用した分類結果を報告するために、Leave-one-out 相互検証法が使用されました。 各結石タイプの特異性と精度（パーセンテージ）は、UA [97.83、94.12]、COM [97.62、95]、ストルバイト [91.84、71.43]、システイン [98.31、75]、およびブルシャイト [96.43、75] でした。 Gupta et al.23,71 は、生体内と生体外の両方のデータセットに対して UNet を使用したモーションベースのセグメンテーション手法を開発しました。 著者らは腎臓結石に加えて、レーザー機器もセグメント化し、レーザー結石破砕術では結石のサイズと使用レーザー距離を理解することが重要であると述べた。 提案された動き誘発性の HybResUNet はセグメンテーションの結果を改善し、レーザー セグメンテーションの場合、石の場合は 83.47%、生体内テスト サンプルでは 86.58% のダイス類似性係数が報告されています。 結果は、生体内と生体外の両方の設定でベースライン ネットワーク (UNet72 など) を上回りました。

他の種類の内視鏡画像ベースの深層学習アプリケーションには、(a) 鼻咽頭悪性腫瘍の検出 73、喉頭鏡検査で取得した画像上の肉芽腫や潰瘍のセグメンテーション 74、(b) 喉頭神経をセグメント化して測定するためのエンドツーエンドの深層学習アルゴリズムなどがあります。甲状腺切除術（外科的処置）中75、および（c）ビデオ気管支鏡画像の深層学習ベースの解剖学的解釈76。 喉頭内視鏡検査に関する最近のレビューとメタ分析の論文 77 では、AI モデルが 0.806 ～ 0.997 の高い総合精度を示すことが示唆されています。 ただし、このレビューでは AI モデルの詳細は示されておらず、使用されたサンプルサイズも示されていません。

この研究には、27,536 枚の画像からなる組織学的に確認された患者サンプルが使用されました。そのうち 19.7% は健康な患者からのもので、残りは良性 (13.2%) や上咽頭癌 (66%) などのさまざまな病理学的疾患を患っていました。 完全な CNN を使用した場合、全体的な精度は 88.7% であると報告されました78。 ここでは、セマンティック セグメンテーション アプローチが採用され、遡及的および前向きのテスト セットでそれぞれ 0.78 ± 0.24 および 0.75 ± 0.26 のサイコロ類似係数が得られました。 同様に、喉頭鏡検査 74 では、UNet アーキテクチャをトレーニングするために 25 人の患者からの 127 枚の画像にさまざまな病変に注釈が付けられ、ピクセルあたりの感度が肉芽腫については 82%、潰瘍については 62.8% でした。 手術（甲状腺切除術）中の人間の発話を担う反回神経のセグメンテーションは、広く知られているマスク R-CNN（インスタンス セグメンテーション）アプローチを使用して達成されました 75。 データセットには、薄暗い光、近接光、遠くの光、明るい光とその組み合わせなど、さまざまな困難なシナリオが含まれていました。 セグメンテーションの結果は、40 人の被験者にわたって 95% の信頼区間で 0.343 ～ 0.707 の範囲でした。 麻酔科医は通常、挿管中にビデオ気管支鏡検査を使用しますが、深さと方向を解釈するのが難しい場合があります。 さまざまな回転での解剖学的位置を表示するビデオ気管支鏡検査支援システムは、分類精度 0.86% (左主枝、右主枝、気管分岐クラス) の EfficientNetB1 モデルを使用して開発されました。トレーニングには 6806 枚の画像が使用され、テストには 511 枚の画像が使用されました76。

標的疾患の検出とその特徴付けに焦点を当てることとは別に、最近の文献では、消化管における内視鏡スクリーニング、粘膜の解剖学的部位の検出、粘膜シーンの視覚化のための 3D 深度推定または再構成の品質管理の支援に関連するいくつかの方法の開発も示されています。 私たちの検索では、内視鏡取得の品質に関する少なくとも 10 件の論文、解剖学的分類または検出に関する 4 件の論文、および粘膜の深度マップ推定と 3 次元再構築に関する 9 件の論文が見つかりました。

内視鏡の品質は重大なボトルネックであり、検出の見逃し率を減らすのに役立ちます 18,19。 研究は、深層学習による品質評価の観点から、上部消化管 21,79 と下部消化管内視鏡処置 80 の両方に焦点を当てています。 部位を分類することによる死角の監視は品質管理の指標でしたが 21、内視鏡フレーム内のぼやけ、泡、鏡面性、彩度、コントラストなどのアーチファクトは、別の研究では品質の指標でした 79。 臨床論文では、品質管理用の既製の DCNN ネットワークが使用されました21。 しかし、方法論的に駆動されるフレームワーク 79 の場合、提案は、検出器 YOLOv3 から検出された境界ボックスからの異なる重みを、最終的に集約された品質スコアのために空間ピラミッド プーリング法と組み合わせることであり、視覚的な目的で部分的に欠陥のあるフレームに対しては他の修復技術が提案されました。 腸の準備をスコアリングするため 80、トレーニングには深い分割注意残差ネットワークが使用されました。 外部データセットからの 927 枚の画像に対するテスト結果は、全体的な精度が 96.7% であることを示しました。 同様に、VCE 中の小腸の粘膜視覚化の割合を理解することに焦点を当てた研究では、単純な完全接続畳み込みニューラル ネットワークが使用されました 81。 同様に、ほとんどのランドマーク分類作業では、既製の CNN ネットワークのみが適用され、ランドマーク サイトの分類において良好な精度 (たとえば、11 のサイト クラスのうち 9 つで 90% 以上の再現率 82) が示されており、以下を含む OGD 手順に広く基づいています。食道、胃、十二指腸82,83。

単眼の場合（つまり、ほとんどの内視鏡システムで広く使用されている単一カメラによる取得）用の深さ推定ネットワークが開発されました22、84、85、86、87。 奥行き推定のための自己教師あり学習手法は、ビデオ シーケンスからのまばらな奥行き推定に基づいた以前の SfM ツールのシャム ネットワークを使用して検討されました 84 が、Shao らによる最近の研究 87 では、内視鏡シーンの照明の変動に対処するための明るさ一定の仮定を検討しましたが、再び自己監視フレームワークを使用します。 前者は副鼻腔内視鏡ビデオを使用し、絶対相対差が 0.20 mm であることを示しましたが、後者は胃腸管 (ex vivo ブタ) 86 を含む 4 つの異なる公開データセットで評価され、絶対軌道誤差は以前に発表された結腸 IV の 0.20 と比較して 0.13 でした 86 。 別の研究 22 では、完全に監視された深さ推定ネットワークを使用して、リスク層別化のためにバレット食道の長さを定量化しました。 これらの測定は、長さと面積の両方において 3D プリントされたファントムと良好な相関関係を示し、相対誤差はすべての場合で 5% 未満でした (最大相対差は長さで 0.25 mm、面積で 0.43 mm2)。

一般に、内視鏡画像解析における現在の研究のほとんどは、以前に公開されたコンピュータ ビジョンやその他の医用画像アーキテクチャから採用されています。 これらの一般的なネットワークには、VGG1991、ResNet92、EfficientNet93 などのよく知られたバックボーン ネットワークで実装された Faster-R-CNN88、YOLO89、UNet72、DeepLab90 アーキテクチャなどがあります。 しかし、論文で報告されている分類から検出、セグメンテーションに至るまでの手法は、必要な臨床問題の解決や患者データセットの広範な評価によって主にその適用性に貢献してきました。 技術的な観点は参考文献に記載されています。 29人は、ビジュアルトランスフォーマーの使用、よりハイブリッドなモデル、AIモデルへの説明可能性の組み込み、教師なしおよび半教師ありアプローチの使用、生成モデルの使用を提案した。 実際の臨床条件での方法の再現性とテストは、結腸直腸ポリープの DL 方法に関する別の技術レビューで提起された主要な問題でした 31。

したがって、遡及的に精選されたデータに対するこれらの方法の有効性が報告されているにもかかわらず 1,2、前向きデータ研究は達成されていないか、1 つまたは少数のセンターベースの分析しか行われていないため 94,95 であり、臨床応用可能性には疑問が生じています。 AI の進歩は、内視鏡処置補助や内視鏡データ分析の応用機会にプラスの影響を与えています。 一方で、臨床雑誌に発表された多くの研究 1,2,39 は、その応用の可能性を示しています。 ただし、他のアーキテクチャを厳密に比較することはありません。 この分野を加速するには、多様な内視鏡データセットでのトレーニング、結果の説明可能性の導入、およびより多くの技術的作業に向けた新しい DL 手法の開発が必要です。 一方、専門誌に掲載されたものは、包括的な多施設データを使用していません12、14、23。 これは、これらの研究のほとんどが、アルゴリズム検証のために遡及的に収集されたデータセットを使用することに主に焦点を当てているためです。 実際の臨床現場は、厳選されたデータセットに比べて非常に多様である可能性があると主張する人もいます。 同様に、データの不足または注釈付きデータの欠如、および疾患症例の大きなばらつきは、データの不均衡の問題を引き起こす可能性があります。 技術雑誌に掲載された最近の研究の一部は、ワンショットまたは数ショット学習アプローチ 96、メタ学習アプローチ 97、および半教師あり技術 98 を含めることによって、内視鏡画像解析の分野におけるこれらの重要な懸念に対処しようとしています。 しかし、将来の臨床例におけるそのような問題への取り組みはまだ指摘できません。 さらに、潰瘍性大腸炎99,100などの一部の疾患ケースは複雑で、軽度の潰瘍タイプと重度の潰瘍タイプの間で非常に微妙な変化があるため、DLベースの方法を正確に使用して分類すること（精度は85％未満）が困難になります。

広く使用されている教師あり手法はデータを大量に消費し、人間による多くの注釈を必要とします。 同時に、教師あり手法は、不完全なラベルや、他の画像モダリティやデータ生成に使用されるスコープデバイスの違いによるデータ分布の違いによるバイアスを引き起こす可能性もあります。 独立した同一に分散された iid データセットは実現が困難であることが多く 101、同様の内視鏡処置および同じ内視鏡を使用した選択された患者コホートであっても患者のばらつきを表すものではありません。 さらに、固定された患者コホートから厳選されたラベルのみを使用してこれらの手法をスタンドアロンで使用すると、時間の経過とともに変動する可能性が高いため、他のコホートで優勢であるサンプル、または同じサンプルに過剰適合する傾向があります。 また、内視鏡イメージングには、マルチモーダルな取得、さまざまなビュー、および他のイメージング モダリティよりも多様な粘膜変化が含まれます。 内視鏡医が粘膜や臓器を視覚化するための自由な動きは、アルゴリズムに避けられない課題を引き起こす可能性があります。 実際には、十分に厳選された内視鏡画像データではこれらは捕捉されず、クリニックでのアルゴリズムのパフォーマンスに影響を与える可能性があります。 いくつかの教師付きモデルは、非常に近くで観察するものの、異なる結腸内視鏡検査データセットを使用するだけでは一般化性に乏しい102,103。 最近公開された研究 102 では、広く使用されている UNet を含むほとんどの DL アーキテクチャが、トレーニングとテストに別の結腸内視鏡検査データセットを使用した場合に 20% 以上のパフォーマンス低下が報告されたことが示されました。 たとえば、UNet は Dice 類似性スコアを、トレーニング データとテスト データの両方が同じ公開データセットから使用された場合の 0.86 から、テスト データがトレーニング データセットと異なる場合の 0.62 まで低下させました。 ほとんどの研究では同じデータセットからトレーニング、検証、テストセットが実行されるため、医用画像解析における一般化可能性の研究は非常に限られています。 したがって、この研究分野は、アルゴリズムがさまざまな診療所で生成されたさまざまな割合のデータセットに適応できるようにするために重要です。 以前の研究では、トレーニングを組み合わせて実行した場合でも、トレーニングのデータが多くなると結果が中心に偏ることが示されています103。

開発された方法のほとんどは、従来の白色光イメージングを使用します。 特殊なモダリティが特定の病変の検出と診断に役立つことが証明されているにもかかわらず、より特殊なモダリティに関する研究はほとんど見つかりません（表 1 を参照）。 例えば、色素内視鏡検査は、消化管粘膜組織の特徴を詳細に調べるための十分に確立された医療処置である104。 これらの手順では、光学内視鏡検査とともに特別な染料が使用されます。 観察された詳細により、病状の特定が可能になります。 同様に、日常の臨床診療における蛍光膀胱鏡検査68（別名BL膀胱鏡検査または光線力学診断）は、標準的な白色光膀胱鏡検査と比較して、乳頭状膀胱腫瘍と上皮内癌の両方の病変の検出と可視化を向上させることができます。 では、従来の白色光モダリティに加えてこれらのデータを利用して、病変をより正確に検出し特徴づけるのはなぜでしょうか? マルチモーダルな手段を探索することは、標準的な処置（例えば、分光内視鏡技術105）ではしばしば目に見えない良好な視覚的パターンを含むため、早期発見を促進するであろう。 ただし、高度な技術にはトレーニングと手順の準備も必要です。 したがって、既存のサンプルや日常診療で使用される広く利用可能な標準モダリティから適応する方法を学ぶことが、前進する方法となり得ます。 ドメイン適応とドメイン一般化技術は、この分野で現在満たされていないニーズです。

アルゴリズムの評価は、より優れた科学的アプローチの開発にとって重要です。 これらの評価は、臨床翻訳のために開発された方法の強度を決定する上で重要な役割を果たします。 深層学習技術のコンテキストでは、テスト データセットのサイズと、そのパフォーマンスを反映する評価指標の使用の両方が不可欠です。 ただし、どのくらいの数のテストサンプルが歪みのない結果をもたらすかを確立することは困難です。 目に見えないテストセットはアプローチの一般化可能性を決定しますが、設計された教師あり手法のほとんどは、目に見えないデータ分布に対して堅牢ではありません106。 したがって、一般化可能性の評価や堅牢性テストは、ほとんどの論文に含まれていないことがよくあります。 標準的なコンピュータ ビジョンの指標 (例: トップ 1 の精度、ソーレンセン ダイス係数、和集合上の交差、精度、再現率など) が論文で報告されている場合でも、検証セットとテスト セットの間の偏りを評価する指標を含める必要があります。 。 このようなアプローチにより、ハイパーパラメーター調整とそれが目に見えないテスト データセットに及ぼす影響についての理解を強化できます。 また、現在の研究のほとんどは、データの分布を調査したり、データと結果の分散を示す分布プロットを図示したりしていません。 分散調査はアルゴリズムのパフォーマンスの一貫性を理解するために不可欠であるため、アルゴリズムの検証の一部として分散調査を含める必要があります。

最近のハードウェアの改良の進歩に伴い、より正確でありながら同時に高速な DL アルゴリズムが考案されています。 ただし、一部のタスク、特に内視鏡による疾患の検出、診断、外科手術では、リアルタイム パフォーマンスの必要性がより重要です。 それでも、適切な速度と精度を得るためにハイエンドのハードウェアが必要な場合、一部の医療センターでは経済的に実行不可能であったり、臨床現場での適応が困難な場合があります。 そのため、ネットワーク設計の選択は、パフォーマンスを犠牲にすることなく検討するか、速度と精度の間の許容可能なトレードオフを適切に選択することが重要です。 SOTA MobileNet108 および Tiny-YOLOv2109 設計よりも精度が向上し、パラメーターが 540 万のみである PeleeNet107 のような、より高速な軽量ネットワークを検討できます。 さらに、モデル圧縮方式により、元のネットワークの競争力のあるパフォーマンスを維持しながら、計算能力が限られたデバイス上で DL 方式を実行できるようになります。 この方法には、枝刈り、量子化、知識の蒸留、およびネットワーク アーキテクチャの検索技術 110 が含まれます。

ほとんどの方法は、より明らかながんまたは前がん病変（例、高度異形成1、2、68、ポリープ42、43）を中心に構築されています。 このため、従来の内視鏡検査では、微妙な前がん状態の進行を特定する必要性は依然として十分に検討されていません。 この点において、生命を脅かす重篤な感染症の発症の原因となる、非常に初期段階での腫瘍性変化、炎症、その他の組織異常が、新たな AI 開発の焦点となるべきである。 たとえば、IBD 患者における MCES スコアの感度は 83% と依然として低く、スコア 0 と 1 を 1 つのクラスとして、スコア 2 と 3 を別のクラスとして組み合わせたバイナリ分類が実行されました11。他の病変分類技術。 しかし、現在の開発は、明らかな腫瘍性病変であっても、治療手順や患者管理における主観性を軽減できるため、間違いなく興味深いものです。

粘膜の 3D 再構成は、内視鏡画像の取得が難しいため 10 年以上研究されてきましたが、この研究の方向性は依然として困難です。 深層学習ベースの深さ推定技術は、粘膜 3D 再構成の機会を確かに開きました 22,84,85,86,87。 しかし、特に結腸などの中空器官では内視鏡の軌跡と粘膜の動きが複雑であるため、完全な粘膜を 3D で視覚化することは未解決の問題のままです。 また、外科手術における術前から術後の登録のためのデータ主導型アプローチはまだ革新されていません。

スペクトル内視鏡検査、ラマン散乱技術、顕微内視鏡検査、デジタル組織病理学 (光生検) など、日常的な臨床処置で考案され使用されているいくつかの補完的な手法により、マルチスケールおよびマルチモーダルなデータ駆動型の方法を探索するための努力は最小限またはまったく行われていません。データ融合技術。 所見が分光内視鏡検査などの内視鏡検査と一致する場合でも 105、これらの信号は生成される領域に記録されません。

このレビューでは、臨床手順における観察者間および観察者内のばらつきを最小限に抑えることを目的とした最近の深層学習アプローチに焦点を当てています。 これらの開発された方法は、主に自動病変検出、特徴付け、位置特定、セグメンテーション、外科的サポート、および 3D 視覚化または測定に焦点を当てていました。 また、これらの AI ベースのアプローチとその検証戦略における現在の課題とギャップについても概説しました。 内視鏡分野の研究論文は、主に視覚分野の手法を適用することに主に方向付けられており、問題に基づいた独自の手法開発における厳しい進歩と、包括的な多施設研究の欠如を示しています。 アルゴリズムの浅い検証と出版競争が主に、この分野の研究の質に影響を与えています。 また、このために現在のニーズが無視され、微妙な平坦な病変や固着性病変、または初期の腫瘍性変化に取り組む代わりに、ほとんどの明らかな病変が繰り返し選択されます。 大胆な立場に立って、以下の将来の方向性は、これらの提案が今日のニーズである偏りのない、先進的で臨床的に実用的な AI アプローチの開発に役立つという前提で提案されています。

それぞれの内視鏡処置は独特ですが、方法論の進歩は一方の処置においては他方の処置よりも進歩的かつ反復的です。 これにより、アプリケーションがまだ一般的ではないアルゴリズム開発者にとって機会が開かれますが、データセットの欠如と臨床専門家の参加が少ないため、これらの手続き型タイプの魅力は薄れています。 しかし、患者ケアを改善するために、すべての内視鏡処置においてこれらのコンピュータ支援技術を同様に開発する機会と必要性が明らかに存在します。 たとえば、AI を使用して消化器病理学に取り組むには、圧倒的な数の論文があります 25,31 (「コンピュータ支援消化管内視鏡検査」のセクションを参照)。 対照的に、膀胱鏡検査と尿管鏡検査の手順は同様に困難であるにもかかわらず、文献によると、これまでに報告されている作業は最小限であることが示されています66,71。

質問は「日常的な臨床手順で評価するのが難しいものは何か」です。 「検出と診断の観点から AI は何を選択すべきか?」 病変は訓練を受けた臨床医であれば簡単に見つけることができるのでしょうか、それとも専門家であっても見つけるのは難しいのでしょうか（目立たない病変など）？ 後者の場合には、専門的なアルゴリズムの開発とデータのキュレーションにおけるより専門的な時間が不可欠です。 これに加えて、補完的な治療法は、患者に害を及ぼす可能性のある隠れた微妙な病変の評価において重要な役割を果たすことができます20,21。 人間の視覚には限界があり、心は目で見て理解できることしか解釈できませんが、コンピュータはマルチモーダルおよびマルチスケールのデータ署名など、より複雑なデータを解決できます105。 マルチモダリティは上記の質問に答える鍵であり、見つけにくい病変に取り組むための前進手段です。 同時に、マルチスケールはより詳細な特性評価を提供して理解を深め、この分野における AI の強みを補完できます。

方法の検証は、まず多施設かつ異種のレトロスペクティブ データセットで評価される必要があります。 ディープラーニングはデータ分散の影響を非常に受けやすいため、1 つの特定のイメージング デバイスまたは集団でモデルをトレーニングすると、市場の独占や高度な医療システムへのアクセスの制限につながる可能性があります。 その結果、社会や経済に大きな影響を与えます。 研究コミュニティに一般化可能性の評価を含めるよう奨励することが、より安全で望ましい手法開発のエコシステムを実現する唯一の方法です。 プライバシー上の懸念によりデータへのアクセスが評価を困難にする可能性がありますが、この方向に前進する方法は、多施設データの評価を可能にし、構築に使用できる一般化可能な手法の開発を支援する連合学習アプローチを使用することです。そしてメソッドを検証します111。

厳選された現実世界のデータから構成される、より一般に公開されている臨床的に取得されたデータセットへのアクセスは、アルゴリズムの開発と臨床シナリオへの適応にとって重要です。 これらのデータセットの例には、LDPolypVideo112 の結腸内視鏡ビデオと関連アノテーション、手術器具の検出、セグメンテーション、追跡用の ROBUST-MIS データセット 113 が含まれます。 同様の包括的なデータセットは、手法を評価し、トランスレーショナルの実現可能性に向けた技術の進歩を促進するのに役立ちます。 さらに、臨床シナリオでの有用性を評価するために、開発されたアプローチをいくつかのコミュニティセンターで前向き研究を実施することも奨励できます。 理想的には、地方センターでの臨床研究は、トランスレーショナルの実現可能性と制限要因を理解するために受け入れられるべきです。

ディープネットワークアーキテクチャの成長と大容量データ（内視鏡検査のビデオなど）の分析に伴い、DL 方式のエネルギー消費と二酸化炭素排出量が増加しており、コミュニティによる対応が必要です114。 編集チームは、査読に提出する前に、追加の指標を使用して AI ベースのアプローチを含む提出された各作品を評価することが奨励されるべきです。 これらの指標には以下が含まれます: (1) 臨床現場では現実的ではなく、二酸化炭素排出量の原因となる大規模な DL ネットワークを使用する論文 115 は、モデルのコンパクト化戦略を実行し、モデル選択の選択を正当化することが奨励されるべきです、(2) 実施された研究の重要性方法の新規性と最先端の方法の比較を評価することによって重み付けを行う必要があり、(3) 堅牢性とテスト実行時間の実験を評価する必要があります。 提出された作品は、提出された論文要約でこれらのパラメータを明確に概説し、提出中に追加ファイルとして必須のチェックリストを提供する必要があります。

デ・グルーフ、AJ 他深層学習システムは、ベンチマークを使用した多段階のトレーニングと検証研究において、内視鏡医よりも高い精度でバレット食道患者の新生物を検出します。 消化器病学 158、915–929.e4 (2020)。

記事 Google Scholar

Ebigbo、A. et al. 早期食道腺癌の評価における深層学習を使用したコンピューター支援診断。 Gut 68、1143–1145 (2019)。

記事 Google Scholar

Zhang、Y.ら。 人工知能を活用した胃カメラによる慢性萎縮性胃炎の診断。 掘る。 肝臓障害 52、566–572 (2020)。

記事 Google Scholar

Guimarães, P.、Keller, A.、Fehlmann, T.、Lammert, F.、Casper, M. 深層学習に基づいた胃前がん状態の検出。 ガット 69、4–6 (2020)。

記事 Google Scholar

エバーソン、M.ら。 早期食道扁平上皮癌の内視鏡診断における乳頭内の毛細血管ループパターンのリアルタイム分類のための人工知能: 概念実証研究。 ユナイテッドユーロ。 胃腸ロール。 J. 7、297–306 (2019)。

記事 CAS Google Scholar

小沢 哲 ほか畳み込みニューラル ネットワークを使用した内視鏡による結腸直腸ポリープの自動検出と分類。 セラピー。 上級胃腸ロール。 13、1756284820910659 (2020)。

記事 Google Scholar

バーン、MF 他。 深層学習モデルを使用した、標準的な結腸内視鏡検査の未変更ビデオの分析中に、腺腫性および過形成性の小さな結腸直腸ポリープをリアルタイムで区別します。 Gut 68、94–100 (2019)。

記事 Google Scholar

ソング、EM 他深層学習モデルを使用した大腸ポリープの内視鏡診断と治療計画。 科学。 議員10、30（2020）。

ジン、EHら。 視覚的な説明を備えた畳み込みニューラル ネットワークを使用した結腸直腸ポリープの光学診断の精度が向上しました。 消化器病学 158、2169–2179.e8 (2020)。

記事 Google Scholar

チェン、P.-J. 他。 コンピューター支援分析を使用した、小さな結腸直腸ポリープの正確な分類。 消化器病学 154、568–575 (2018)。

記事 Google Scholar

スティダム、RW et al. 潰瘍性大腸炎患者の内視鏡疾患の重症度の等級付けにおける深層学習モデルと人間の審査員のパフォーマンス。 自工会ネットワーク。 2、e193963 (2019) を開きます。

記事 Google Scholar

ジン、Ｙ． 外科ビデオ分析のための相関損失を備えたマルチタスクリカレント畳み込みネットワーク。 医学。 アナル画像。 59、101572 (2020)。

記事 Google Scholar

Colleoni, E.、Edwards, P. & Stoyanov, D. ロボット手術におけるツールのセグメンテーションのための合成入力と実際の入力。 医療画像コンピューティングとコンピュータ支援介入に関する国際会議 – MICCAI (医療画像コンピューティングとコンピュータ支援介入、2020) にて。

Kannan, S.、Yengera, G.、Mutter, D.、Marescaux, J.、Padoy, N. 早期手術タイプ認識のための将来状態予測 lstm。 IEEEトランス。 医学。 イメージング 39、556–566 (2020)。

記事 Google Scholar

ゴング、J.ら。 深層学習を使用して、甲状腺切除術中に反回神経を特定します。 科学。 議員 11、14306 (2021)。

記事 CAS Google Scholar

Koo、B.ら。 腹腔鏡下肝臓手術における自動グローバル登録。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 17、167–176 (2022)。

記事 Google Scholar

アリ、S.ら。 臨床内視鏡検査におけるアーチファクトの検出およびセグメンテーションのアルゴリズムの客観的な比較。 科学。 議員 10、1–15 (2020)。

Google スカラー

リース、CJ 他英国の結腸内視鏡検査の主要業績評価指標と品質保証基準。 Gut 65、1923 ～ 1929 年 (2016)。

記事 Google Scholar

Beg、S.ら。 上部消化管内視鏡検査の品質基準: 英国消化器病学会 (BSG) および英国およびアイルランド上部消化管外科医協会 (AUGIS) の見解表明。 Gut 66、1886–1899 (2017)。

記事 Google Scholar

マギル、SKら。 人工知能は結腸内視鏡検査の盲点を特定し、定量化します。 内視鏡検査 53、1284–1286 (2021)。

記事 Google Scholar

ウー、L.ら。 食道胃十二指腸内視鏡検査中の盲点をモニタリングするためのリアルタイム品質改善システムである wisense のランダム化比較試験。 Gut 68、2161–2169 (2019)。

記事 Google Scholar

アリ、S.ら。 リスク階層化と治療モニタリングのためのバレット食道の自動三次元定量化に関するパイロット研究。 消化器病学 161、865–878.e8 (2021)。

記事 Google Scholar

Gupta, S.、Ali, S.、Goldsmith, L.、Turney, B. & Rittscher, J. Mi-unet: 尿管鏡検査におけるセグメンテーションの改善。 2020 年、IEEE 17th International Symposium on Biomedical Imaging (ISBI) 212–216 (2020)。

Shkolyar、E. et al. 深層学習を使用した膀胱腫瘍検出の拡張。 ユーロ。 ウロル。 76、714–718 (2019)。

記事 Google Scholar

Tokat, M.、van Tilburg, L.、Koch, AD & Spaander, MCW 上部消化管内視鏡検査における人工知能。 掘る。 ディス。 40、395–408 (2022)。

記事 Google Scholar

炭山和也、二口哲也、神場晋、松井宏、玉井直也、内視鏡検査における人工知能：現在と将来の展望。 掘る。 エンドスク。 33、218–230 (2021)。

記事 Google Scholar

Wang, Y.、Sun, Q.、Liu, Z. & Gu, L. 低侵襲手術器具の視覚検出および追跡アルゴリズム: 最先端技術の包括的なレビュー。 ロブ。 オートン。 システム。 149、103945 (2022)。

記事 Google Scholar

アンテビー、R.ら。 腹腔鏡手術におけるディープラーニング視覚分析: 系統的レビューと診断テスト精度のメタ分析。 外科。 エンドスク。 35、1521–1533 (2021)。

記事 Google Scholar

レナ、F.ら。 上部消化管内視鏡検査用の人工知能: 技術開発から臨床実践までのロードマップ。 Diagnostics (スイス、バーゼル) 12、1278 (2022)。

Google スカラー

三澤 正 他下部内視鏡検査における人工知能の現状と将来の展望。 掘る。 エンドスク。 33、273–284 (2021)。

記事 Google Scholar

Sanchez-Peralta, LF、Bote-Curiel, L.、Picon, A.、Sanchez-Margallo, FM、Payer, JB 結腸内視鏡検査で結腸直腸ポリープを見つけるための深層学習: 体系的な文献レビュー。 アーティフ。 知性。 医学。 改訂 108、101923 (2020)。

記事 Google Scholar

Tontini, GE et al. 炎症性腸疾患に対する消化管内視鏡検査における人工知能：系統的レビューと新たな展望。 セラピー。 上級胃腸ロール。 14、17562848211017730 (2021)。

記事 Google Scholar

中瀬 博 ほか人工知能支援内視鏡検査は、潰瘍性大腸炎における粘膜治癒の定義を変えます。 掘る。 エンドスク。 33、903–911 (2021)。

Google スカラー

岡川裕也、安倍晋三、山田正人、小田一、斉藤由美、内視鏡における人工知能。 掘る。 ディス。 科学。 67、1553–1572 (2022)。

記事 Google Scholar

コーリー、DA et al. 腺腫の検出率と結腸直腸がんと死亡のリスク。 Ｎ．Ｅｎｇｌ． J.Med. 370、1298–1306 (2014)。 PMID: 24693890。

記事 CAS Google Scholar

Schmelzle, M.、Krenzien, F.、Schöning, W. & Pratschke, J. 腹腔鏡下肝臓切除術：適応症、限界、および経済的側面。 ランゲンベックスアーチ。 外科。 405、725–735 (2020)。

記事 Google Scholar

キム、J.-J. 他。 腹腔鏡手術用の複数の小型カメラを利用した広い視野の視覚化。 マイクロマシンズ (バーゼル) 9, 431 (2018)。

周、W.ら。 腸の準備を定量化するための深層学習ベースのシステムの多段階検証: 前向きの観察研究。 ランセットディジット。 健康 3、e697–e706 (2021)。

記事 Google Scholar

Guo、L.ら。 深層学習モデルを使用した前がん病変および早期食道扁平上皮がんのリアルタイム自動診断 (ビデオ付き)。 胃腸検査。 エンドスク。 91、41–51 (2020)。

記事 Google Scholar

バンクス、M. et al. 胃腺癌のリスクがある患者の診断と管理に関する英国消化器病学会のガイドライン。 Gut 68、1545–1575 (2019)。

記事 Google Scholar

Mu、G.ら。 深層学習を使用した内視鏡検査による専門家レベルの胃炎分類: 多施設診断試験。 エンドスク。 内部。 09、E955–E964 (2021) を開きます。

記事 Google Scholar

三澤 正 他結腸内視鏡検査のための人工知能支援ポリープ検出: 最初の経験。 消化器病学 154、2027–2029.e3 (2018)。

記事 Google Scholar

アーバン、G. et al. ディープラーニングは、結腸内視鏡検査のスクリーニングにおいて、リアルタイムでポリープの位置を特定し、96% の精度で識別します。 消化器病学 155、1069–1078.e8 (2018)。

記事 Google Scholar

小沢 哲 ほか潰瘍性大腸炎患者の内視鏡による疾患活動性の新しいコンピュータ支援診断システム。 胃腸検査。 エンドスク。 89、416–421.e1 (2019)。

記事 Google Scholar

ベッカー、BGら。 多施設臨床試験データを使用した、潰瘍性大腸炎の内視鏡による重症度分類のためのディープラーニング モデルのトレーニングと導入。 セラピー。 上級胃腸検査。 エンドスク。 14、2631774521990623 (2021)。

Google スカラー

Klang, E. et al. ビデオカプセル内視鏡によるクローン病潰瘍の自動検出のための深層学習アルゴリズム。 胃腸検査。 エンドスク。 91、606–613.e2 (2020)。

記事 Google Scholar

マスカレンハス・サライバ、MJ 他ディープラーニングとカプセル内視鏡検査: 畳み込みニューラル ネットワークを使用して、明確な出血の可能性がある小腸病変を自動的に識別および区別します。 BMJオープン胃腸ロール。 8、e000753 (2021)。

周D.ら。 結腸直腸癌の光学診断のための深層学習モデルの診断評価。 ナット。 共通。 2961 年 11 月 (2020 年)。

記事 CAS Google Scholar

ベルナル、J.ら。 ビデオ結腸内視鏡検査におけるポリープ検出方法の比較検証: miccai 2015 内視鏡視覚チャレンジの結果。 IEEEトランス。 医学。 イメージング 36、1231–1249 (2017)。

記事 Google Scholar

Qadir、HA et al. マスク r-cnn を使用したポリープの検出とセグメンテーション: より深い特徴抽出器 cnn は常にパフォーマンスが優れていますか? 2019 年、第 13 回医療情報通信技術国際シンポジウム (ISMICT) 1-6 (2019)。

Wan, J.、Chen, B.、Yu, Y. attentive yolov5 を使用した結腸直腸画像からのポリープ検出。 診断学 11、2264 (2021)。

記事 Google Scholar

Wang, D. et al. AFP-Net: 結腸内視鏡検査におけるリアルタイムのアンカーフリー ポリープ検出。 2019 年、IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI) 636–643 (IEEE、2019)。

Law, H. & Deng, J. Cornernet: オブジェクトをペアのキーポイントとして検出します。 欧州コンピュータビジョン会議議事録 (ECCV) 734–750 (2018)。

ゴンザレス・ブエノ・プヤル、J. 他ハイブリッド 2D/3D CNN を使用したビデオ結腸内視鏡検査でのポリープ検出。 医学。 アナル画像。 82、102625 (2022)。

Ghatwary, N.、Zolgharni, M.、Janan, F.、Ye, X. 内視鏡ビデオからの食道の異常検出のための時空間特徴の学習。 IEEE J. Biomed. 健康情報。 25、131–142 (2020)。

記事 Google Scholar

グエン、N.-Q. & リー、S.-W. 連続したディープエンコーダ/デコーダネットワークを使用した医療画像の堅牢な境界セグメンテーション。 IEEE Access 7、33795–33808 (2019)。

記事 Google Scholar

Tomar, NK、Jha, D.、Bagci, U.、Ali, S. TGANet: ポリープのセグメンテーションを改善するためのテキストガイドによる注意。 医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2022、151–160 (Springer Nature Switzerland、Cham、2022)。

Safarov, S. & Whangbo, TK A-DenseUNet: アトラス コンボリューションを使用した結腸内視鏡画像のポリープ セグメンテーション用の適応型高密度接続 UNet。 センサー 21、1441 (2021)。

記事 Google Scholar

Zhang, Y.、Liu, H. & Hu, Q. TransFuse: 医療画像セグメンテーションのためのトランスフォーマーと CNN の融合。 医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2021: 第 24 回国際会議、フランス、ストラスブール、2021 年 9 月 27 日～10 月 1 日、議事録、パート I、14 ～ 24 (Springer-Verlag、ベルリン、ハイデルベルク、2021)。 https://doi.org/10.1007/978-3-030-87193-2_2。

Duc、NT、Oanh、NT、Thuy、NT、Triet、TM & Dinh、VS ColonFormer: 結腸ポリープ セグメンテーションのための効率的なトランスフォーマー ベースの方法。 IEEE Access 10、80575–80586 (2022)。

記事 Google Scholar

Madad Zadeh、S. 他 SurgAI: 婦人科におけるコンピューターによる腹腔鏡画像理解のためのディープラーニング。 外科。 エンドスク。 34、5377–5383 (2020)。

記事 Google Scholar

Namazi, B.、Sankaranarayanan, G.、Devarajan, V. 深層学習を使用した腹腔鏡ビデオ内の手術ツールのコンテキスト検出器。 外科。 エンドスク。 36、679–688 (2022)。

記事 Google Scholar

Samuel、DJ および Cuzzolin、F. 深層残留オートエンコーダーを使用したスマート自律ロボット手術助手 (SARAS) の教師なし異常検出。 IEEE ロボット。 オートム。 レット。 6、7256–7261 (2021)。

記事 Google Scholar

Al Hajj, H.、Lamard, M.、Conze, P.-H.、Cochener, B. & Quellec, G. ブースト畳み込みおよびリカレント ニューラル ネットワークを使用した手術ビデオでのツールの使用状況を監視します。 医学。 アナル画像。 47、203–218 (2018)。

記事 Google Scholar

Koo、B.ら。 腹腔鏡下肝臓手術における自動グローバル登録。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 17、167–176 (2022)。

記事 Google Scholar

池田 明 ほか人工知能を活用した膀胱がんの膀胱鏡診断支援システム。 J.エンドロール。 34、352–358 (2020)。

記事 Google Scholar

Shkolyar、E. et al. 深層学習を使用した膀胱腫瘍検出の拡張。 ユーロ。 ウロル。 76、714–718 (2019)。

記事 Google Scholar

アリ、N.ら。 膀胱腫瘍の経尿道的切除中の青色光膀胱鏡イメージングの深層学習ベースの分類。 科学。 議員 11、11629 (2021)。

記事 CAS Google Scholar

Black、KM、Law、H.、Aldoukhi、A.、Deng、J.、Ghani、KR 腎臓結石の組成を検出するためのディープラーニング コンピューター ビジョン アルゴリズム。 Br. J.ウロル。 内部。 125、920–924 (2020)。

記事 CAS Google Scholar

ロペス、F.ら。 内視鏡画像内の腎臓結石を識別するためのディープラーニング手法を評価します。 2021 年には、IEEE Engineering in Medicine and Biology Society (EMBC) 2778–2781 (2021) の第 43 回年次国際会議が開催されます。

Gupta, S.、Ali, S.、Goldsmith, L.、Turney, B. & Rittscher, J. 尿管鏡検査およびレーザー結石破砕術のためのマルチクラスのモーションベースのセマンティック セグメンテーション。 計算します。 医学。 画像グラフ。 101、102112 (2022)。

記事 Google Scholar

Ronneberger, O.、Fischer, P. & Brox, T. U-net: 生物医学画像セグメンテーション用の畳み込みネットワーク。 医用画像コンピューティングとコンピュータ支援介入に関する国際会議、234–241 (Springer、2015)。

リー、C.ら。 上咽頭悪性腫瘍を検出するための内視鏡画像ベースの深層学習モデルの開発と検証。 がんコミュニティ。 (ロンドン) 38, 59 (2018)。

記事 Google Scholar

Parker, F.、Brodsky, MB、Akst, LM & Ali, H. 喉頭鏡分析における機械学習: 抜管後の潰瘍および肉芽腫を特定するための概念実証観察研究。 アン。 オトル。 リノール。 喉頭。 130、286–291 (2021)。

記事 Google Scholar

ゴング、J.ら。 深層学習を使用して、甲状腺切除術中に反回神経を特定します。 科学。 議員 11、14306 (2021)。

記事 CAS Google Scholar

ユ、JY 他気管支鏡ビデオ画像の解剖学的解釈のための深層学習。 科学。 議員 11、23765 (2021)。

記事 CAS Google Scholar

Żurek, M.、Jasak, K.、Niemczyk, K. & Rzepakowska, A. 喉頭内視鏡検査における人工知能: 体系的レビューとメタ分析。 Ｊ．クリン． 医学。 2752 年 11 月 (2022 年)。

記事 Google Scholar

Shelhamer, E.、Long, J. & Darrell, T. セマンティック セグメンテーションのための完全畳み込みネットワーク。 IEEEトランス。 パターンアナル。 マッハ。 知性。 39、640–651 (2017)。

記事 Google Scholar

アリ、S.ら。 ビデオ内視鏡​​検査における品質評価と修復のための深層学習フレームワーク。 医学。 アナル画像。 68、101900 (2021)。

記事 Google Scholar

チャン、Y.-Y. 他。 結腸内視鏡検査の品質評価のための深層学習ベースのアルゴリズムの開発と検証。 シュール。 エンドスク。 36、6446–6455。 https://doi.org/10.1007/s00464-021-08993-y (2022)。

Nam、JH、Oh、DJ、Lee、S.、Song、HJ & Lim、YJ 小腸調製の品質を評価するための深層学習アルゴリズムの開発と検証。 Diagnostics (バーゼル) 11、1127 (2021)。

記事 Google Scholar

彼、Q ら。 上部消化管内視鏡検査のための深層学習ベースの解剖学的部位分類。 内部。 Ｊ．Ｃｏｍｐｕｔ． アシス。 ラジオル。 外科。 15、1085–1094 (2020)。

記事 Google Scholar

サン、M.ら。 内視鏡画像を使用した自動解剖学的部位認識のためのチャネル分離ベースのネットワーク。 バイオメッド。 信号プロセス。 コントロール 71、103167 (2022)。

記事 Google Scholar

Liu、X.ら。 自己教師あり学習法を使用した単眼内視鏡検査における密な深さの推定。 IEEEトランス。 医学。 画像 39、1438–1447 (2020)。

記事 Google Scholar

Liu, S. et al. 多重損失リバランシング ネットワークを使用した、単眼内視鏡画像シーケンスからの深さと動きの共同推定。 バイオメッド。 オプション。 エクスプレス 13、2707 ～ 2727 (2022)。

記事 Google Scholar

オジョルク、KB 他 Endoslam データセットと、内視鏡ビデオ用の教師なし単眼視覚オドメトリおよび深度推定アプローチ。 医学。 アナル画像。 71、102058 (2021)。

記事 Google Scholar

Shao, S. et al. 内視鏡検査における自己監視型単眼深度および自己運動推定: 救助への外観の流れ。 医学。 アナル画像。 77、102338 (2022)。

記事 Google Scholar

Ren, S.、He, K.、Girshick, R. & Sun, J. R-CNN の高速化: 領域提案ネットワークによるリアルタイムの物体検出に向けて。 『神経情報処理システムの進歩』、91–99 (2015)。

Redmon, J.、Divvala, S.、Girshick, R.、Farhadi, A. 一度確認するだけで、統合されたリアルタイムの物体検出が可能です。 コンピューター ビジョンとパターン認識に関する IEEE 会議議事録、779–788 (2016)。

Chen, L.-C.、Papandreou, G.、Kokkinos, I.、Murphy, K. & Yuille, AL Deeplab: 深い畳み込みネット、atrous 畳み込み、および完全に接続された crf を使用したセマンティック画像セグメンテーション。 IEEEトランス。 パターンアナル。 マッハ。 知性。 40、834–848 (2017)。

記事 Google Scholar

Simonyan, K. & Zisserman, A. 大規模な画像認識のための非常に深い畳み込みネットワーク。 学習表現に関する国際会議にて（2015年）。

He, K.、Zhang, X.、Ren, S.、Sun, J. 画像認識のための深層残差学習。 コンピューター ビジョンとパターン認識に関する IEEE 会議議事録、770–778 (2016)。

Tan、M. & Le、QV Efficientnet: 畳み込みニューラル ネットワークのモデル スケーリングを再考します。 第 36 回機械学習国際会議議事録、ICML 2019、2019 年 6 月 9 ～ 15 日、米国カリフォルニア州ロングビーチ、Vol. Proceedings of Machine Learning Research (Chaudhuri, K. および Salakhutdinov, R. 編) 6105–6114 (PMLR、2019) の 97。

Zhao, Q. & Chi, T. 深層学習モデルは内視鏡的慢性萎縮性胃炎の診断率を向上させることができる: 前向きコホート研究。 BMC 胃腸ロール。 22、133 (2022)。

記事 Google Scholar

クレア、Ｐ．ら。 結腸直腸における自動ポリープ検出: 前向き研究 (ビデオ付き)。 胃腸検査。 エンドスク。 89、576–582.e1 (2019)。

記事 Google Scholar

Zhao、Z.ら。 ロボット手術ビデオからの高速ワンショット器具セグメンテーションのためのアンカーガイド付きオンラインメタ適応。 医学。 アナル画像。 74、102240 (2021)。

記事 Google Scholar

カドカ、R. et al. 医療画像セグメンテーションのための数ショット設定での暗黙的勾配を使用したメタ学習。 計算します。 バイオル。 医学。 143、105227 (2022)。

記事 Google Scholar

Zhao、X.ら。 ビデオ ポリープ セグメンテーションのための半教師あり時空間アテンション ネットワーク。 医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2022 – 第 25 回国際会議、シンガポール、2022 年 9 月 18 ～ 22 日、議事録、パート IV、vol. コンピューターサイエンスの講義ノートの 13434、456–466 (Springer、2022)。

Turan, M. & Durmus, F. UC-NfNet: 大腸内視鏡検査画像からの潰瘍性大腸炎の深層学習対応評価。 医学。 アナル画像。 82、102587 (2022)。

記事 Google Scholar

Xu, Z.、Ali, S.、East, J. & Rittscher, J. 最適化された大腸炎スコアリングのための相加的角度マージン損失およびモデル スケーリング ネットワーク。 2022 年、IEEE 19th International Symposium on Biomedical Imaging (ISBI) 1-5 (2022)。

Liu, X.、Sanchez, P.、Thermos, S.、O'Neil, AQ & Tsaftaris, SA イメージング領域におけるもつれの解けた表現の学習。 医学。 アナル画像。 80、102516 (2022)。

記事 Google Scholar

Srivastava、A. et al. MSRF-Net: 生物医学画像セグメンテーションのためのマルチスケール残差融合ネットワーク。 IEEE J. Biomed. 医療情報学 26、2252–2263 (2022)。

記事 Google Scholar

バー、O.ら。 外科用インテリジェンス アプリケーションにおける AI の一般化に対するデータの影響。 科学。 議員 10、22208 (2020)。

記事 CAS Google Scholar

Xu、J.ら。 白色光と狭帯域画像内視鏡検査の両方を使用した上咽頭癌識別のためのディープラーニング。 喉頭鏡 132、999–1007 (2022)。

記事 Google Scholar

ウォーターハウス、DJ 他分光内視鏡検査は、バレット食道の監視における新生物のコントラストを強化します。 がん研究所 81、3415–3425 (2021)。

記事 CAS Google Scholar

Linardos, A.、Kushibar, K.、Walsh, S.、Gkontra, P. & Lekadir, K. 多施設画像診断のための連合学習: 心血管疾患におけるシミュレーション研究。 科学。 議員第 12 号、3551 (2022)。

記事 CAS Google Scholar

Wang、RJ、Li、X、Ling、CX Pelee: モバイル デバイス上のリアルタイムの物体検出システム。 『In Advances in Neural Information Processing Systems 31』（Bengio, S. 他編）1967 ～ 1976 年（Curran Associates, Inc.、2018）。 http://papers.nips.cc/paper/7466-pelee-a-real-time-object-detection-system-on-mobile-devices.pdf。

ハワード、AG et al. Mobilenets: モバイル ビジョン アプリケーション向けの効率的な畳み込みニューラル ネットワーク。 CoRR abs/1704.04861。 http://arxiv.org/abs/1704.04861 (2017)。

Redmon, J.、Divvala, S.、Girshick, R.、Farhadi, A. 確認するのは 1 回だけです: 統合されたリアルタイムの物体検出。 2016 年のコンピューター ビジョンとパターン認識に関する IEEE 会議 (CVPR) 779–788 (2016)。

ワン、C.-H. 他。 軽量ディープラーニング: 概要。 IEEE Con​​sumer Electronics Magazine 1–12 (2022) に掲載。

Rieke, N. et al. フェデレーテッド ラーニングによるデジタル ヘルスの未来。 npj 数字。 医学。 3、119 (2020)。

Ma, Y.、Chen, X.、Cheng, K.、Li, Y. & Sun, B. Ldpolypvideo ベンチマーク: 多様なポリープの大規模な結腸内視鏡検査ビデオ データセット。 医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2021: 第 24 回国際会議、フランス、ストラスブール、2021 年 9 月 27 日～10 月 1 日、議事録、パート V、387 ～ 396 (Springer-Verlag、ベルリン、ハイデルベルク、2021)。

Maier-Hein、L. et al. センサー手術室における外科データサイエンスのためのハイデルベルグ結腸直腸データセット。 科学。 データ8、101（2021）。

Selvan, R.、Bhagwat, N.、Wolff Anthony, LF、Kanding, B. & Dam, EB 医用画像分析用の深層学習モデルの選択とトレーニングの二酸化炭素排出量。 医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2022、506–516 (Springer Nature Switzerland、Cham、2022)。

masanet, E.、Shehabi, A.、Lei, N.、Smith, S.、Koomey, J. 世界のデータセンターのエネルギー使用量の推定値を再調整する。 サイエンス 367、984–986 (2020)。

記事 CAS Google Scholar

中川和也 ほか経験豊富な内視鏡医と比較したディープニューラルネットワークを使用した食道扁平上皮癌の浸潤深さの分類。 胃腸。 エンドスク。 90、407–414 (2019)。

記事 Google Scholar

城間 伸 ほか内視鏡ビデオから t1 食道扁平上皮癌を検出する人工知能の機能とリアルタイム支援の効果。 科学。 議員番号 11、7759 (2021)。

記事 CAS Google Scholar

キム、YJ 他内視鏡画像におけるネットワーク間ネットワーク構造の転移学習を用いた新しいポリープ画像分類手法。 科学。 議員 11、3605 (2021)。

記事 CAS Google Scholar

山田正人 他大腸内視鏡検査におけるディープラーニング技術を活用したリアルタイム内視鏡画像診断支援システムを開発。 科学。 議員9号、14465号（2019年）。

リー、J.ら。 深層学習を使用した結腸内視鏡検査中の結腸ポリープのリアルタイム検出: 4 つの独立したデータセットによる体系的な検証。 科学。 議員番号 10、8379 (2020)。

ザカリア、R. 他畳み込みニューラル ネットワークを使用したポリープの病状の予測は、「切除および廃棄」のしきい値を達成します。 J ガストロエンテロルです。 115、138–144 (2020)。

記事 Google Scholar

伊藤直樹 ほかディープラーニングを活用したct1b大腸がんの内視鏡診断支援システム。 腫瘍学 96、44–50 (2019)。

記事 Google Scholar

Hashemi, SMR、Hassanpour, H.、Kozegar, E. & Tan, T. 教師なし特徴学習と分類器の融合による膀胱鏡画像分類。 IEEE Access 9、126610–126622 (2021)。

記事 Google Scholar

Stebner, ZA、Lu, D.、Hong, SH、Kavoussi, NL、Oguz, I. 内視鏡ビデオフィードにおける腎臓結石のセグメンテーション。 In Medical Imaging 2022: 画像処理 Vol. 12032 (Colliot, O. & Išgum, I. 編) 900–908。 国際光学およびフォトニクス学会 (SPIE、2022)。 https://doi.org/10.1117/12.2613274。

アリ、S.ら。 全変分アプローチでデータ項を再定義することによる堅牢な膀胱画像レジストレーション。 医用画像処理 2015: 画像処理、Vol. 9413 (S. Ourselin、マサチューセッツ州 Styner 編) 386–397。 国際光学およびフォトニクス学会 (SPIE、2015)。 https://doi.org/10.1117/12.2077658。

Qin, F. et al. 内視鏡視覚における手術器具のセグメンテーションの向上に向けて: マルチアングル特徴の集約と輪郭監視。 IEEE ロボット。 オートム。 レット。 5、6639–6646 (2020)。

記事 Google Scholar

アリ、S.ら。 消化器内視鏡検査におけるアーチファクトと疾患インスタンスの検出とセグメンテーションのための深層学習。 医学。 アナル画像。 70、102002 (2021)。

記事 Google Scholar

アリ、S.ら。 コンピューター ビジョンの課題を通じて、深層学習ベースのポリープ検出およびセグメンテーション手法の一般化可能性を評価します。 arXiv:2202.12031 (2022) のプレプリント。

アリ、S.ら。 術前から術中の腹腔鏡下固定術。 https://doi.org/10.5281/zenodo.6362162 (2022)。

Ali, S.堅牢かつ正確な膀胱画像モザイク化のためのトータル変分オプティカル フロー。 博士論文、ロレーヌ大学 (2016)。

Angeles Ceron, JC、Ruiz, GO、Chang, L.、Ali, S. 注意力とマルチスケール特徴融合を使用した手術器具のリアルタイム インスタンス セグメンテーション。 医学。 アナル画像。 81、102569 (2022)。

記事 Google Scholar

リファレンスをダウンロードする

この研究を支援してくださった英国リーズ大学工学物理科学部コンピューティング学部に感謝いたします。

リーズ大学コンピューティング学部、LS2 9JT、リーズ、英国

シャレブ・アリ

PubMed Google Scholar でこの著者を検索することもできます

SA はアイデアを生み出し、すべての文献ソースを収集し、概要を計画し、原稿を執筆および編集しました。

シャリブ・アリへの通信。

著者は競合する利害関係を宣言しません。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Ali, S. 内視鏡画像解析の AI において、私たちはどのような立場にあるのでしょうか? ギャップと今後の方向性を読み解く。 npj 数字。 医学。 5、184 (2022)。 https://doi.org/10.1038/s41746-022-00733-3

引用をダウンロード

受信日: 2022 年 7 月 4 日

受理日: 2022 年 11 月 29 日

公開日: 2022 年 12 月 20 日

DOI: https://doi.org/10.1038/s41746-022-00733-3

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供