深層学習分類器を使用して手術ビデオ分析でプライバシーを保護し、特定する

Scientific Reports volume 13、記事番号: 9235 (2023) この記事を引用

129 アクセス

6 オルトメトリック

メトリクスの詳細

外科ビデオ分析は教育と研究を促進します。 ただし、内視鏡手術のビデオ録画には、特に内視鏡カメラが患者の体外に移動され、体外離脱のシーンが記録される場合、プライバシーに関わる情報が含まれる可能性があります。 したがって、内視鏡ビデオにおける体外離脱シーンの特定は、患者と手術室スタッフのプライバシーを保護するために非常に重要です。 この研究では、内視鏡ビデオ内の体外離脱画像を識別するための深層学習モデルを開発および検証しました。 このモデルは、12 種類の異なる腹腔鏡手術とロボット手術の内部データセットでトレーニングおよび評価され、腹腔鏡下胃バイパス手術と胆嚢摘出手術の 2 つの独立した多中心テスト データセットで外部検証されました。 モデルのパフォーマンスは、受信機動作特性曲線下面積 (ROC AUC) を測定する人間のグラウンド トゥルース アノテーションと比較して評価されました。 48 個のビデオからの 356,267 個の画像で構成される内部データセットと、それぞれ 10 個と 20 個のビデオからの 54,385 個と 58,349 個の画像で構成される 2 つの多中心テスト データセットに注釈が付けられました。 このモデルは、内部テスト データセット上で 99.97% ROC AUC の体外離脱画像を識別しました。 多中心性胃バイパスデータセットの平均±標準偏差 ROC AUC は、多中心性胆嚢摘出術データセットでそれぞれ 99.94 ± 0.07% および 99.71 ± 0.40% でした。 このモデルは内視鏡ビデオ内の体外離脱画像を確実に識別でき、公開されています。 これにより、手術ビデオ分析におけるプライバシーの保護が容易になります。

「そして、私が職業上見たり聞いたりすることは何であれ、[…]それが海外で出版されるべきではないものであれば、私は決して漏らしません。そのようなことは神聖な秘密であると考えます。」1

ヒポクラテスの誓い

外科ビデオ分析は、教育（危機的状況のレビューと個別のフィードバック）2、3、資格認定（ビデオベースの評価）4、および研究（多施設共同治験における外科技術の標準化5、外科スキルの評価）6、7を促進します。 外科ビデオ分析の使用は増加しているにもかかわらず、手動による症例レビューには時間と費用がかかり、専門知識が必要であり、プライバシー上の懸念が生じるため、これまでのところ外科ビデオ分析の可能性が最大限に活用されていません。

したがって、最近では、手術ビデオ分析を自動化するために、手術データサイエンスのアプローチが採用されています。 人工知能 (AI) モデルは、手術ビデオ内の介入 8、9、10、ツール 8、11、アクション 12 の段階を認識するようにトレーニングされています。 これにより、残りの手術時間の推定 13、重大なイベントの自動文書化 14、手術スキルの評価 15 および安全チェックポイントの達成度 16、または術中ガイダンス 17 などの下流アプリケーションが可能になります。

AI は、専門家が手術ビデオをレビューするコストと時間の制約を引き続き削減します。 しかし、患者のビデオデータの記録、保存、取り扱い、公開に関するプライバシーの懸念は、これまでのところ広く対処されていません。 ヒポクラテスの誓いに由来する医師と患者の特権は、医療データと患者の身元を法的調査から保護します。 医療スタッフによる医療秘密の侵害は、ほとんどの国で起訴の対象となります。 患者が手術室 (OR) で麻酔状態にある間に記録される内視鏡ビデオは特に敏感です。 これらには、患者や手術室スタッフの身元などの機密情報が漏洩する可能性のある手術室のシーンが含まれることがよくあります。 さらに、部屋にある時計やカレンダーがビデオにキャプチャされている場合、それぞれの介入の時間や日付を特定することができます。 手術の日時に関する情報により、手術を受ける患者の識別が容易になります。 患者の体外で記録されたこれらのシーンは、体外離脱シーンと呼ばれます。 内視鏡が患者に導入される前にビデオ録画がすでに開始されていた場合、手術終了後、または手術中に内視鏡が洗浄されるたびに停止されなかった場合、体外離脱シーンがキャプチャされます。

コンピューター ビジョンとディープ ラーニングの最近の発展は、大規模で公開されているデータセットによって促進されています。 対照的に、ディープラーニングの医療応用は、サイズが小さく制限されたデータセットによって制限されることがよくあります。 体外離脱シーンをぼかしたり削除したりすることによる内視鏡ビデオの匿名化により、医療機密侵害のリスクを伴うことなく、手術ビデオの記録、保存、処理、公開が可能になります。

この記事では、Out-of-Body Network (OoBNet) と呼ばれる、内視鏡ビデオの体外離脱シーンを識別するための深層学習ベースの画像分類器の開発と検証について報告します。 OoBNet は、内視鏡ビデオ内の体外離脱シーンの自動認識を通じて、患者と手術室スタッフのプライバシー保護を可能にします。 OoBNet の外部検証は、腹腔鏡下 Roux-en-Y 胃バイパス術と腹腔鏡下胆嚢摘出術の 2 つの独立した多中心データセットに対して実行されます。 OoBNet のトレーニング済みモデルと実行可能アプリケーションが公開されており、外科医、データ サイエンティスト、病院管理スタッフが内視鏡ビデオを匿名化するための使いやすいツールを提供します。

OoBNet の開発に使用されたデータセットは、フランスのストラスブール大学病院で記録された手術から作成されました18。 以下の内視鏡手術のそれぞれについて 4 つのビデオ記録が任意に選択されました: 腹腔鏡下ニッセン噴門形成術、ルーアンワイ胃バイパス術、スリーブ状胃切除術、肝臓手術、膵臓手術、胆嚢摘出術、S 状結腸切除術、イベントレーション、副腎摘出術、ヘルニア手術、ロボットルーアン-Y 胃バイパス術、およびロボットスリーブ胃切除術。 48 個のビデオを含むデータセットは、各手順のそれぞれ 2 個、1 個、および 1 個のビデオを含むトレーニング セット、検証セット、およびテスト セットに分割されました。

モデルの外部検証は、6 つのセンターと 2 つの独立した多中心データセットからの 5 つのビデオのランダム サンプルに対して行われました。 (1) フランスのストラスブール大学病院およびスイスのベルン大学病院 Inselspital からの 140 件の腹腔鏡下 Roux-en-Y 胃バイパスビデオのデータセット 19。 (2) イタリアの 4 つのセンターからの 174 件の腹腔鏡下胆嚢摘出術ビデオのデータセット: Policlinico Universitario Agostino Gemelli (ローマ)。 アジエンダ・オスペダリエロ・ウニベルシタリア・サンタンドレア、ローマ。 Fondazione IRCCS Ca' Granda Ospedale Maggiore Policlinico、ミラノ; そしてナポリのモナルディ病院。 このデータセットは、安全性批判的見解 (CVS) 20 のビデオ文書化のためのコンピューター ビジョン プラットフォームである EndoDigest の多中心検証のために収集されました。

モデル開発、内部および多中心の外部検証用に分割されたデータセットの図を図 1 に示します。

モデル開発、内部および外部検証のためのデータセット分割の図。 すべての四角形はビデオを表します。 同じセンターのビデオは同じ色になります。

各病院は地域の治験審査委員会 (IRB) の要件を満たしていました。 患者は、介入の記録、または研究目的での健康記録の使用に同意しました。 すべてのビデオは、メタデータを識別せずに生のビデオ素材として共有されました。 したがって、地元の治験審査委員会によって倫理的承認が与えられたスイスのベルン大学病院のインセルスピタルを除いて、倫理的承認の必要性は免除されました（KEK Bern 2021-01666）。

各ビデオは 1 秒あたり 1 フレームの速度でフレームに分割されました。 すべてのフレームには、患者の腹部内または体外のいずれかにあるバイナリ形式で注釈が付けられました。 トロカールの弁は、体内から体外への移行の視覚的な合図でした。 光学トロカールの弁が見えるすべてのフレームは、プライバシー保護の安全側で誤って体外に出されたものとみなされます。 すべてのデータセットには、単一のアノテーター (AV) によってアノテーションが付けられました。 エッジケースは、外科ビデオ分析（JLL）の豊富な経験を持つ認定外科医によってレビューされました。

OoBNet は、MobileNetV221 をバックボーンとして使用し、その後ドロップアウト (ドロップアウト率 0.5)、長短期記憶 (640 ユニットの LSTM)22、線形層およびシグモイド層を使用する深層学習ベースの画像分類器です。 レイヤーの正規化は、ドロップアウト レイヤーと線形レイヤーの前に適用されました。 MobileNetV2 は、モバイル デバイスやスマートフォンなど、少ない計算リソースで画像認識を行うために設計されたモデル アーキテクチャです。 LSTM 層には、フレーム分類にコンテキスト認識をもたらすメモリ ゲートが含まれています。 前処理の一環として、入力画像は 64 × 64 ピクセルにサイズ変更され、ランダムな回転とコントラストで強化されました。 データ拡張は、入力データセットに分散を生成してモデルの堅牢性を向上させる一般的な方法です。 OoBNet の出力は確率に似た値で、画像が体内フレームか体外フレームかを予測するために 0 または 1 に 2 値化されます (図 2)。

OoBNet のモデル アーキテクチャ。 入力画像は 64 × 64 ピクセルにサイズ変更され、ランダムな回転とコントラストで強化されます。 次に、それが連続長期短期記憶 (LSTM) を備えたディープ ニューラル ネットワークに供給され、画像が体外離脱しているかどうかの確率のような値が出力されます。 この確率は、0.5 のしきい値で 0 (体内) または 1 (体外 OOB) に丸められます。

このネットワークは、検証データセットで得られた最高の F1 スコアに従って早期停止を適用して、300 エポック (サイクル) の 2048 連続フレームのビデオ クリップでトレーニングされました。 使用されたオプティマイザーは、学習率 0.00009、バッチ サイズ 2048 の Adam23 でした。OoBNet のトレーニング済みモデルと実行可能アプリケーションは、https://github.com/CAMMA-public/out-of-body-detector で入手できます。

OoBNet はテスト データセットで評価されましたが、モデルのトレーニングにも検証にも使用されませんでした。 さらに、外部評価は、上記のように 2 つの独立した多中心データセットに対して行われました。 OoBNet の予測は人間のグラウンド トゥルース アノテーションと比較されました。 OoBNet のパフォーマンスは、精度、再現率、F1 スコア、平均精度、および受信機動作特性曲線下面積 (ROC AUC) として測定されました。 精度は、すべての陽性予測 (真陽性と偽陽性) のうちの真陽性の割合であり、陽性的中率とも呼ばれます。 再現率は、関連するすべての予測 (真陽性と偽陰性) のうちの真陽性の割合であり、感度とも呼ばれます。 F1 スコアは、精度と再現率の調和平均です。 平均精度は、精度-再現率曲線の下の領域です。 ROC AUC は、1 特異性に対する感度をプロットすることによって作成される、受信機動作特性曲線の下の領域です。 c 統計とも呼ばれます。

OoBNet は、平均継続時間 ± 標準偏差 (SD) が 123 ± 79 分の 48 ビデオの内部データセットでトレーニング、検証、テストされました。 合計 356,267 フレームが含まれています。 そのうち、112,254 件 (31.51%) が体外離脱でした。 OoBNet の外部検証は、平均継続時間 ± SD が 90 ± 27 分の 10 本のビデオからなる胃バイパス データセットに対して実行されました。 合計 54,385 フレーム (体外離脱フレーム 4.15%) を含み、平均継続時間 ± SD が 48 ± 22 分の 20 ビデオからなる胆嚢摘出術データセットを対象としています。 合計 58,349 フレーム (体外離脱フレーム 8.65%) が含まれています。 完全なデータセット統計と、トレーニング、検証、テスト セットにわたるフレームの分布を表 1 に示します。

テストセットで評価された OoBNet の ROC AUC は 99.97% でした。 多中心胃バイパス データセットで評価された OoBNet の平均 ROC AUC ± SD は 99.94 ± 0.07% でした。 多中心胆嚢摘出術データセットで評価された OoBNet の平均 ROC AUC ± SD は 99.71 ± 0.40% でした。 完全な定量的結果を表 2 に示します。テスト セット、多中心胃バイパス データセット、および多中心胆嚢摘出術データセットの混同行列を図 3A ～ G に示します。 OoBNet は合計 111,974 フレームで評価され、そのうち 557 フレーム (0.50%) が体外フレームであるにもかかわらず体内であると誤って分類されました (偽陰性予測)。 OoBNet の偽陽性と偽陰性の予測を示す定性的結果を図 4 に示します。OoBNet の定性的結果を示すビデオが補足に提供されています (補足ビデオ S1、OoBNet を使用して内視鏡ビデオを匿名化する方法を示しています)。

混同行列。 (A) テストセット。 (B) および (C) センター 1 および 2 (多中心性胃バイパス データセット)。 (D – G) センター 3、4、5、および 6 (多中心胆嚢摘出術データセット)。

定性的な結果。 上の行: 偽陽性モデル予測 (OoBNet は、フレームが体外に出ていないにもかかわらず、フレームが体外に出ると予測します)。 下の行: 偽陰性モデル予測 (OoBNet は、フレームが体外にある場合でも、フレームが体内にあると予測します)。 各画像の下には、バイナリのヒューマングラウンドトゥルースの注釈と、モデル予測のような確率が提供されます。 (A) では、外科手術の煙により視力が低下しています。 (B–D) では、メッシュ、綿棒、および組織が非常に接近しているため、時間的コンテキストが欠如しているため、人間のアノテーターであってもそれが体外離脱しているかどうかを区別するのは困難です。 (E) と (F) では、内視鏡上の血液と血痕の付いた手袋が内部の光景を模倣しています。 (G) では、手術用タオルが患者の体の大部分を覆っているため、モデルには体外離脱フレームの視覚的な手がかりが欠けています。 (H) では、内視鏡は金属トロカールの内部を模倣した魔法瓶内で洗浄されます。

この研究では、内視鏡ビデオで体外離脱フレームを検出するための深層学習ベースの画像分類器の開発とマルチセントリック検証について報告します。 OoBNet は、3 つの独立したデータセットの検証で 99% ROC AUC のパフォーマンスを示しました。 提供されたトレーニング済みモデルまたは実行可能アプリケーションを使用すると、OoBNet を簡単に導入して、内視鏡ビデオを遡及的に匿名化できます。 これにより、患者と手術室スタッフのプライバシーを保護しながらビデオ データベースを作成でき、さらに、機密情報を漏らすことなく教育または研究目的で内視鏡ビデオを使用することが容易になります。

私たちの知る限り、OoBNet は、複数の介入のビデオでトレーニングされ、2 つの外部データセットで検証された最初の体外離脱画像分類器です。 私たちのグループによるこれまでの研究では、体外離脱フレームを特定するために教師なしコンピューター ビジョン アプローチが使用されていました。 画像の赤みと明るさのレベルに基づいて、経験的に設定された閾値で画像が体内か体外かに分類されました24。 ゾハールら。 は、半教師あり機械学習アプローチを使用して、腹腔鏡下胆嚢摘出術ビデオの大規模なデータセットから体外離脱シーンを検出し、97% の精度をもたらしました25。 ただし、この以前の研究には 2 つの大きな制限があります。 一方で、報告される主なパフォーマンス指標は精度です。 精度は、データの分布、または特定の観測値の普及率に影響されます。 一方、単一の介入タイプのみのデータセットでトレーニングされました。 これは、モデルが他の介入タイプに一般化することを保証するものではありません。

通常、画像分類器は、視覚的に異なるクラスを区別するようにトレーニングされます。 内視鏡ビデオの画像を体内または体外として分類することは類似しているように思えます。 ただし、体内と体外の間には、カメラが体内または体外に移動する移行があり、曖昧に見えるかもしれません。 したがって、イメージが身体の内部にあるのか、それとも体外にあるのかの定義が重要です。 我々は、視トロカールの弁が体内から体外へ、またはその逆への移行の視覚的な合図であると定義しました。 プライバシー保護の観点から誤ると、たとえカメラがまだ光学トロカール内にあったとしても、バルブが見えるとすぐにフレームは体外に出たとみなされます。 モデル アーキテクチャで LSTM モジュールを使用することで、体内フレームと体外フレームの時間的コンテキストを考慮し、位相のちらつきによる体内から体外へ、またはその逆の位相遷移における誤分類を回避しました。

OoBNet は外部検証においても優れたパフォーマンスを発揮しますが、このモデルには限界があります。 すべてのフレームが正しく分類されたわけではありません。 理想的な分類器には、偽陽性 (体内であるにもかかわらずモデルによって体外であると予測される) も偽陰性予測 (体外であるにもかかわらずモデルによって体内であると予測される) も存在しないはずです。 ただし、プライバシー保護サイトで誤りを犯すには、偽陰性予測を最小限に抑える必要があります。 言い換えれば、分類器の閾値は感度（再現率）を最適化する必要があります。 ただし、最大の感度と偽陰性予測が実現できないのは、すべてのフレームが体外離脱として分類された場合のみです。 ただし、これは完全に非特異的な分類子となり、手術ビデオ分析に関連する身体フレームの内部が完全に失われることになります。 したがって、精度と再現率の間でトレードオフを行う必要があります。 F1 スコアは適合率と再現率の調和平均であるため、F1 スコアが最大の分類器は適合率と再現率を同時に最適化します。 この研究では、検証セットの最大 F1 スコアがモデル トレーニングの早期停止基準として使用され、分類器しきい値 0.73 で達成されました。 ただし、このしきい値では偽陽性予測が少なくなる代わりに偽陰性予測が多くなるため、デフォルトのしきい値 0.5 を使用しました。 注目すべきことに、この研究の分類器のしきい値はモデルのトレーニングによって学習されたものではなく、許容可能な偽陽性率で偽陰性予測を最小限に抑えるために手動で設定されました。 0.5 未満のしきい値を使用すると、偽陰性の数はさらに減少しますが、偽陽性の数は増加します (3 つのテスト セットすべてについて、さまざまなしきい値での偽陰性と偽陽性の予測の数を参照してください。補足図 S1)。 。

定性的結果が示すように (図 4)、内視鏡の視力が手術の煙、霧、または血液によって損なわれた場合、OoBNet のパフォーマンスは制限されました。 さらに、OoBNet は、物体 (メッシュ、綿棒、組織) がカメラに近すぎて視界がぼやけ、人間のアノテーターであっても特定のフレームが体外にあるかどうかを区別するのが困難な場合に、偽陽性の結果を予測しました。か否か。 OoBNet のパフォーマンスを向上させるためのさらなる作業には、内視鏡視力に障害のある、より大きなセットのエッジケースに対するモデルのトレーニングが含まれる予定です。 さらに、OoBNet は、体外離脱フレームが内部シーンに視覚的に似ている場合に、偽陰性の結果を予測しました。 すべてのテスト データセットに対するすべての偽陰性予測 (n = 557) を手動で検査したところ、プライバシーに敏感な 3 つのフレームが明らかになり、手術室スタッフが特定された可能性がありました。 しかし、111,974 フレームのうち、OoBNet が評価されたフレームは 1 つもありませんでした。患者の身元、介入の時間、または日付は明らかになりませんでした。 それにもかかわらず、OoBNet で匿名化されたビデオは、保存、共有、または公開する前に、医療機密性を確保するために手動で修正する必要があります。 ただし、偽陰性予測は真陽性予測の時間的に近くに位置することが多いため、OoBNet を使用すると手動修正に必要な時間が短縮されます。

外部検証では、OoBNet は F1 スコアの最大 6.7% ポイントの低下を示しました。 これは、外科領域における他の A​​I モデルの多中心検証の結果と一致しています。 たとえば、最先端の手術段階認識モデルは、多中心検証においてさまざまなパフォーマンスを実証しています 26,27。 さらに、腹腔鏡下胆嚢摘出術における CVS のビデオ文書化のためのコンピューター ビジョン プラットフォームである EndoDigest は、内部データセットでの CVS 文書化の成功率 91% と比較して、多中心の外部データセットで検証した場合、CVS 文書化の成功率が 64 ～ 79% であることを示しました 14,20。 したがって、単一のデータセットでトレーニングおよび評価された AI モデルのパフォーマンスは慎重に検討される必要があり、これらの結果は AI モデルの外部検証の必要性をさらに強調しています。 ただし、私たちのモデルは、いくつかの外部センターからのビデオをうまく一般化できることが示されています。

OoBNet の重要性は、内視鏡ビデオの体外離脱フレームを識別する高い信頼性にあります。 OoBNet は、解剖学的構造、器具、手術室の異なる視覚的外観を考慮して、ロボット手術を含む一連の非常に多様な内視鏡手術についてトレーニングされています。 さらに、OoBNet は 2 つの独立したデータセットで評価され、センター間で一般化できる能力が示されています。 OoBNet は、プライバシーを保護しながら内視鏡ビデオの保存、処理、公開を容易にするツールとして一般に共有されています。

結論として、OoBNet は、99% の ROC AUC でデータセットの内視鏡ビデオ内の体外離脱フレームを識別できます。 内部および外部の多中心データセットで広範囲に検証されています。 OoBNet は、アーカイブ、研究、教育のために内視鏡ビデオを匿名化するために高い信頼性で使用できます。

モデルのコード、トレーニングされたモデルの重み、および実行可能ファイルは、https://github.com/CAMMA-public/out-of-body-detector で入手できます。 プライバシー制限のため、現在の作業で使用されているデータセットを公的に共有することはできません。

ココスのヒポクラテスの誓い。 (1923) https://doi.org/10.4159/DLCL.hippocrates_cos-oath.1923。

Bonrath, EM、Gordon, LE & Grantcharov, TP ビデオ分析を通じて、複雑な腹腔鏡手術における「ニアミス」イベントを特徴づけます。 BMJクオリティ。 サフ。 24、490–491 (2015)。

記事 Google Scholar

Bonrath, EM、Dedy, NJ、Gordon, LE & Grantcharov, TP 包括的な外科コーチングにより、手術室での外科スキルが向上します: ランダム化比較試験。 アン。 外科。 262、205–212 (2015)。

論文 PubMed Google Scholar

Miskovic、D. et al. 専門家レベルでの能力評価は可能ですか? 英国における腹腔鏡下結腸直腸手術の国家研修プログラムのための研究。 アン。 外科。 257、476–482 (2013)。

論文 PubMed Google Scholar

ハリス、A.ら。 ランダム化比較試験における2段階食道切除術の信頼できる手術品質保証システムの開発。 アン。 外科。 275、121–130 (2022)。

論文 PubMed Google Scholar

バークマイヤー、JD et al. 肥満手術後の手術技術と合併症発生率。 Ｎ．Ｅｎｇｌ． J.Med. 369、1434–1442 (2013)。

論文 CAS PubMed Google Scholar

Fecso, AB、Bhatti, JA、Stotland, PK、Quereshy, FA & Grantcharov, TP 腹腔鏡下胃がん手術における臨床転帰の予測因子としての技術的パフォーマンス。 アン。 外科。 270、115–120 (2019)。

論文 PubMed Google Scholar

ツインダ、AP 他。 EndoNet: 腹腔鏡ビデオの認識タスクのためのディープ アーキテクチャ。 IEEEトランス。 医学。 イメージング 36、86–97 (2017)。

論文 PubMed Google Scholar

橋本 DA 他術中ビデオのコンピューター ビジョン分析: 腹腔鏡下スリーブ状胃切除術の手術ステップの自動認識。 アン。 外科。 270、414–421 (2019)。

論文 PubMed Google Scholar

Ramesh, S. et al. 胃バイパス手術の手術段階とステップを共同認識するためのマルチタスク時間畳み込みネットワーク。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 16、1111–1119 (2021)。

記事 PubMed PubMed Central Google Scholar

Nwoye, CI、Mutter, D.、Marescaux, J. & Padoy, N. 腹腔鏡ビデオでのツール追跡のための弱教師あり畳み込み LSTM アプローチ。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 14、1059–1067 (2019)。

論文 PubMed Google Scholar

Nwoye、CI et al. アクショントリプレットを介した内視鏡ビデオにおける機器と組織の相互作用の認識。 MICCAI 2020 にて。コンピューターサイエンスの講義ノート (Springer、2020) https://doi.org/10.1007/978-3-030-59716-0_35。

Twinanda, AP、Yengera, G.、Mutter, D.、Marescaux, J. & Padoy, N. RSDNet: 手動の注釈なしで腹腔鏡ビデオから残りの手術時間を予測する方法を学習します。 IEEEトランス。 医学。 イメージング 38、1069–1078 (2019)。

論文 PubMed Google Scholar

マスカーニ、P. et al. 手術ビデオ内の重要なイベントを自動的に特定するコンピューター ビジョン プラットフォーム: 腹腔鏡下胆嚢摘出術の安全性を文書化します。 アン。 外科。 274、e93–e95 (2021)。

論文 PubMed Google Scholar

ラヴァンシー、JL et al. 3 段階の機械学習アルゴリズムを使用した手術スキル評価の自動化。 科学。 議員 11、5197 (2021)。

論文 ADS CAS PubMed PubMed Central Google Scholar

マスカーニ、P. et al. 手術の安全のための人工知能。 アン。 外科。 275、955–961 (2022)。

論文 PubMed Google Scholar

アスパルト、F.ら。 ClipAssistNet: 手術室にリアルタイムの安全性フィードバックをもたらします。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 17、5–13 (2022)。

論文 PubMed Google Scholar

Yu, T. 他不確実性を圧縮したライブ腹腔鏡ビデオ検索。 http://arxiv.org/abs/2203.04301 (2022) でプレプリント。

ラヴァンシー、JL et al. 腹腔鏡下ルーアンワイ胃バイパス手術オントロジーの提案と多中心検証。 外科。 エンドスク。 https://doi.org/10.1007/s00464-022-09745-2 (2022)。

記事 PubMed PubMed Central Google Scholar

マスカーニ、P. et al. EndoDigest の多中心検証: 腹腔鏡下胆嚢摘出術における安全性の重要な見解をビデオ文書化するためのコンピューター ビジョン プラットフォーム。 外科。 エンドスク。 https://doi.org/10.1007/s00464-022-09112-1 (2022)。

論文 PubMed Google Scholar

Sandler, M.、Howard, A.、Zhu, M.、Zhmoginov, A.、Chen, L.-C. MobileNetV2: 逆残差と線形ボトルネック。 2018 年のコンピューター ビジョンとパターン認識に関する IEEE/CVF 会議 4510–4520 (IEEE、2018) https://doi.org/10.1109/CVPR.2018.00474。

Hochreiter, S. & Schmidhuber, J. 長期短期記憶。 ニューラルコンピューティング。 9、1735–1780 (1997)。

論文 CAS PubMed Google Scholar

Kingma、DP、Ba、J. Adam: 確率的最適化の手法。 (2014) https://doi.org/10.48550/ARXIV.1412.6980。

Twinanda, AP、Marescaux, J.、de Mathelin, M.、Padoy, N. 自動腹腔鏡ビデオ データベース構成のための分類アプローチ。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 10、1449–1460 (2015)。

論文 PubMed Google Scholar

Zohar, M.、Bar, O.、Neimark, D.、Hager, GD & Asselmann, D. 半教師あり学習を使用した、手術ビデオ内の体外部位の正確な検出。 プロセスで。 マッハ。 学ぶ。 解像度 MIDL 2020、923–936。

バー、O.ら。 外科インテリジェンス アプリケーションにおける AI の一般化に対するデータの影響。 科学。 議員 10、22208 (2020)。

論文 ADS CAS PubMed PubMed Central Google Scholar

Kirtac, K. et al. 手術段階の認識: 公開データセットから現実世界のデータまで。 応用科学。 12、8746 (2022)。

記事 CAS Google Scholar

リファレンスをダウンロードする

ジョエル L. ラヴァンシーはスイス国立科学財団 (P500PM_206724) から資金提供を受けました。 この研究は、補助金 ANR-20-CHIA-0029-01 (AI4ORSafety 議長) に基づく国家 AI 議長プログラム内および補助金 ANR-10-IAHU-02 に基づく未来への投資プログラム内で、ANR が管理するフランス国家基金によって支援されました。 （IHUストラスブール）。 この原稿の以前のバージョンは arXiv: https://doi.org/10.48550/arxiv.2301.07053 に寄託されました。

Joël L. Lavanchy と Armine Vardazaryan も同様に貢献しました。

著者とその所属のリストは論文の最後に表示されます。

IHU Strasbourg, 1 Place de l'Hopital, 67091, Strasbourg Cedex, France

ジョエル・L・ラヴァンシー、アーミン・ヴァルダザリアン​​、ピエトロ・マスカーニ、ディディエ・ムッター、ニコラ・パドイ

ベルン大学病院内臓外科・内科、ベルン大学、ベルン、スイス

ジョエル・L・ラヴァンシー

ICube、ストラスブール大学、CNRS、ストラスブール、フランス

アーミン・ヴァルダザリアン​​ & ニコラス・パドイ

アゴスティーノ ジェメッリ大学病院財団 IRCCS、ローマ、イタリア

ピーター・マスカーニ

ストラスブール大学病院、ストラスブール、フランス

ディディエ・ムッター

クラルニス大学消化器・肝臓病センター、セント・クララおよびバーゼル大学病院（スイス、バーゼル）外科

ジョエル・L・ラヴァンシー

消化器がん研究研究所 (IRCAD)、ストラスブール、フランス

バーナード・ダルマンド

サンタンドレア病院、サピエンツァ大学、ローマ、イタリア

ジョバンニ・グリエルモ・ララッカ

モナルディ病院、AORN デイ コッリ、ナポリ、イタリア

ルドヴィカ・ゲリエロ & ディエゴ・ククルッロ

IRCCS カグランダ財団オスペダーレ マッジョーレ ミラノ総合病院、ミラノ大学、ミラノ、イタリア

アンドレア・スポタ、ルドヴィカ・バルダリ、エリサ・カシノッティ、ルイージ・ボーニ

アゴスティーノ ジェメッリ大学病院 IRCCS、ローマ、イタリア

クラウディオ・フィオリロ、ジュゼッペ・ケロ、セジオ・アルフィエーリ、グイド・コスタマーニャ

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

JLL と AV は同等に貢献し、最初の共著を共有しました。 JLL、AV、および NP が研究を設計しました。 JLL、AV、PM、および AI4SafeChole コンソーシアムがデータを収集しました。 モデルは AV によって開発されました。 結果は JLL、AV、および NP によって分析されました。 原稿は JLL と AV によって作成され、図 1 ～ 4 は JLL によって作成されました。 すべての著者が原稿をレビューしました。

ジョエル・L・ラヴァンシーへの通信。

著者らは競合する利害関係を宣言していません。

シュプリンガー ネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

補足ビデオ1.

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Lavanchy、JL、Vardazaryan、A.、Mascagni、P. 他深層学習分類器を使用して内視鏡ビデオの体外離脱シーンを識別する手術ビデオ分析におけるプライバシーの保護。 Sci Rep 13、9235 (2023)。 https://doi.org/10.1038/s41598-023-36453-1

引用をダウンロード

受信日: 2023 年 3 月 2 日

受理日: 2023 年 6 月 3 日

公開日: 2023 年 6 月 7 日

DOI: https://doi.org/10.1038/s41598-023-36453-1

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。