Raspberry Pi カメラは音声を使用して AI で写真を作成します

その音は何ですか？ このブラインドカメラでお見せしましょう！

百聞は一見に如かずと言いますが、百の言葉に百の言葉があるでしょうか? メーカー兼開発者の Diego Trujillo Pisanty は、Raspberry Pi を利用したブラインド カメラ プロジェクトでその答えを探ろうとしました。 レンズを使用して光を捉えて画像を作成するのではなく、音を聞き、検出された音声に基づいて周囲にある可能性のあるものの近似を構築します。

このデバイスは、キャプチャしたいものにカメラを向け、ボタンを押して画像を生成するという点で、通常のカメラと同様に機能します。 ただし、この場合、音の捕捉を増幅するために、前面に巨大なホーンが付いています。 ユーザーはボタンを押す前に、このホーンをキャプチャしたい方向に向ける必要があります。 次に、カメラは AI フィルターを通じて音声を解析し、画像を生成します。

Pisanty 氏によると、彼はこのプロジェクトのためだけにカスタムの人工ニューラル ネットワーク (ANN) を開発したそうです。 彼は、メキシコシティ周辺で撮影した一連のビデオに基づいて、独自のモデルを使用して AI をトレーニングしました。

モデルは、ビデオの各フレームを取得し、オーディオの最後の 1 秒を付加することによって作成されました。 これは、システムが画像の作成に使用できるサウンドとビデオの関連付けを構築するのに役立ちました。 このように訓練されたため、作成されるものはすべてメキシコシティの都心部のイメージに大まかに基づいています。

このプロジェクトでは、Pisanty は Raspberry Pi 3B モジュールを使用しています。 ただし、Raspberry Pi 4 を使用して再現することは可能です。 Pi が Tensorflow を処理できる限り、動作するはずです。 カメラには、一種のビューファインダーとして機能する小さな画面もあります。 これにより、ユーザーは画像が処理中であることを知ることができ、生成された画像のプレビューが表示されます。 すべてはカスタム 3D プリントされたシェルの中に収納されています。

ブラインド カメラのトレーニングに使用される AI モデルは、Python 3 を使用して作成されました。これは Tensorflow 2 で動作するように設計されており、TFLite を使用して Raspberry Pi 上で実行されます。 この Raspberry Pi プロジェクトを再作成したい場合、またはそれがどのように連携するかを詳しく知りたい場合は、Pisanty が YouTube に共有したビデオをチェックし、彼の Web サイトでプロジェクトの詳細を読んでください。

25 年以上にわたり、熱心な PC 技術ニュースの内部情報として Tom's Hardware を読んでいる専門家に加わりましょう。 CPU、GPU、AI、メーカーのハードウェアなどに関する最新ニュースと詳細なレビューをあなたの受信箱に直接お届けします。

Ash Hill は、Tom's Hardware US のフリーランスのニュースおよび特集ライターです。 彼女は、その月の Pi プロジェクトと、毎日の Raspberry Pi レポートの多くを管理しています。

Raspberry Pi ナイトビジョンゴーグルで夜も見える

Seeed が 10 インチ reterminal DM Raspberry Pi オールインワンを発表

Runway の強力な第 2 世代 Text-to-Video ツールが誰でも無料で利用できるようになりました

アッシュ・ヒル著 2023年6月7日

Les Pounder著 2023年6月7日

スチュワート・ベンドル著2023年6月7日

アッシュ・ヒル著 2023年6月7日

ジャレッド・ウォルトン著 2023年6月6日

アーロン・クロッツ著2023年6月6日

アントン・シロフ著2023年6月6日

Zhiye Liu 2023 年 6 月 6 日

アントン・シロフ著2023年6月6日

By Mark Tyson2023年6月6日

アーロン・クロッツ著2023年6月6日