ドローン(Tello)を音声認識コントロールできる?パソコンで2か所Wi-Fi接続してGoogle Speech to Text
ドローン(Tello)を音声認識コントロールできる?パソコンで2か所Wi-Fi接続してGoogle Speech to Text

ドローン(Tello)を音声認識コントロールできる?パソコンで2か所Wi-Fi接続してGoogle Speech to Text

ドローンを音声でコントロール。チャレンジしてみた!!

Googleのspeech to textで音声認識したテキストをTelloにコマンドで送信する構想です。

SpeechRecognition や Whisper を試しましたが、英語での認識で日本語は、難しかったので、Googleが一番はっきりと日本語を認識できたように思えました。やはり英語での認識は、ネイティブの発音は認識し、日本人(発音がいまいちな私)の発音は認識しにくかったです。

まずぶち当たった壁は、オフラインでは音声変換ソフトは、良いのが無く、クラウドでのインターネット接続と、Wi-Fiでのドローン(Tello)への接続を同時にしなければならないとこでした。

そこで、いろいろ方法はないか、検討すると、内蔵Wi-Fi機能とUSB接続でのイーサーネットで複数接続できることが分かりました。(イーサーネットは、デバイスを接続してローカルエリアネットワーク (LAN) を構築する際によく使用されるネットワークプロトコルの1つで、 このプロトコルにより、複数のデバイスがネットワーク経由でデータパケットを交換し、通信することが可能になります。)使い古したスマホをUSB接続し、テザリング機能を使用してWi-Fi接続しました。 これで、2か所接続が可能に!!


Google Speech-to-Text

次にすることは、Googleのspeech to textをIDEで接続すること!! これは、大変苦労しました。かなり根気と努力が必要です。なんとか、できましたが、2か月の月日を要しました。これについては、説明は、とても難しいので、皆さんでお調べいただくのが良いと思います。



参考までに私が出会った本を紹介します。

https://www.ohmsha.co.jp/book/9784274229541/

この本に出会えたこと 感謝しています。ありがとうございます。

PyAudio について説明します。

PyAudio (マイクユーザー向け)

PyAudio は、マイク入力 ( ) を使用する場合にのみ必要ですMicrophone。以前のバージョンには、特定の状況でマイクから録音するときにメモリ管理のバグがあることが知られているため、PyAudio バージョン 0.2.11 以降が必要です。

Microphoneインストールされていない場合でも、オブジェクトをインスタンス化しようとすると が発生することを除いて、ライブラリ内のすべては引き続き機能しますAttributeError

PyAudio Web サイトのインストール手順は非常に優れています。便宜上、以下に要約します。

Windows では、ターミナルでPipを実行して PyAudio をインストールします。pip install pyaudio 。

次にGoogleのspeech to textからTelloにコマンドを送信しなければ、なりません。 これは、SOCKT通信でTelloのIPにコマンドを送りました。プログラムの詳細は、機会をみてご説明しようと思います。簡単な概要でわかりやすいのが、importした内容で次の通りです。

次に、音声認識をし、Text変換した内容をコマンド変換する内容を少し、お見せします。

そうすると、以下のように、認識開始からTEXT変換、コマンド送信した内容と
なります。

実際の音声認識による操作の動画は、次の通りです。(^^♪

投稿





コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です