ドローンを音声でコントロール。チャレンジしてみた!!
Googleのspeech to textで音声認識したテキストをTelloにコマンドで送信する構想です。
SpeechRecognition や Whisper を試しましたが、英語での認識で日本語は、難しかったので、Googleが一番はっきりと日本語を認識できたように思えました。やはり英語での認識は、ネイティブの発音は認識し、日本人(発音がいまいちな私)の発音は認識しにくかったです。
まずぶち当たった壁は、オフラインでは音声変換ソフトは、良いのが無く、クラウドでのインターネット接続と、Wi-Fiでのドローン(Tello)への接続を同時にしなければならないとこでした。
そこで、いろいろ方法はないか、検討すると、内蔵Wi-Fi機能とUSB接続でのイーサーネットで複数接続できることが分かりました。(イーサーネットは、デバイスを接続してローカルエリアネットワーク (LAN) を構築する際によく使用されるネットワークプロトコルの1つで、 このプロトコルにより、複数のデバイスがネットワーク経由でデータパケットを交換し、通信することが可能になります。)使い古したスマホをUSB接続し、テザリング機能を使用してWi-Fi接続しました。 これで、2か所接続が可能に!!
次にすることは、Googleのspeech to textをIDEで接続すること!! これは、大変苦労しました。かなり根気と努力が必要です。なんとか、できましたが、2か月の月日を要しました。これについては、説明は、とても難しいので、皆さんでお調べいただくのが良いと思います。
参考までに私が出会った本を紹介します。
https://www.ohmsha.co.jp/book/9784274229541/
この本に出会えたこと 感謝しています。ありがとうございます。
PyAudio について説明します。
PyAudio (マイクユーザー向け)
PyAudio は、マイク入力 ( ) を使用する場合にのみ必要ですMicrophone
。以前のバージョンには、特定の状況でマイクから録音するときにメモリ管理のバグがあることが知られているため、PyAudio バージョン 0.2.11 以降が必要です。
Microphone
インストールされていない場合でも、オブジェクトをインスタンス化しようとすると が発生することを除いて、ライブラリ内のすべては引き続き機能しますAttributeError
。
PyAudio Web サイトのインストール手順は非常に優れています。便宜上、以下に要約します。
Windows では、ターミナルでPipを実行して PyAudio をインストールします。pip install pyaudio
。
次にGoogleのspeech to textからTelloにコマンドを送信しなければ、なりません。 これは、SOCKT通信でTelloのIPにコマンドを送りました。プログラムの詳細は、機会をみてご説明しようと思います。簡単な概要でわかりやすいのが、importした内容で次の通りです。
次に、音声認識をし、Text変換した内容をコマンド変換する内容を少し、お見せします。
そうすると、以下のように、認識開始からTEXT変換、コマンド送信した内容と
なります。
実際の音声認識による操作の動画は、次の通りです。(^^♪
投稿
- 空撮事始め (2021年6月18日)
- 航空法施行規則改正されました。令和3年6月1日 (2021年6月19日)
- Tello(Ryze Technology 社 POWERED BY DJI)の飛ばし方マニュアル (2021年7月5日)
- 趣味におすすめ!ドローン(Tello)のいろいろな楽しさをお伝えします。 (2021年7月5日)
- プログラミング言語って?Pythonの導入前にプログラミング言語の種類をおおまかにまとめてみました。 (2021年7月6日)
- ドローンのプログラミングらしき事をやってみる! はじめてのPython&IDEのインストール方法 (2021年7月7日)
- Tello の画像をOpenCVでPCに写してみる!!OpenCVの導入方法 (2021年7月9日)
- これだけは知っておこう!ドローンを飛ばすのに法律って関係あるの? (2021年7月15日)
- ドローンの空撮は最高!きままに撮ってみました(^^♪ 空撮Gallery集 (2021年7月30日)
- ドローンを飛ばすなら これだけは知っておこう!ドローンの飛行ルール(令和3年6月施行) (2021年7月30日)
- これだけは知っておこう!ドローン空撮には注意が必要です。映像等のインターネット上での注意事項。 (2021年7月30日)
- socket通信プログラムの部分を少しだけ解説してみました (2021年9月2日)
- OpenCVで遊んでみる。 PC内蔵webカメラから動画の撮影。 (2021年9月14日)
- PCでOpenCVで顔認識して遊んでみる。(^^♪ カスケード分類器の使い方 (2021年10月30日)
- ドローン・無人航空機の登録が義務化されます。リモートIDの付け方 (2021年12月14日)
- ドローンのプログラミングでOpenCVをつかい顔認識をしてみる (2022年1月9日)
- ドローン(Tello)を飛ばしてOpenCVで顔認識してみる改良版 (2022年2月21日)
- TelloでOpenCVで顔認識させたらFLIP(フリップ)させる(^^♪ (2022年5月2日)
- Pythonを使いTello(ドローン)でOpenCV(顔認識)から自動追尾をしてみる!☺ (2022年6月13日)
- フィンガーサインでドローン(Tello)を操縦してみた!MediaPipeを使用 (2022年9月29日)
- Pythonプログラミング・OpenCv&MediaPipeを使いドローン(Tello)を自由に操縦してみた! (2022年11月21日)
- Pythonで「Tello(ドローン)で自動追尾プログラミング」改良版を紹介します!これはいける! (2023年3月22日)
- OpenCVで遊んでみる。 PC内蔵カメラから映像の表示 と ドローンからの映像を表示をする (2023年4月13日)
- Telloとパソコンの通信の部分を少しわかりやすくしてみました (2023年4月13日)
- 100g未満のドローン、100g以上のドローンを飛ばすには?法律や準備しないといけないことは何? (2023年4月21日)
- mediapipe(メディアパイプ)& OpenCV・ Pythonでposeランドマーク検出Telloの自動操縦 (2023年5月8日)
- プログラミングで動かせるオススメ!ドローン・ロボット ベスト2選!! (2023年6月1日)
- 海外、子供に人気!プログランミングで動かせるドローンLitebeeWing紹介(パソコン接続方法解説)します。 (2023年7月2日)
- 講座用ダウンロード サイト (2023年7月7日)
- ドローン(Tello)を音声認識コントロールできる?パソコンで2か所Wi-Fi接続してGoogle Speech to Text (2023年7月9日)
- 最近はまっている 楽しーい気分転換アイテム ドローン&プログラミング学習用教材&ラジコン (2023年7月26日)
- Scratch(スクラッチ)ビデオモーションセンサーでTello(ドローン)操作 AR「拡張現実」? (2024年1月31日)
- スクラッチ(Scratch3-Tello) & (マイコンボード)micro:bitを使って、Telllo(ドローン)をコントロールしてみた(^^♪ (2024年5月5日)
- マイコンでドローン感知ロボットを作ってみました(^^♪ microbit & arduino (2024年6月1日)
- mediapipe & Arduino で 自称ロボットのジェスチャーコントロール (2024年6月5日)
- M5Stackを内蔵のESP32でWiFiサーバーとして使い、コードレスで無線ジェスチャーコントロールをしてみました(^^)/ (2024年6月12日)
- ロボットアームのジェスチャーコントロールへの挑戦 からだアクション操作*目指せ老後の食事介助アーム* (2024年6月27日)
- LiteBee Wing/ SKY / Tello でドローンプログラミングを教えます。プログラミングしたい人集まれ(^^♪ (2024年7月3日)
- 自由研究に!「ドローンをつくろう!学ぼう!」by 神戸ロボットクラブ (2024年8月17日)