mediapipeの導入については、ドローンをmediapipeでジェスチャーコントロールを参照してください。(^^♪

次に、ロボットジェスチャーコントロールのコードをご紹介します。

カメラ映像はmediapipeで認識してます。VS CODEでそこでシリアル通信をし、Ardino　IDEにシリアル値を送信します。

そのシリアル値をもとにサーボーモーターを制御していきます。

＊＊備忘録＊＊

Pythonスクリプト (Mediapipe + シリアル通信)

1 import cv2
2 import mediapipe as mp
3 import serial
4 import time
5
6 # シリアルポートの設定（Arduinoが接続されているポートに合わせる）
7 ser = serial.Serial(‘COM6’, 9600)
8 time.sleep(2) # シリアル接続が安定するまで待つ
9#mediapipeのコード
10 mp_pose = mp.solutions.pose
11 pose = mp_pose.Pose()
12 mp_drawing = mp.solutions.drawing_utils
13
14 cap = cv2.VideoCapture(0)
15
16 while cap.isOpened():
17 success, image = cap.read()
18 if not success:
19 break
20
21 image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
22 results = pose.process(image_rgb)
23
24 if results.pose_landmarks:
25 mp_drawing.draw_landmarks(image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)
26
27 nose = results.pose_landmarks.landmark[0]＃鼻のランドマークno.
28 left_wrist = results.pose_landmarks.landmark[15] # 左手首
29
30
31 # 鼻のx座標を0〜180の範囲に変換（サーボ1の角度範囲）

顔が左から右に移動するのに応じてサーボモーターを連動させるには、顔の位置（特に鼻のx座標）を継続的に追跡し、そのx座標の変化に基づいてサーボモーターの角度を変更する必要があります。

Mediapipeを使用して鼻のx座標を取得し、その値をArduinoに送信します。x座標の範囲は0.0から1.0なので、これを0から180の範囲にスケール変換してサーボの角度に対応させます。

Mediapipeのランドマーク座標系

＊（注）Mediapipeの座標系では、x座標とy座標の値は0.0から1.0の範囲で正規化されていますが、画面の左上が原点 (0,0) で、右下が (1,1) になります。具体的には:

• x が 0.0 は画面の左端、1.0 は画面の右端
• y が 0.0 は画面の上端、1.0 は画面の下端

32 nose_x = int(nose.x * 180)
33 nose_x = max(0, min(180, nose_x)) # 範囲外の値を修正

####1.min(180, nose_x)

###この部分は、nose_xと180のうち、小さい方の値を返します。

• nose_xが180より小さい場合：min(180, nose_x) は nose_x を返します。
• nose_xが180より大きい場合：min(180, nose_x) は 180 を返します。

###########結果、nose_xの最大値が180に制限されます。

######2. max(0, min(180, nose_x))

###次に、上記の結果と0のうち、大きい方の値を返します。

• min(180, nose_x) が0より大きい場合：max(0, min(180, nose_x)) は min(180, nose_x) を返します。
• min(180, nose_x) が0より小さい場合：max(0, min(180, nose_x)) は 0 を返します。

#####結果、nose_xの最小値が0に制限されます

34
35 # 手首のy座標を0〜180の範囲に変換（サーボ2の角度範囲）
36 wrist_y = int((1 – left_wrist.y) * 180) # 左手首を使用（右手首を使用する場合はright_wrist.yを使用）

wrist_y = int((1 – left_wrist.y) * 180)という計算式で1から引いている理由は、Mediapipeのランドマーク座標系におけるy座標の定義と、サーボモーターの角度範囲を合わせるためです。＊（注）参照

サーボモーターの角度範囲

サーボモーターの角度範囲は通常0度から180度までです。

y座標の逆転

画面の座標系では上が0.0で下が1.0ですが、視覚的には上を0度、下を180度としてサーボモーターを制御するため、座標を逆転させる必要があります。これを実現するために 1 – left_wrist.y としています。具体的には:

• left_wrist.y が 0.0 のとき、上端にあり、サーボモーターは 180度
• left_wrist.y が 1.0 のとき、下端にあり、サーボモーターは 0度

この逆転を考慮した式が wrist_y = int((1 - left_wrist.y) * 180) です。

37 wrist_y = max(0, min(180, wrist_y)) # 範囲外の値を修正
38
39 # シリアル通信でデータを送信
40 ser.write(f”{nose_x},{wrist_y}＼n”.encode())

# シリアル通信でデータを送信
ser.write(f”{nose_x}＼n”.encode())

ser.write(f”{nose_x}＼n”.encode()) は、シリアルポートを介してデータを送信するためのPythonコードです。

1. f”{nose_x}＼n”

この部分は、Pythonのf文字列を使用して、nose_xの値を文字列としてフォーマットしています。

• f”{nose_x}” は nose_xの値を文字列に変換します。 例えば、nose_xが90の場合、f”{nose_x}” は “90” となります。
• ＼n は改行文字を表します。 これにより、送信する文字列の末尾に改行が追加されます。

したがって、f”{nose_x}＼n” は nose_xの値に改行文字を追加した文字列を生成します。

なぜｆ”stringをつかうかというと、

Pythonのf文字列（フォーマット済み文字列リテラル）を使用して、nose_xの値を文字列としてフォーマットする理由は、データをシリアルポート経由で送信する際に、nose_xの値を適切な形式で整形し、送り出すためです。

シリアル通信でデータを送る際には、数値データ（例えば、nose_xの値）を文字列形式に変換する必要があります。シリアルポートでは、バイナリデータか文字列データを送ることができ、通常、文字列データとして送信するのが簡単です。f文字列を使用することで、nose_xの数値を簡単に文字列に変換できます。シリアル通信では、送信データの区切りとして改行文字（＼n）を使うことが一般的です。受信側が改行文字を検出して1行のデータの終わりとみなすことで、データの区切りを認識します。f文字列を使うことで、改行文字を簡単に追加できます。

2. .encode()

この部分は、生成された文字列をバイト列（bytes）に変換します。

• .encode() は、デフォルトでUTF-8エンコーディングを使用して文字列をバイト列に変換します。 例えば、"90＼n" をバイト列に変換すると b’90＼n’ となります。

3. ser.write()

この部分は、シリアルポートを介してデータを送信するために使用されます。

• ser は、serial.Serialオブジェクトで、特定のシリアルポートに接続されています。
• write() メソッドは、バイト列をシリアルポートに書き込みます。

41
42 cv2.putText(image, f’Nose X: {nose_x}’, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2, cv2.LINE_AA)
43 cv2.putText(image, f’Wrist Y: {wrist_y}’, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2,
cv2.LINE_AA)
44
45 cv2.imshow(‘Pose Estimation’, image)
46 if cv2.waitKey(5) & 0xFF == 27:
47 break
48
49 cap.release()
50 cv2.destroyAllWindows()
51 ser.close()

Arduino　IDEでサーボモーターを制御：Pythonスクリプトから受信した鼻のx座標に基づいてサーボモーターの角度を設定します。

include　＜Servo.h＞

Servo myServo; // サーボオブジェクト
int pos = 90; // 初期位置

void setup() {
myServo.attach(12); // サーボをデジタルピン12に接続
Serial.begin(9600); // シリアル通信を開始
}

void loop() {
if (Serial.available() > 0) {
String data = Serial.readStringUntil(‘＼n’); // シリアルデータを読み取る　　＊＼nは、改行コードまで取得。
pos = data.toInt(); // 受信データを整数に変換

//シリアル通信で受け取った文字列をString型オブジェクトに格納している場合は、toInt()を使用します。

toInt()は文字列を整数に変換するメソッド。変換結果は、long型で返されます。

　　　　　　
pos = constrain(pos, 0, 180); // サーボの範囲に制限

//pos = constrain(x, a, b);posを０以上１８０以下の範囲に収めます。

ｘがa以上b以下のとき、ｘはそのまま返ります。xがaより小さい時は、a。　ｂより大きい時はｂが返ります。

myServo.write(pos); // サーボの位置

}