LLMの知性をハードに注入！MCPベースのESP32チャットボットで未来のIoT制御をマスター

78/xiaozhi-esp32

特に、その核心にある技術や、組み込みシステムとクラウドAIを連携させる手法は、組み込み開発やIoT、AI連携に関心のあるエンジニアにとって「激安で驚いた商品」を紹介するような感動を提供してくれるでしょう！

「78/xiaozhi-esp32」は、ESP32という安価で多機能なマイコンを使い、MCP (Model Context Protocol)という仕組みを通じて、クラウドのLLM（大規模言語モデル）やTTS（Text-to-Speech、音声合成）サービスと連携させることで、本格的な音声対話型AIアシスタントを実現しています。

このプロジェクトを始めるには、主にESP32マイコンボードと、開発環境の準備が必要です。

ESP32-S3開発ボード
特に、RAMが8MB以上搭載されたモデル（例
M5Stack CoreS3、M5Stack Atom S3R + Echo Baseなど）。音声入出力が必要なため、マイクとスピーカー機能があるか、外付けできるものが推奨されます。

USBケーブル
PCとボードを接続するため。

このプロジェクトはEspressif社の開発フレームワークであるESP-IDFをベースにしています。

開発環境
VSCodeとESP-IDF Extensionの組み合わせが最も推奨されます。

ESP-IDFのインストール
VSCodeの拡張機能を使って、ESP-IDF v5.4以降のSDKをインストールします。

プロジェクトのクローン
GitHubからソースコードをダウンロードします。

git clone https://github.com/78/xiaozhi-esp32.git
cd xiaozhi-esp32

設定の構成
ESP-IDFのツールを使って、ボードの種類、Wi-Fi情報、LLM/TTSサービスのAPIキーなどの設定を行います。

idf.py menuconfig

ここで、クラウド側のサービス（LLMやTTS）へのアクセスに必要なAPIキーやエンドポイントURLを設定します。

ビルドと書き込み
設定が完了したら、ファームウェアをビルドし、ESP32ボードに書き込みます。

idf.py -p /dev/ttyUSB0 flash monitor
# /dev/ttyUSB0 の部分は環境に合わせて変更してください

「78/xiaozhi-esp32」プロジェクトでは、ESP32側でMCPプロトコルに基づいたサービスディスパッチ（処理振り分け）を実装します。

ユーザーが「電気を消して」と話すと、以下のステップがクラウドとESP32間で実行されます。

音声入力 → ASR（クラウド） → テキスト

テキスト → LLM（クラウド） → MCPコマンド（JSON形式）

MCPコマンド → ESP32へ送信 (WebSocket/MQTTなど)

ESP32 → MCPコマンドを解析 → 実際のGPIO制御を実行

LLMは対話の文脈を理解し、ハードウェアを制御するための以下のようなJSON形式のメッセージを生成します。

{
  "type": "control_device",
  "data": {
    "device": "light",
    "action": "turn_off",
    "param": {}
  }
}

ESP32のファームウェアは、受信したJSONを解析し、actionやdeviceに基づいて適切なハードウェア関数を呼び出します。

// 簡略化された擬似コード
void handle_mcp_command(const char* json_payload) {
    // 1. JSONを解析
    JsonDocument doc;
    deserializeJson(doc, json_payload);

    const char* type = doc["type"];
    const char* device = doc["data"]["device"];
    const char* action = doc["data"]["action"];

    if (strcmp(type, "control_device") == 0) {
        if (strcmp(device, "light") == 0) {
            if (strcmp(action, "turn_off") == 0) {
                // 2. 実際のハードウェア制御関数を呼び出す
                control_gpio_for_light(0); // 電気のGPIOをLOWに設定
                send_response_to_cloud("ライトを消しました");
            } else if (strcmp(action, "turn_on") == 0) {
                control_gpio_for_light(1); // 電気のGPIOをHIGHに設定
                send_response_to_cloud("ライトをつけました");
            }
        }
        // 他のデバイス（エアコン、扇風機など）の制御ロジックを追加...
    }
}