数行で実現！ミニマリストな機械学習ライブラリ karpathy/micrograd探求

karpathy/micrograd

遥か昔、「自動微分（Autograd）」という強力な魔法が存在しました。これは、ニューラルネットワークの学習、つまり「敵（エラー）を倒すための正しい方向」を見つけるために不可欠な魔法です。

しかし、その魔法は時に巨大な城（PyTorchやTensorFlowといった大規模なフレームワーク）に厳重に保管され、その仕組みを理解するには、多くの長い通路や複雑な仕掛けを通り抜ける必要がありました。

そこに現れたのが、小さな勇者、マイクログラッド（karpathy/micrograd）です！

マイクログラッドの使命は、この強力な自動微分の魔法を、誰でも理解できる「小さなブロック」として再現し、その核心にある「勾配降下法（Gradient Descent）」の原理を、最小限のコードで鮮やかに示すことです。

イメージとしては、マリオが巨大な城に挑む代わりに、基本的なジャンプと踏みつけの技だけで、クッパ（自動微分）の仕組みをシンプルに解き明かすようなものです！

マイクログラッドの核となる機能は以下の2点です。

スカラー値の自動微分エンジン（Tiny Scalar-Valued Autograd Engine）
魔法の核心です。値と勾配（微分値）を保持し、計算グラフを遡って微分値を自動で計算する仕組みです。

PyTorchライクなAPIを持つニューラルネットライブラリ
魔法を使って、小さなニューラルネットワークを構築・訓練するための使いやすいツールです。

「なぜ、すでに大規模で高機能なPyTorchやTensorFlowがあるのに、この小さなライブラリが必要なの？」と思うかもしれません。ここがソフトウェアエンジニアにとって最も役立つポイントです。

このプロジェクトを始めるのは非常に簡単です。まるでマリオが最初のステージに足を踏み入れるようにシンプルです。

まず、プロジェクトのコードを手に入れます。

# GitHubからコードをダウンロード
git clone https://github.com/karpathy/micrograd.git
cd micrograd

マイクログラッドは、Pythonで書かれており、コア部分の実行には特別な依存関係はほとんどありません。しかし、グラフ描画やテストのために一部のライブラリが必要になる場合があります。

# 必要な依存関係（通常はmatplotlibなど）をインストール
pip install -r requirements.txt

これで、すぐにでもコードを動かし、その仕組みを探求し始めることができます。

マイクログラッドの中心的な魔法である「自動微分」がどのように機能するかを見てみましょう。PyTorchを使ったことがあるなら、その類似性に驚くはずです。

簡単な式 L=(a×b)+c を考え、各変数での L の微分を求めます。

from micrograd.engine import Value
import numpy as np

# 1.  変数の定義 (Valueオブジェクト)
# マリオの初期位置を決める
a = Value(2.0, label='a')
b = Value(-3.0, label='b')
c = Value(10.0, label='c')

# 2.  計算グラフの構築
# マリオがブロックを叩き、計算が進む
e = a * b; e.label = 'e'  # e = -6.0
L = e + c; L.label = 'L'  # L = 4.0

print(f"Lの値: {L.data}") # Lの値: 4.0

# 3.  逆伝播（バックプロパゲーション）の実行
# Lからスタートして、全ノードに勾配（微分値）を伝える
L.backward()

# 4.  結果の確認
# 最終的な微分値（dL/da, dL/db, dL/dc）を確認
print(f"aの勾配 (dL/da): {a.grad}")
print(f"bの勾配 (dL/db): {b.grad}")
print(f"cの勾配 (dL/dc): {c.grad}")
# print(f"eの勾配 (dL/de): {e.grad}")

Lの値: 4.0
aの勾配 (dL/da): -3.0
bの勾配 (dL/db): 2.0
cの勾配 (dL/dc): 1.0

Value(data, label) このクラスがマイクログラッドの心臓部です。データ値（data）だけでなく、微分値（grad）と、計算グラフを遡るための親ノード（_prev）や演算の種類（_op）を保持しています。

演算子オーバーロード
a * b のようなPythonの演算を行うと、Value クラス内の特別なメソッド（__mul__など）が呼び出され、新しい Value オブジェクト（この場合は e）が作成されると同時に、逆伝播に必要な情報が保存されます。

L.backward()
これが魔法の発動です。

まず最終出力 L の勾配を 1.0 と設定します (dL/dL=1)。

保存された情報（_prev, _op）を使いながら、連鎖律（Chain Rule）に従って、計算グラフを後方へ（出力から入力へ）進み、すべてのノードの勾配を再帰的に計算します。

ソフトウェアエンジニアとして、このValue クラスの実装とbackward() メソッドの中身こそが、学ぶべき最も価値ある部分です。