シリーズ・全4本
Claude Code活用術の実測検証
Claude Codeをはじめとするコーディングエージェントの使い方については、体験談は多い一方で、条件を揃えた実測はあまり見当たりません。このシリーズでは、エージェントの挙動を実際に何十回も走らせ、ログから挙動を数え上げて検証しています。指示や仕組みを足したときに何が変わるかを比べ、自分の作業に取り入れるかを判断できるよう整理します。
このシリーズで確かめていること
- テストを先に書かせる仕組みは、実際にモデルの挙動を変えるのか
- 指示を出さないとき、モデルは自分で検証するのか
- 思考の量を増やすと、成果はコストの増え方に見合うのか
- CLAUDE.mdは、長く詳しく書くほど守られるのか
連載順に読む
第1回Claude Codeのeffortは上げるべきか。120回のコードレビューで比べた
Claude Codeのeffortをlowからmaxへ上げると、出力トークンは16.6倍・所要時間は6.9倍になりました。バグ検出率の測定値は上向いたものの、8タスクでは差を確定できません。仕込んだ30個のうち7個は、どの段階でも一度も指摘されませんでした。
第2回CLAUDE.mdは短いほど守られる？ 8条件・計96回で検証
同じ7つのコーディング規約を7通りのCLAUDE.mdに書き分け、ファイルなしの対照条件と合わせて、Claude Code（Haiku 4.5）で96回実行しました。40行版が最も高かったものの、196行から779行へ増やしても遵守率は下がりませんでした。長さ、置き場所、命令形、反復、許可リストの違いを実測結果から見ていきます。
第3回Claude Codeはデータリークを見抜いた—対策が書いてあるのに効いていないコードでも
コードレビューでデータリークを見つけられるかを実測しました。手元の採点だけが嘘になるリークを6種類仕込み、Claude Code（Sonnet 5）に読ませたところ、対策が書いてあるのに効いていない難しい版で34回中33回、易しい版と合わせて70回中69回で機序まで言い当てています。代わりに、正しいコードを疑う指摘が出ました。手元で試せる検証コードつき。
第4回Claude Codeのトークン消費は何で変わる？節約術とBash実行を88回比較
Claude Codeのトークン消費を抑えるための/clearや出力指定を同条件で比較しました。個別の削減効果を確認できなかった一方、Bash実行を許可しない条件では推定コストの最大値と最小値が10倍以上開きました。手元の環境で消費のばらつきと生成物の品質を確かめる手順も示します。