タメスケのAI実験ノートについて
LLM・機械学習のモデルや手法、設定を実際に比べ、選び方と注意点をまとめている個人サイトです。
どんなサイト？
「これって実際どうなんだろう？」と気になったことを、紹介記事や伝聞の受け売りではなく、実際にコードを書いて動かして確かめています。 うまくいったことも、いまひとつだったことも、手元で得られた結果をそのまま書き残すのが趣旨です。記事に出てくる数値はすべて、自分で回した実行結果から取っています。
大事にしていること
個人的なノートではありますが、公開する以上は次の3つは守るようにしています。
- 数値は、実際に動かして得たものだけを載せる。推測やそれらしい値を「実測」として書くことはしません。試した結果がいまひとつでも、そのまま書きます。
- 比較結果を、選ぶときの判断につなげる。精度が高いだけでなく、速度や扱いやすさにどんな違いがあるか、どんな用途なら候補になるかまで整理します。
- 分かった範囲と、まだ分からないことを分ける。データや設定によって結果は変わります。検証条件を示し、試していない用途まで結論を広げません。
どんなことを検証してきたか
2026年7月から公開している44本は、次の領域に分かれます。実際に記事として出したものだけを挙げていて、扱ったことのない領域は書いていません。
- 日本語RAGの検索品質（7本）。埋め込みモデル、チャンク分割、リランカー、ハイブリッド検索、クエリ拡張を、同じ評価データで工程ごとに切り分けて測っています。あわせて、RAGそのものの仕組みを整理した解説記事も置いています。
- 表形式データのモデル選び。GBDTの主要ライブラリ、解釈しやすいモデルとの精度差、不均衡データへの対策、解約予測での手法選びを、同じ条件に揃えて比べています。
- 検証の落とし穴とデータリーク。交差検証の手続きや前処理の順序でスコアがどれだけ盛れるのかを、よくある誤りを実際に作り込んで測っています。
- モデルの解釈と説明手法。SHAP・LIME・代理モデルの説明が、手法や設定を変えても同じ結論になるのか、元のモデルの判断をどこまで再現できるのかを、構造を作り込んだ合成データで測っています。
- 予測の不確かさと運用時のデータ検証。予測区間が名目どおりの割合を覆えているか、自動評価のスコアに付けた信頼区間が信用できるか、推論前の入力チェックで何を検出できて何を見逃すかを測っています。
- コーディングエージェントの挙動（4本）。設定や指示の書き方が実際に挙動を変えるのかを、何十回も走らせた実行ログから数えています。
検証環境について
手元で実験を回した記事の末尾には、その検証に使ったハードウェア・OS・ランタイム・主要ライブラリのバージョン・実施日をまとめた「検証環境」ブロックを置いています。自分の用途に当てはまる結果かを判断するための情報です。記事中のコードは、手法の理解や利用を助ける実装例として掲載しています。仕組みや用語を整理した解説記事には、実測の検証環境は付きません。
記事に出てくる日付は3種類あり、意味が違います。公開日は記事を最初に出した日、更新日は本文に手を入れた日、実施日は検証環境ブロックに書いてある、その数値を実際に測った日です。更新日が新しくても、数値そのものは実施日の時点のものです。
数値をどう確かめているか
記事にする数値は、次の順で確かめています。
- 実際にコードを書いて動かす。条件を変えながら実行し、出力をログとして保存します。記憶や他所の記事から数値を持ってくることはしません。
- 本文の数値を保存したログへ突き合わせる。記事に書いたすべての数値が、どの実行結果から来たのかを1つずつ確認します。ここで遡れなかった数値は載せません。
- 公開前にもう一度、書いた内容が測った範囲に収まっているか見直す。差が小さくて判定できなかったものを「差がなかった」と書いていないか、測っていない条件へ結論を広げていないかを確認します。
コードとデータの公開について
記事中には、説明している手法を使うための実装例を掲載しています。実験に使ったコード一式や生ログは配布していません。
評価に使った公開データセットは、記事内で出典を明記しています。
誤りを見つけたときは
公開後に誤りが分かった場合は、記事を直して更新日を改めます。結論や数値が変わる訂正のときは、何をどう直したのかが読者に分かるよう本文に残し、黙って書き換えることはしません。
記事の内容に誤りや疑問を見つけられた場合は、お問い合わせページからご指摘ください。実測に基づく指摘であれば、こちらで再度確かめたうえで対応します。
運営について
タメスケのAI実験ノートは、「タメスケ」というハンドルネームで個人が運営しています。実名・住所などは公開していません。
ご意見・ご指摘・お仕事のご相談は、お問い合わせページからご連絡ください。
記事の更新や、記事にするまでもない試したことの記録は X（@tamesuke_ai_lab）で流しています。