タメスケのAI実験ノートについて
LLM・機械学習のモデルや手法、設定を実際に比べ、選び方と注意点をまとめている個人サイトです。
どんなサイト？
「これって実際どうなんだろう？」と気になったことを、紹介記事や伝聞の受け売りではなく、実際にコードを書いて動かして確かめています。 うまくいったことも、いまひとつだったことも、手元で得られた結果をそのまま書き残すのが趣旨です。実験記事の測定値は、自分で実行して保存した出力から確認しています。外部の仕様や発表に含まれる数値は出典を示し、実測と区別します。
大事にしていること
比較の目的は、最も高いスコアの手法を紹介するだけでなく、読者が自分の用途に合う候補を選べるようにすることです。そのため、精度とともに速度や扱い方の違いを調べ、どの条件で選ぶ理由があるのかを説明しています。実測値は実際に動かして得た結果から載せ、期待した改善が見られなかった場合も、その条件と結果を残します。
一方、データや設定が変われば、同じ手法でも結果は変わります。検証した条件と、まだ確かめていない用途を分けて記すのは、手元の結果をどこまで判断に使えるかを読者に見てもらうためです。
どんなことを検証してきたか
2026年7月から公開している53本では、主に次の領域を扱っています。モデルを選ぶ比較に加え、その比較を信頼できるかを確かめる評価手順や、予測の理由を読む説明手法も調べています。
- 日本語RAGの検索品質（7本）。埋め込みモデル、チャンク分割、リランカー、ハイブリッド検索、クエリ拡張を、同じ評価データで工程ごとに切り分けて測っています。あわせて、RAGそのものの仕組みを整理した解説記事も置いています。
- 表形式データのモデル選び。GBDTの主要ライブラリ、解釈しやすいモデルとの精度差、不均衡データへの対策、解約予測での手法選びを、同じ条件に揃えて比べています。
- 検証の落とし穴とデータリーク。交差検証の手続きや前処理の順序でスコアがどれだけ盛れるのかを、よくある誤りを実際に作り込んで測っています。
- モデルの解釈と説明手法。SHAP・LIME・代理モデルの説明が、手法や設定を変えても同じ結論になるのか、元のモデルの判断をどこまで再現できるのかを、構造を作り込んだ合成データで測っています。
- 予測の不確かさと運用時のデータ検証。予測区間が名目どおりの割合を覆えているか、自動評価のスコアに付けた信頼区間が信用できるか、推論前の入力チェックで何を検出できて何を見逃すかを測っています。
- コーディングエージェントの挙動（4本）。設定や指示の書き方が実際に挙動を変えるのかを、何十回も走らせた実行ログから数えています。
検証環境について
手元で実験を回した記事の末尾には、その検証に使ったハードウェア・OS・ランタイム・主要ライブラリのバージョン・実施日をまとめた「検証環境」ブロックを置いています。自分の用途に当てはまる結果かを判断するための情報です。記事中のコードは、手法の理解や利用を助ける実装例として掲載しています。仕組みや用語を整理した解説記事には、実測の検証環境は付きません。コラムは公開資料をもとにした考察として掲載し、実験による検証結果とは区別しています。
記事に出てくる日付は3種類あり、意味が違います。公開日は記事を最初に出した日、更新日は本文に手を入れた日、実施日は検証環境ブロックに書いてある、その数値を実際に測った日です。更新日が新しくても、数値そのものは実施日の時点のものです。
数値をどう確かめているか
実験では条件を変えながらコードを動かし、出力を保存して本文の数値と照合します。どの実行結果に由来するかを確認できない値は実測として載せず、外部資料の数値を使う場合は出典を示します。
数値が一致していても、その解釈が測定の範囲を超えていれば判断を誤らせます。たとえば、今回の測定では差を見分けられなかったという結果は、同じ性能だと証明したことにはなりません。この区別を保ち、試していない条件にまで結論を広げないようにしています。
コードとデータの公開について
記事中には、説明している手法を使うための実装例を掲載し、評価に使った公開データセットの出典も示しています。実験に使ったコード一式や生ログは配布していません。
誤りを見つけたときは
公開後に誤りが分かった場合は、記事を直して更新日を改めます。結論や数値が変わる訂正のときは、何をどう直したのかが読者に分かるよう本文に残し、黙って書き換えることはしません。
記事の内容に誤りや疑問を見つけられた場合は、お問い合わせページからご指摘ください。実測に基づく指摘であれば、こちらで再度確かめたうえで対応します。
運営について
タメスケのAI実験ノートは、「タメスケ」というハンドルネームで運営する個人サイトです。ご意見・ご指摘・お仕事のご相談は、お問い合わせページからご連絡ください。
記事の更新や、記事にするまでもない試したことの記録は X（@tamesuke_ai_lab）で流しています。