タグ・1本
チャンク分割
RAGのチャンク分割は段落で切るか文字数で切るか—100文字・重なりなしでは正解が境界で消えた
日本語RAGでチャンクの区切り方を8構成で比べたところ、元の段落境界を使う構成の順位品質が最も高く、100文字・オーバーラップなしでは500問中20問の正解が境界で分断されていました。段落構造を使えない文書での起点は200〜400文字・オーバーラップ20%。100〜800文字の実測と、手元で動く実装例を掲載します。
気になったことを実際に実験して、その結果を共有
タグ・1本
RAGのチャンク分割は段落で切るか文字数で切るか—100文字・重なりなしでは正解が境界で消えた
日本語RAGでチャンクの区切り方を8構成で比べたところ、元の段落境界を使う構成の順位品質が最も高く、100文字・オーバーラップなしでは500問中20問の正解が境界で分断されていました。段落構造を使えない文書での起点は200〜400文字・オーバーラップ20%。100〜800文字の実測と、手元で動く実装例を掲載します。