もう少し詳しく
テキストを一定の規則で区切り、それぞれを数値に変換して処理します。区切り方はモデルのトークナイザーによって異なり、1単語が複数トークンになる場合もあります。
たとえば、こんな場面で
同じ文章でも、使うモデルが変わるとトークン数が変わることがあります。
覚えておきたいこと
文字数とトークン数は同じではありません。日本語も「1文字＝一定のトークン数」とは限りません。
Token
トークン
モデルが文章を処理するときに使う、文字や単語の一部などの単位。
Token
モデルが文章を処理するときに使う、文字や単語の一部などの単位。
テキストを一定の規則で区切り、それぞれを数値に変換して処理します。区切り方はモデルのトークナイザーによって異なり、1単語が複数トークンになる場合もあります。
同じ文章でも、使うモデルが変わるとトークン数が変わることがあります。
文字数とトークン数は同じではありません。日本語も「1文字＝一定のトークン数」とは限りません。