もう少し詳しく
正確さだけでなく、必要な項目を満たすか、安全に動くか、時間や費用が許容範囲かなどを調べます。実際の利用場面に近い課題を用意することが大切です。
たとえば、こんな場面で
問い合わせ例を用意して、正しい案内ができた割合と、判断できないときに確認を求めた割合を測ります。
覚えておきたいこと
一つのスコアだけで、すべての用途に向いているとは判断できません。
Evaluation
評価（Evals）
AIの回答や動作が、目的に合っているかを測ること。
Evaluation
AIの回答や動作が、目的に合っているかを測ること。
正確さだけでなく、必要な項目を満たすか、安全に動くか、時間や費用が許容範囲かなどを調べます。実際の利用場面に近い課題を用意することが大切です。
問い合わせ例を用意して、正しい案内ができた割合と、判断できないときに確認を求めた割合を測ります。
一つのスコアだけで、すべての用途に向いているとは判断できません。