もう少し詳しく
言語モデルなどの土台を作る段階です。文章やその他のデータを使い、後のさまざまな課題に利用できる表現を学習します。
たとえば、こんな場面で
幅広い文章から学んだ言語モデルを、後から問い合わせ対応向けに調整します。
覚えておきたいこと
学習対象はインターネットの文章だけとは限らず、モデルによってデータの構成が異なります。
Pre-training
事前学習
個別の用途に適応させる前に、広いデータから基礎的なパターンを学ぶこと。
Pre-training
個別の用途に適応させる前に、広いデータから基礎的なパターンを学ぶこと。
言語モデルなどの土台を作る段階です。文章やその他のデータを使い、後のさまざまな課題に利用できる表現を学習します。
幅広い文章から学んだ言語モデルを、後から問い合わせ対応向けに調整します。
学習対象はインターネットの文章だけとは限らず、モデルによってデータの構成が異なります。