国立情報学研究所の黒橋所長の簡単な説明


黒橋　チャットGPTの核は大規模言語モデル（LLM）というAI技術です。
LLMの機能は単純で、基本的に、与えられた文に対して次にくる単語を予測するだけです
。例えば「私はリンゴを」に続く言葉は「食べる」だろうと予測します。「殴る」ではないだろうと。
　
永井　その「感覚」をどう身に付けるのでしょう。

　黒橋　LLMには、インターネットなどから集めた数兆語規模の膨大な文書データ（コーパス）を学習させます。
AIはコーパス中の文章になるべく合うよう言葉を選ぶのです。AIは学んだコーパスを自動的に分析し、
この言葉の次にはどんな言葉がどれぐらいの確率で出てくるかという、言葉同士の関係を数値化します。
その値はパラメーターと呼ばれ、それをもとに最適な言葉を選ぶのです。学ぶコーパスが大きくパラメーターの数が増えるほど、
適切な言葉を選べるようになるのです。
https://www.tokyo-np.co.jp/article/292853