Newton 2023年10月号【ChatGPTの教科書】

Newton(ニュートン) 2023年10月号 [雑誌]

　GPTは大規模言語モデルである。言語処理にはTransformerが用いられる。単語をベクトルに変換し、単語同士の内積を計算することで、距離を測るのだという。
　内積はベクトルの長さに、ベクトルのつくる角度のコサインを掛け合わせたもの（a→・b→=|a→||b→|cosθ）である。コサインは1°から180°の間では1から-1まで波を描きながら小さくなって行く。したがって、角度が小さく、ベクトル同士が近い方が、値が大きくなる。
　これだけで単語の意味の近さが測れるというのも不思議ではあるが、実際には各単語は1万次元を超える高次元のベクトルに変換されているらしい。私には何のことだかよく分からない。
　どうやらGPTは脳と同じようなメカニズムで学習する可能性があるという。
　先月号でも、GPTを使った自動運転システムの開発のことが取り上げられていたが、言語モデルだけでも、かなりのレベルのロボットを作ることができるらしい。
　今でも部分的には人間を超えているのだろうが、いずれは、というかそれ程遠くない将来に、超知能が出現することも現実味を帯びている。人工知能とどう共存していくのか。準備をしておかなくてはならないのだろう。