今日の気づきは「AI市場の寡占化が止まらない」です。
今日は以下の記事からの気づきです。
Google、AI寡占化の懸念再び 40億枚もの画像学習：日本経済新聞
本記事を要約すると、米グーグルが40億枚もの画像を学習させたAI「Minerva（ミネルバ）」がこれまでのAIが苦手としてきた数学問題や物理問題なども解けるようになった、と報じています。
目次
●AIを進化させるのは規模の力
●今後のAI市場寡占化懸念
●最後に
AIを進化させるのは規模の力
AIは学習したデータセットが増えれば増えるほど正答率が向上する訳ではなく、学習データが一定量を超えると未知データへの対応力を失う「過学習」という課題を長年持っていました。
しかし今回グーグルが開発した「Minerva」はモデルのパラメーター数と学習データ量を大きくするだけで性能が向上することを示し、過学習を克服しました。
Minervaの学習モデルには、自然言語処理で、Pathways Language Model（パスウェイズ言語モデル、PaLM）、画像認識でViT（Vision Transformer）-Plexが使用されています。
①PaLM
PaLMはグーグルが22年4月に発表した自然言語処理モデルです。
オープンAIの開発したGPT-3ではパラメーター（モデルの学習実行後に獲得される値）が1750億パラメーターでした。
一方、PaLMはWebページや書籍、Wikipedia、ニュース記事、ソースコード、ソーシャルメディア上の会話などから収集した7800億単語（トークン）からなる文章を学習した、パラメーター数が5400億にも達する巨大言語モデルで、社会常識を問うような質問に流ちょうに答えたり、プログラムのソースコードを生成したりできます（日経クロステックより）。
②ViT-Plex
ViT-Plexはグーグルが22年7月に発表した画像認識モデルです。
視覚パラメーター数が3億2500万、言語パラメーター数は10億で、学習データセットサイズは40億サンプルまでだそうです（Google AI Blogより）。
今回の実験で使用したのはJFT-4Bというグーグル社内の画像データセットで、画像は4B（ビリオン）つまりは40億枚でした。
今後のAI市場寡占化懸念
モデルサイズの巨大化はコストさえかければ誰でも真似できます。
しかし、学習データ量の巨大化は簡単ではありません。
数十億枚規模の学習用画像データセットを自前で用意できているのは、グーグル以外ではインスタグラムを運営する米メタぐらいです。
よって、AIの寡占化に対する懸念が再び浮上しています。
最後に
過学習が克服されたことに驚きました。
過学習がないということは、学習するほどどんどん正答率が上がることを意味し、45年に起こるシンギュラリティに向かって着実に技術が進歩している証拠です。
そして、本記事で紹介されているMinervaは、高校レベルの数学問題「MATHデータセット」の正答率をそれまでのAIの最高成績である8.8％から50.3％へ飛躍的に改善した「定量的推論（Quantitative reasoning）もできるAI」として期待も高まっています。
今後は、本記事で懸念されている通り、大量のデータを保有する一部企業による技術寡占状態になって、我々の生活は便利な反面、その企業の思うままになってしまうかもしれません。
最近Web3.0もバズワード化していますが、私も危機感を持って5～10年後を見すえて行動できるように勉強していきたいと気づかされました。
以上、今日の気づきは「AI市場の寡占化が止まらない」でした。
最後まで読んでいただき、ありがとうございます！
