ブログポスト：オープンソースAIコミュニティの成長と興奮
タグ：オープンソースAI、Miqu、Mistral、GPT-4、LLM
最近の数日間は、成長するオープンソースAIコミュニティにとっては、通常よりも荒れた日々となりました。その速度と自由なスタンダードを考えれば、驚くべきことではありません。
以下は、その概要です：
1月28日前後、ユーザー名「Miqu Dev」のユーザーが、主要なオープンソースAIモデルおよびコード共有プラットフォームであるHuggingFaceに、新たなオープンソースの大規模言語モデル（LLM）「miqu-1-70b」とラベル付けされた一連のファイルを投稿しました。
この記事の投稿時点では、HuggingFaceのエントリーはまだ残っており、新しいLLMの「Prompt format」（ユーザーの対話方法）は、パリのAI企業Mixtral 8x7bの背後にあるMistralというウェルファンドのオープンソースLLMと同じであると記載されています。Mixtral 8x7bは、現在利用可能なオープンソースLLMの中で最も優れたパフォーマンスを持つとされており、MetaのLlama 2の調整および再トレーニング版です。
同じ日に、匿名のユーザーが4chanに（おそらく「Miqu Dev」が）miqu-1-70bのファイルへのリンクを投稿しました。4chanは、オンラインミームと有毒なコンテンツで知られる場所ですが、ユーザーたちはそれに気付き始めました。
一部のユーザーは、イーロン・マスクのソーシャルネットワークであるX（以前はTwitterとして知られていました）に移動し、このモデルの発見と、一般的なLLMのタスクでの非常に高いパフォーマンス（ベンチマークとして測定されるテストによるもの）を共有しました。これにより、以前のリーダーであるOpenAIのGPT-4に迫る結果となりました。
「Miqu」は何か特別なものを持っているようです。EQ-Benchでは83.5のスコアを獲得し、世界中の他のLLM（GPT-4を除く）を凌駕しています。EQ-BenchはMMLUと0.97の相関関係があり、Arena Eloとは0.94の相関関係があります。Q4_K_MのMistral Mediumを上回ります。」と、ユーザーはコメントしています。
LinkedInでも、機械学習（ML）の研究者たちは注目しました。
「’miqu’はMIstral QUantizedの略称でしょうか？はっきりとはわかりませんが、これはおそらく最も優れたオープンソースLLMの1つになりました。」と、世界最大の銀行および金融会社であるJPモルガン・チェースのML科学者であるMaxime Labonneは書いています。「@152334Hさんのおかげで、ここには非量子化されたバージョンのmiquもあります。」
MLでの量子化は、特定のAIモデルをよりパワフルなコンピューターやチップ上で実行できるようにするための技術です。モデルのアーキテクチャ内の特定の長い数字のシーケンスを短いものに置き換えることで実現します。
ユーザーたちは、「Miqu」はMistralが自社の新しいモデルを秘密裏に「リーク」している可能性があると推測しました。特に、Mistralはエソテリックで技術的な手段を通じて新しいモデルやアップデートを公開することで知られています。または、従業員や顧客が勝手に行動した可能性もあります。
さて、今日、これらの可能性のうち後者の確認ができたようです。Mistralの共同創設者兼CEOであるArthur Menschは、Xで以下のように明言しました。「私たちの早期アクセス顧客の熱心な従業員が、過去に私たちがトレーニングし、公開的に配布していた古いモデルの量子化（およびウォーターマーク付き）バージョンをリークしました…」
「数人の選ばれた顧客と迅速に作業を始めるために、私たちはクラスタ全体にアクセスできるようになった瞬間からこのモデルをLlama 2から再トレーニングしました。プリトレーニングはMistral 7Bのリリース日に終了しました。私たちはその後も良い進展を遂げています。ご期待ください！」
面白いことに、MenschはHuggingFaceの投稿に対して削除を要求するのではなく、投稿者に「帰属を考慮することを検討してみてください。」とコメントを残しているようです。
Menschの「ご期待ください！」というコメントからも分かるように、MistralはGPT-4に匹敵するパフォーマンスを持つとされる「Miqu」というモデルのバージョンをトレーニングしている可能性があります。彼のコメントを寛大に解釈すると、それはGPT-4を上回るか、またはそれに匹敵するかもしれません。
これは、単にオープンソースの生成型AIにとってだけでなく、AIおよびコンピューターサイエンスの分野全体にとって画期的な瞬間となるでしょう。2023年3月のリリース以来、GPT-4はほとんどのベンチマークで世界最強かつ最高性能のLLMとして君臨してきました。Googleの現在利用可能な、長い噂のあるGeminiモデルですらそれを超えることはできませんでした（一部の指標によると、現在のGeminiモデルは以前のOpenAI GPT-3.5モデルよりも劣っているとされています）。
オープンソースのGPT-4クラスのモデルがリリースされれば、おそらく無料で使用できる機能的なモデルとなり、OpenAIとそのサブスクリプション層に対して非常に大きな競争圧力をかけることになるでしょう。特に、より多くの企業が自社のアプリケーションにパワーを与えるためにオープンソースモデルまたはオープンソースとクローズドソースの組み合わせを採用するようになるにつれて、VentureBeatの創設者兼CEOであるMatt Marshallが最近報告したように、OpenAIはGPT Storeなどの機能を活用して優位性を保つことができるでしょうか。しかし、明らかなことは、オープンソースAIコミュニティが急速に追いついているということです。OpenAIは、GPT-4 TurboやGPT-4V（ビジョン）などの速いモデルとGPT Storeなどの機能によって優位性を保つことができるかもしれませんが、その先には明らかな兆候が見えています。
VentureBeatのミッションは、技術の意思決定者が変革的なエンタープライズテクノロジーについて知識を得て取引を行うためのデジタルタウンスクエアであることです。
© 2024 VentureBeat. All rights reserved.
注意
- この記事はAI(gpt-3.5-turbo)によって自動生成されたものです。
- この記事はHackerNewsに掲載された下記の記事を元に作成されています。
Mistral CEO confirms ‘leak’ of new open source AI model nearing GPT4 performance - 自動生成された記事の内容に問題があると思われる場合にはコメント欄にてご連絡ください。