LMArena 運営中

LMArenaはオンラインの人工知能モデル評価プラットフォームです。単一モデルのサービス提供を主な目的とせず、複数のモデルによる匿名対戦を実施します。ユーザーはまず身元を隠したモデルの回答を確認し、内容の品質に基づいて投票します。投票が完了すると、モデル名を確認できます。

この仕組みにより、ブランド認知が判断に直接与える影響を抑えられ、評価結果はコミュニティ投票の継続的な蓄積によって形成されます。プラットフォームの位置付けは、単一の標準化ベンチマークというより、実際の利用シーンにおけるモデル比較と観察のためのツールに近いものです。

プラットフォームは匿名の2モデル対戦に対応しています。ユーザーが質問や指示を入力すると、システムは2つのモデルによる回答を表示します。ユーザーは、よりニーズに合う回答を選択し、投票によって回答の品質を評価できます。

LMArenaは投票データとチェスに似たEloレーティングの仕組みに基づいて動的ランキングを更新し、タスクの種類ごとにモデルの性能を表示します。対応するタスクには、テキスト対話、プログラミング、画像理解、ウェブ開発などがあります。ユーザーは画像をアップロードし、画像とテキストを組み合わせた評価に参加することもできます。

プラットフォームに蓄積された投票データの一部はオープンデータセットとして提供され、モデルの能力、ユーザーの好み、評価手法に関する研究に利用できます。

研究者は匿名対戦のデータやオープンデータセットを利用して、特定のタスクにおけるモデル間の違いを観察し、ユーザーの好みを分析したり、評価手法の研究に役立てたりできます。

開発者や技術選定の担当者は、同じプラットフォーム上で複数モデルの実際の回答を横断的に確認し、一般的な質疑応答、プログラミング、画像理解などのタスクにおける相対的な性能を把握できます。そのうえで、自身の要件に基づいて追加検証を行えます。

技術愛好家、学生、一般ユーザーは、質問を直接入力して投票に参加することで、異なるモデルの回答スタイルや能力の違いを直感的に理解できます。

ランキングはコミュニティ投票に基づく相対的な結果であり、質問の種類、参加ユーザー、投票傾向、時間の変化などの影響を受けます。ランキング上のモデルの位置が、あらゆる業務や専門的なタスクにおける適性の高さを意味するわけではありません。

モデル対戦は初期比較や選定候補の把握に適していますが、正確性、応答の安定性、データ処理要件、利用コスト、特定業界の規範などが関わる場合は、実際のテストセットを用いた独立検証が必要です。画像タスクとテキストタスクの結果も分けて解釈すべきであり、単純に相互推論することはできません。