ブログで画像生成の評価手法に関して網羅的にまとめた記事を以前書きました

その記事から生まれたのがAI Aime Arenaになります。

要は現在の画像生成タスクにおける評価は人間がその生成モデルを使ってみてどう思うか、つまり、1000人、2000人かの評価者を用意してその主観で評価しているに過ぎないそこに対しての私のアンサーだ。

アンケート型の評価手法の加速

私が画像生成の評価手法に興味を半年が経過したが現状は変わらずアンケート型の評価手法が目立つ状況が続いている。

ここ半年の大きなモデルであったSD3.5の公式リリースでもこの手法が使用されている。複数の評価者からPrompt Adherence(プロンプトの追従性)とAesteticQuality(画像の品質)の観点から複数の評価者に対して評価を実施して総合的に優れていることを示している。

また、Flux.1の公式リリースでも同じくアンケート型の評価手法を行っておりVisualQuality(画像の品質),PromptFollowing(プロンプトの追従性),Typography(文字出力),OutputDiversity(出力の多様性)と5つの項目から優れていることを示している。

学術系では前回紹介したようなCLIPスコアを使用したようなものはあるもののもう画像生成においてはアンケート型の評価手法が絶対的だと言っても過言ではない状況が続いているのが現状である。

生成AIが賢くなりすぎてもうベンチマークは追いついていない

では画像生成よりもより競争が激しくより定量的な評価が求められる文章生成タスクのLLMではどうだろうか?

LLMでも既存のベンチマークは限界を迎えている状況下にある。歴史と信頼があったMMLUはもう過学習されきっていることもあって90%越えの精度を打ち出しておりどのモデルも差がなくなっている状況下にある。

このような現状に対して様々なベンチマークが登場している。数学に特化したのベンチマークであったり、ありとあらゆる分野の学術的な内容を専門家からクラウドソーシングで集めて極めて高度なベンチマークを作ろうとしている団体も存在する、もちろん私のような日本語話者に対しての日本語特化のベンチマークなんかも登場している。

参考記事: https://time.com/7203729/ai-evaluations-safety/

世間を騒がせているOpenAI社の最新モデルo3のリリースではARC-AGIと言った別角度でのベンチマークをメインとして性能をアピールしている現状だ。

参考記事: https://note.com/yatima/n/nf1bb8a284777

Arena型ベンチマークへの幻想

上記の事情を踏まえるとArena型ベンチマークは現状そこまで悪くないのではないかと私は思っている。ここで言うArena型ベンチマークとはLMSYSという非営利団体が打ち立てたオープンエンドのクラウドソーシングベンチマークを指す。Chatbot Arenaと呼ばれるやつだ、皆さんも一度は聞いたことがあるのではないだろうか？仕組みは単純でネット上の匿名の大多数に実際にモデルを使ってもらってどちらの方が感触がいいかを聞いて回るのだ。

問題点としては人間の投票におけるバイアスやノイズ、ユーザー層の偏りが挙げられる。しかし、現在ベンチマークとして機能する静的な評価手法が存在しないため、評価そのものが困難であることのほうが大きな問題だと言える。また、定量的な「正解」が存在しない画像生成の分野においては、こうした評価手法の不在はそれほど深刻な問題にはならないのではないだろうか。

参考記事: https://techcrunch.com/2024/09/05/the-ai-industry-is-obsessed-with-chatbot-arena-but-it-might-not-be-the-best-benchmark

画像生成の分野でも同様のサービス自体は存在しており、たとえばArtificialanalysisが提供しているものなどがある。しかし、それらはユーザーが自由にプロンプトを入力できる形式ではなく、私の思想には反する部分があった。さらに、私が最も注目しているのはリアルなモデルではなくアニメ調のアートワークであるため、結局は自分で実装するしかないと考え、今回のサイトの制作に至った次第だ

最後に

solomakerでは開発秘話を記載する事ができるとのことなのでブログの内容を抜粋し再構築する書いてみた。

正直マニアック過ぎて共感はしてもらえないかもしれないが、思想が強めでも需要がなくても自分が実現したいものを形にしていく楽しさが個人開発にはある。こんな感じでやってる人もいるんだなと思ってもらえればうれしい。

AIイラスト向けのArena型ベンチマークを作りました。

コメント

関連記事