【CanvaSketch】描いたイラストの採点の仕組みや基準はどうなっているの？ランダム？について

「お絵かき診断サービス」として案内されている「CnavaSketch」ですが、その仕組みについて、「描いた内容を分析して診断します」のようなことはサイト上に記載されていません。もちろん「AIで分析」であったり「機械学習・ディープラーニング」のような用語も登場することはありません。

そのため、一般的な「診断サービス」や「診断アプリ」のように、ランダムに表示されているだけの可能性もあります。

特にサイトの記述ないと食い違うことはなく、単に「絵を描いて診断してくれるだけ」という可能性もあります。

このあたりについては、ユーザーからも、「ただランダムで出しているだけなんじゃないの？」などの声が聞かれます：

canvasketch、お絵かきデータをrandom_seedにした診断メーカーみたいなものか…

— 赤きち (@yryrrrrryryr) 2018年11月5日

あれ？もしかしてcanvasketchって結果をランダム生成してるだけっぽい？

おえかきたのしいからもう少し遊ぶけど

— 妖怪メガネ (@bakenekodouga) 2018年11月6日

canvasketch、どうも検索してみる限り点数判定のアルゴリズムは存在してない疑惑。適当にrand吐いてるだけじゃねえのあれ？

— 時計/びくとりあ@NGB再評価中？ (@TK_VC_GameAka) 2018年11月7日

CanvaSketchっていうWebサービスがやたら流れてきてて「AIが絵の上手さを判定するサービスなのかな」と思ったけど、確認した限りでは結果はほぼ完全なランダムでいわゆる診断メーカー系のやつだった。

またこういうのが流行ってるのを見て「娯楽目的のAIなんていらねーな」っていう気持ちを深めた。

— ニカイドウレンジ (@R_Nikaido) 2018年11月7日

canvasketchって採点してるようで実はしてないのか、診断メーカーと一緒で。
お題の作成項目にサンプルもなんも要らないし、数字の羅列からランダムに出てくるだけだった。

— fortythree (@loliloli_43) 2018年11月8日

ただ一つ気になる記述があるとすれば、それはCanvaSketch公式Twitterアカウントが、最初にCanvaSketchの公開を告知した際の次のツイートです：

お絵描き診断サイト作りました！ぜひやってみてください！

バグ情報あったらよろしくお願いします！

canvasketchさんの絵は42点です！#絵のうまさを採点します　#拡散希望RTお願いします　https://t.co/enjkZueFnD

— 【公式】お絵描き診断canvasketch (@canvasketch_) 2018年11月1日

ここには「絵のうまさを採点します」と書かれており、「絵を分析して結果を出す」ように読めるような気もします。ただこの程度であり、いずれにしても特にその「採点の仕組み」については言及がありません。

ここで「ランダムなのではないか」というのを確かめることは非常に難しいのですが、極端な例として、「ただ点を打っただけ（１クリックしただけ）」のイラストがどう採点されるかを見て見ます。

例えば「達筆度診断」で「あ」を書くというお題では、ただの「点」が「65点」でした：

また、もう一度やり直して、同じように中央に「点」を打ってみると、今度は「95点」となりました：

お題がピカチュウの「ピカチュウかける？」というお題でも「点」が「23点」となりました。

同じ「点」を同じように打ってみても、その後は「11点」や「34点」などとなりました。もちろん全く「ピカチュウ」には見えませんが、それでもそれなりの点数を獲得しています。

このことから、「ピカチュウに見えないから０点」のようなことを行っていないこともそうですし、「画数が明らかに少ない・描いた距離が明らかに短い」などの特徴を最低限考慮して点数を調整する、というわけでもないようです。

より「特に採点はしていない」と言われる大きな理由は、CanvaSketchに新しいお題を登録する際に、特に「見本」などの情報を登録する必要がない点です。

これはどういうことかというと、CanvaSketchにアカウント登録をすると、実は自分でお題（「ピカチュウの絵を描けるかな」や「達筆度診断」など）を作ることができます。

しかしこれでもし「絵の内容・うまさ」を診断するのであれば、「ピカチュウとはこういうものだ」であったり「このお題での採点基準はこんなだ」といった「正解データ」であったり「サンプル画像」のようなものを登録する必要があるはずです（※「ピカチュウ」という単語だけから正解を構成する機能が搭載されていれば別ですが）。

しかし診断を作成する画面にそのような「採点基準」を表現するような仕組みはなく、「どういう言葉を結果として表示するか」「どんなバリエーションを生成するか」を設定するための項目が用意されているのみです。

このことからも、特に画像の中身がお題に沿っているかであったり、お題に登場したキャラクターに似ているかどうかなどは判定に利用されていないものと思われます。

とはいえ、実際このサービスは「とてもうまく採点してくれるからすごい」というものではなく、「どうしてこの絵がこんな点数なの？」であったり、単純に「すごい上手な絵」「下手な絵」「面白い絵」がSNSに投稿されていること自体が面白いため、ランダムで生成していたところで、サービスとしてものすごく問題があるかといえばそういうことはなく、むしろランダムでなく、ものすごく実際の絵をそれらしく採点していたとしたら、今のような盛り上がりにはたどり着いていなかったのではないかと思います。