にじボイスとAivisSpeechとそっくりな声優を探そう！

概要

  • 表の「音声合成された音声」は、にじボイスの全キャラクターとAivisSpeechデフォモデル1キャラで生成された音声です
  • 表をクリックすると、左側にその生成音声と、なぜかその声に似ているキャラクターの音声10個が表示されます
  • キャラクター音声は OOPPEENN/VisualNovel_Dataset のデータセットの中にある日本のノベルゲームのキャラクター音声です
  • 機械的に計算された類似度が高い順に並んでいます、体感0.8以上はかなりそっくり音声が多めです

注意

  • 声が似ているかどうかは、あくまでAIの数値的な判断であり、決して音声合成AIがそのキャラクターのデータか、同じ声優さんのデータで学習されたことを意味するものではありません。
  • スコア低めなやつは正直あまり似ていないものもあります
  • R18ゲームがほとんどのため、公式サイトへのアクセスは18歳以上の方のみお願いします。
  • 日本のR18ノベルゲーでの声優名義は、「実名や地上波アニメで出す名前ではなく、源氏名と呼ばれるエロゲ専用の名義」を用いることが多く、このデモでの声優CV表記は、ゲーム内でのその源氏名表記に準じています。気になる人はググれば表名義が出てくるかもしれません。

リンク

クレジット

類似度やキャラ特定は、以下のプロセスで機械的に行いました。

  1. 話者埋込モデル pyannote/wespeaker-voxceleb-resnet34-LM を用いて、 OOPPEENN/VisualNovel_Dataset の（エラー等で除外された以外の）700万程度の音声ファイルの話者埋め込みをすべて計算する
  2. ターゲットとなる音声の話者埋め込みを計算する
  3. その結果と、1の結果とのコサイン類似度を計算する
  4. 各キャラクターについて、類似度が高い順に10個の音声を選び、その類似度の平均を計算する
  5. その平均が一番高いキャラクターを「似ている声のキャラ」として選び、その10音声を「類似音声」として選ぶ

ここで、単純に「話者類似度が一番高い音声のキャラ」を選ぶのでなく、上位10個の平均で計算しているのは、「たまたま1音声だけ似た雰囲気で他は全然違う」みたいなことを避けるためです。

結果 (行をクリック)

結果 (行をクリック)
にじボイス/陽斗・エイデン・グリーンウッド.opus
アムネス (CV: みたかりん) in ESEX Shikorsky INTERNEET Security Cloud 2017 [CLOCKUP]
0.9073755145072937