モデルを外部ファイルから読み込める形にする

[Hiroshiba]

内容

今はonnxなどのモデルファイルをライブラリ内に埋め込んでいるのですが、モデル数が多いとビルド時にエラーが出ることがわかりました。

• モデルの数が多いとビルドできない #362

ビルド方法を頑張って対応するのもありなのですが、モデル数は線形に大きく増えていく可能性もあるためいずれ限界が来る気がしています。
であれば、モデルを外部ファイルから読み込む形にする（あるいは形にもする）ことで、抜本的解決になるのでは、という提案です。

付随効果として、モデルを実行時に差し替えたり、モデルファイルだけをアップデートしたりもできるようになるので柔軟性が上がるという利点もありそうです。

Pros 良くなる点

モデル数が多くなることによるビルドエラーを回避できる。
モデルファイルだけ配布したりできるかも。

Cons 悪くなる点

アーキテクチャなどを変更する必要がある。

実現方法

とりあえず動かす案と、取り回ししやすいようファイル構造も考える案があります。

• とりあえず動かす
  • include_bytesにしている部分をファイル読み込みにする
    • つまりmetas.jsonやdecoder.onnxなどをファイル保存しておいて読み出す
  • 昔はroot_dirだけ与えて、あとはファイル名固定で読み込んでました
  • root_dir指定できるとデバッグしやすかったりするので便利そう
  • ファイルパスの文字コードに注意
• ファイル構造も考える
  • ファイルは全部くっつけて１ファイルにしたほうが取り回ししやすそう
    • ここであったvvmファイルみたいな
    • 雑にzipで良さそう？
  • metas.jsonはそのまま外にあったほうが何かと便利そうだけど、vvm内と外で重複させたほうがコードが楽そう

可能なら最初から後者だとかっこいい気がしています。

その他

以前VOICEVOXはモデルを外部ファイルから読み込む形だったのを、埋め込む形に変更しています。

• 動的ライブラリ（dllとかso）にモデルファイルを同梱させたい #86

もしこのissueの解決が実行されれば、元に戻すという形になります。

当時の考えが及ばないほどVOICEVOXが成長してキャラクターが増え、１年越しに別の課題・要求が生じました。
当時積極的に取り組んでくださった @Oyaki122 さんには申し訳ないのですが、今の形に合うように進められればと思っています！
@Oyaki122 さん、改めてありがとうございました･･･！

[Hiroshiba]

discordのやり取りをこちらに反映すると、「include_bytesをやめること」を最優先にして一旦issueを解決するのに集中するのが良さそうに感じました！

[qwerty2501]

暫定対応のmerge終わりました

[Hiroshiba]

ありがとうございます！！追従作業してリリース作ってみようと思います！！

[Hiroshiba]

作ってみました！ 🎉
https://github.com/VOICEVOX/voicevox_core/releases/tag/0.14.0-preview.3

[Hiroshiba]

こちら完了だと思うのでcloseします！