project-vvm-async-api #497

qryxip · 2023-05-22T18:57:20Z

内容

project-vvm-async-apiをmainにマージします。

project-vvm-async-apiは以下の変更からなる予定です。

APIの更新
1. Python API(及び今後追加されるかもしれない他言語API)のasync化 (実装はtokioベース)
2. VVMファイルの読み込みという形でモデルを読む
3. その他諸々の破壊的変更
/crates/voicevox_coreのモジュール構造のリファクタ

タスクリスト

タスクリストは随時更新します。

コンフリクト解消
新C APIのE2Eテスト
- 基本的なttsとか
- accent_phrase系
- get_version等
C APIの健全性(soundness)の確認
- [project-vvm-async-api] ZSTにポインタキャストして提供するのをやめる #512
- [project-vvm-async-api] extern "C"の生ポインタをABI互換のに置き換え #514
- C APIで&mut VoicevoxSynthesizer (VoicevoxSynthesizer*)を引数に取っている関数があるが、これを&VoicevoxSynthesizer (const VoicevoxSynthesizer*)にする
  - Rustでは&mutが複数誕生すること自体が禁忌であるため、複数スレッドからの実行を禁止する必要がある。ただ非同期実行を念頭に置いたAPIであるので、規約で禁止するよりも内部可変性 (interior mutability)を持つ方向にした方がよい。
[project-vvm-async-api] whlに"modelディレクトリ"を埋め込むのをやめる #522
async/await周りを精査する
- モデルを実行するところとかはtokio::task::spawn_blockingで囲ったりするべきでは?
- ~~[議論] プロセス分離などして、モデルの実行を同時にできるようにするべきか?~~
  - [調査] Synthesizerを複数コンストラクトしておけばcancellable_synthesisの機能を手直しし、「コアの並列実行機能」としてリリースする voicevox_engine#677のようにできるはずだが、それで並列実行がちゃんとできるのか?
間違ったchar*の解放を明示的に拒否する #500と[project-vvm-async-api] いくつかのC関数を定数にする #503を噛み合わせる ([project-vvm-async-api] mainをマージする #516 (comment))
[project-vvm-async-api] Fix up #500 #521
[バグ] Python APIで__init__.pyでのre-exportからStyleMetaが漏れている
APIの形について
- [議論] 文字列の_free系のAPIについて (新クラス設計API #370 (comment))
- [project-vvm-async-api] voicevox_{,synthesizer_}is_loaded_voice_model #523
- [議論] voicevox_synthesizer_audio_query → voicevox_synthesizer_create_audio_query? (新クラス設計API #370 (comment))
- [project-vvm-async-api] いくつかのC関数を定数にする #503
- [project-vvm-async-api] get_supported_devices_jsonをfallibleに #502
- [議論] Open JTalkは"text analyzer"のように抽象化した方がいいのではないか? (名前の破壊的変更をやるなら今がベスト)
- [議論] ロガーの初期化はオプションなりで明示的にする?
- [project-vvm-async-api] C/Python APIクレート側のバージョンを出す #507
- cbindgenがextern constへのコメントを吐いてくれないので、調査して対応を考える ([project-vvm-async-api] いくつかのC関数を定数にする #503 (comment))
- cbindgenが荒ぶってアイテムの順序が変わるので、sort_by = trueにしてアルファベット順にするのはどうか? ([project-vvm-async-api] いくつかのC関数を定数にする #503 (comment))
- [議論] Python APIでstyle_idとかが生のintのままだが、Rust API内のようにnewtype化すべきでは?
- [議論] 各所のnew_with_initializeは単なるnewでいいのでは?
- [議論] OpenJtalkってよく考えたらOpenjtalkかOpenJTalk(pyopenjtalkはこれ)であるべきでは?
- [議論] C APIにOpenTtalkRcがあるが、肝心の「参照カウント型としての複製」のAPIが無いのでは?
- [議論] OpenJtalkRcをOpenJtalkにしたり、APIの名称から_rcを省いても良いのでは？
- kana: boolのオプションをやめ、_from_kanaを復活させる
- VoicevoxResultCodeのエラーでVOICEVOX_RESULT_*_ERRORになっていないものを直す
ドキュメント
- [project-vvm-async-api] ドキュメントの表記ゆれを解消 #501
  - (Voicevox)Synthesizerのはずだが、ドキュメントではいくつかVoiceSynthesizerのままになっている
  - 「音声合成モデル」と「音声モデル」で表記ゆれ
APIの変化についてドキュメントを残す(keep a changelog形式のような手書きのリリースノートとか)

タスクリスト (オプショナル)

以前のAPIをdeprecatedなものとして残す
- C API
- Python API

その他

Co-authored-by: Ryo Yamashita <[email protected]> Co-authored-by: Nanashi. <[email protected]>

* `voicevox_get_version()` → `voicevox_version` * indocを外す * コメントを更新 * テスト`global_info`を追加 * `make_default_`系を定数に * Minor refactor * diffを減らすためにquoteをダウングレード * Minor refactor * Minor refactor * `SupportedDevices`の中身も確認する * Minor refactor * `version!()` → `VERSION` * `Default`のimplはマクロ側に寄せる * `voicevox_create_supported_devices_json`のシグネチャを直す

ZSTにポインタキャストして提供するのをやめる

`$OUT_DIR`を使うものをtest_utilクレートに移動

* Docs: 事例紹介にvoicevoxcore.goを追加 (#498) Docs: 事例紹介のvoicevoxcore.goを追加 * 間違った`char*`の解放を明示的に拒否する (#500) * Cargo.tomlをフォーマットする (#504) * Update rust toolchain 1.70.0 (#506) Co-authored-by: PickledChair <[email protected]> Co-authored-by: Ryo Yamashita <[email protected]> * Rust APIのbuild.rsを抹消する (#508) * Python APIでは`panic=unwind`にする (#505) * Python APIでは`panic=unwind`にする * C APIは`-C panic=abort`でビルドする * READMEのスペースが足りてなかった (#511) * windows-latestでなぜかdownload_testが落ちるのを改修 (#517) * windows-latestでなぜかdownload_testが落ちるのを修正 * a * cbindgenに`fn.args=vertical`を設定し、`__declspec`の後の空行を消す (#518) * `__declspec(dllimport)`と関数定義の隙間の空行を消す * `fn.args="vertical"`を設定 * cbindgenの`include_version`を有効化する (#519) * cbindgenの`include_version`を有効化する * jobをリネーム * 誤字 --------- Co-authored-by: Kota Amasaka <[email protected]> Co-authored-by: github-actions[bot] <41898282+github-actions[bot]@users.noreply.github.com> Co-authored-by: PickledChair <[email protected]> Co-authored-by: Hiroshiba <[email protected]>

Fix up #500

…l` (#523) Co-authored-by: Hiroshiba <[email protected]>

Hiroshiba · 2023-06-13T21:44:06Z

いろいろな判断や考えを先行してお伝えすると捗るかなと思ったのでお伝えします🙏

async/await周りを精査する

過去の事例を考えると「DirectMLだと動かない」みたいなことはありえる気がします。
とりあえずCPU環境で動けばOKで、動かない環境が出てきたときはドキュメントに書く感じで良いかなと！

[議論] 文字列の_free系のAPIについて

特定のポインタだけ弾くという形で良さそう！

[議論] voicevox_synthesizer_audio_query → voicevox_synthesizer_create_audio_query

ぜひ🙏
同じ系統だなとユーザーが思うものが同じ命名規則に従っていることが大事かなと！

[議論] Open JTalkは"text analyzer"のように抽象化した方がいいのではないか? (名前の破壊的変更をやるなら今がベスト)

以前と言ってること違うかもなのですが、できればそのままがOpenJTalkが良いかなと思います。
ユーザーが「TextAnalyzerにはOpenJTalkを入れる」という非直感的なコードを書かないといけなくなり、複雑度が上がってしまうためです。
辞書ファイルが密結合なのと、interfaceが１個増えちゃうのと、汎用的に書こうとするとドキュメントがちょっとややこしくなってしまうので。
あとOpenJTalk以上に優れたOSSが出てきたり、多言語対応するとなると置き換わるかもなのですが、そんなポンポン出てくるものではないし、そもそも他のAPIも変わりそうなので･･･。

５段階中４くらいの不要感がありますが、５段階中５の必要感がある方がいらっしゃったら実装すべきかを議論したいです！

[議論] ロガーの初期化はオプションなりで明示的にする?

最低限、ログレベルは切り替えられればなんでも良いかなと思っています。
それ以上は実装行数が増えすぎない（１００行未満くらい）なら、いろいろ制御できたほうがかっこいいとは思います。

cbindgenがextern constへのコメントを吐いてくれないので、調査して対応を考える

こちらは前コメントしたかもなのですが、そのままにしてcbindgenにissue作るだけで良いかなと･･･。

bindgenが荒ぶってアイテムの順序が変わるので、sort_by = trueにしてアルファベット順にするのはどうか?

良いと思います！　もしかしたら微妙かもとも思っているので、一度見てみたいかもです。

他にもなにか聞きたいことなどあればなんでも･･･！！

Fix up #534

qryxip · 2023-07-02T14:28:16Z

C APIで&mut VoicevoxSynthesizer (VoicevoxSynthesizer*)を引数に取っている関数があるが、これを&VoicevoxSynthesizer (const VoicevoxSynthesizer*)にする

こちらですが3つの選択肢が見えてきました。

全体をMutexで包むと、以下の4つが排他となる
1. 一つのモデルの存在確認(contains)
2. 一つのモデルの実行(get)
3. 一つのモデルの追加(insert)
4. 一つのモデルの削除(remove)
全体をRwLockで包むと、以下の3つが排他となる
1. 複数のモデルの存在確認(contains), 実行(get)
2. 一つのモデルの追加(insert)
3. 一つのモデルの削除(remove)
flurryを用いると、以下の2つが排他となる
1. 複数のモデルの存在確認(contains), モデルの実行(get), モデルの追加(insert)
2. 複数のモデルの削除(remove) (操作自体はノンブロッキングで、実際の削除がi.が収まるまで遅延される)

Mutexは「asyncなAPI」としての意味が無くなるので選択肢から外すとして、個人的にはflurryのようなデータ構造を使うのがいいと思っています。

(ただ今の実装は結構ステートフルな設計になっているので、そこのmutを剥がすのを設計的にどうしようかと思っています。剥がすことはできてもdiffは凄いことになりそう)

Hiroshiba · 2023-07-02T18:52:25Z

その３つだと２番めの

全体をRwLockで包むと、以下の3つが排他となる

が良さそうに感じました！　async周りで満たしたい要件はこんな感じかなと･･･！

１つのSessionは同時実行不可能
Sessionが違う場合は同時実行可能
それ以外はスレッドセーフならなんでもOK（Sessionの実行に比べると一瞬で完了するので）
実装は簡単なほど良い

Hiroshiba · 2023-07-08T14:54:33Z

@y-chan
vvm-async周りのこのプルリクエストをmainにマージすることを考えています。

残る大きなタスクはドキュメントと効率的なasync化で、まだリリースするには早いのですが、ちょっとmainから離れている期間が長くなっていることと、辞書やprojects用のAPIの追加を行うのに支障が若干出始めているので一旦マージしたほうが良いのかなと･･･！

マージ後のmainの取り扱いは、Rust化のとき同様に工事中にすることを考えてます。
readmeで工事中を案内し、仮にキャラクター追加やhotfixがあった場合はrelease-0.14から派生させたbracnhにコミットする運用です。
（エディタ・エンジン側が0.15化した場合、こちらもrelease-0.14から派生してrelease-0.15を作るべきかはちょっと迷っています。まあ作らなくて良さそう？）

やることとしては

README.mdの一番上に工事中であるということとどこを見ればいいかの案内を追加
タスクリストを移動させるためのissueを作成
みんなでプルリクエストを全体的に確認して大きな問題があるかどうかを一応確かめる（オプション）

かなと思っています。
そもそもマージすべきか、マージするとして何か課題があるかなど、どうでしょう･･･？

y-chan · 2023-07-09T20:18:53Z

サッとPRを眺めてみたり、関連PR/Issueを眺めてみたりしましたが、挙げられている点以外特に課題感はないかなと思いました...!
現時点でマージした方がこの先いろいろ進めやすくなるかなと思います！

エンジン/エディタ側のアップデートをする時は、こちらも合わせてバージョンを上げた方が、気持ち的にはいい気はしますが、特に機能変化がないのにアップデートするのは明らかに変ですし、現時点で既に各モジュールでバージョンが合ってない・合わせる必要がないので、vvm-asyncの完成と、エディタ周りのアップデートサイクルがかみ合わない感じであれば、0.14.xのままでいいと思います。

Hiroshiba · 2023-07-09T22:12:48Z

@qryxip - [ ] VOICEVOX_RESULT_*_ERRORをVOICEVOX_*_ERRORにする？
という項目を追加しようかなと思います 🙏
（ちなみにどう思われますか 👀 ）

Hiroshiba · 2023-07-09T22:15:18Z

@y-chan ありがとうございます！！！

@qryxip ということで、このPRのdraftを開けていただければ！！！
僕と @qryxip さんと、可能なら @y-chan @PickledChair @sevenc-nanashi さんあたりで大雑把で良いので見ていければと思います･･･！！

ちなみにmainへのマージタスクリストはこちら。
#497 (comment)

qryxip · 2023-07-11T00:03:53Z

- [ ] VOICEVOX_RESULT_*_ERRORをVOICEVOX_*_ERRORにする？ という項目を追加しようかなと思います 🙏
（ちなみにどう思われますか 👀）

よいと思います。

qryxip · 2023-07-11T00:31:34Z

いやよく考えたらenumは他にacceleration mode(VOICEVOX_ACCELERATION_MODE_…)とword type(#538 のVOICEVOX_USER_DICT_WORD_TYPE_…)もあるので、"RESULT"というprefixはあった方が統一感が保たれるという考えもできるかも...?

Hiroshiba · 2023-07-11T03:22:50Z

あ、ほんとですね！！　RESULTは付けたほうが良さそう。
- [ ] VoicevoxResultCodeのエラーでVOICEVOX_RESULT_*_ERRORになっていないものを直す
を足しておきます！

crates/voicevox_core_c_api/include/voicevox_core.h

PickledChair · 2023-07-15T12:38:14Z

@Hiroshiba

こんにちは、ずいぶんご無沙汰してしまいました。レスポンスがなくてすみませんでした……！

変更が多岐に渡るため（ @qryxip これまでの作業ありがとうございます！）、細かいチェックなどはできていないのですが、全体的な方針は問題ないと感じており、main にマージしてしまっても良いのではないかと思っています。その後、問題が見つかり次第、適宜対処するのが良いのかなと思いました。何か特に今の段階でチェックすべきという部分があれば、教えていただけるとありがたいです……！

qryxip · 2023-07-15T13:32:10Z

この2つですかね...? タスクリストはちゃんと作っているので、チェックと言えるのは特に無いかと思います。

README.mdの一番上に工事中であるということとどこを見ればいいかの案内を追加

タスクリストを移動させるためのissueを作成

#497 (comment)

qryxip · 2023-07-22T08:38:48Z

タスクリストはとりあえず #545 を作って移しました。

Hiroshiba

LGTM！！！！！！！！！！！！！！！！！

ざっと全部確認させていただきました！！
またちょっとタスクは残っているかもしれませんが、本当にお疲れ様です！！！！
完成まで一緒に頑張れるととても嬉しいです！！！引き続きよろしくお願いします･･･！！！

crates/voicevox_core_c_api/src/c_impls.rs

Hiroshiba · 2023-07-22T21:00:29Z

ちゃんとstashなくマージできたので、project-vvm-async-apiブランチとbuffer用のブランチ消しちゃいますか！！
（念のために残しておくのもありだと思います）

qryxip · 2023-07-23T03:25:36Z

今#532 (comment)をやりましたし、消していいと思います。

(PRがまだ向いている状態でブランチを消そうとするとどうなるんだろう... 弾かれる?)

Hiroshiba · 2023-07-23T11:17:56Z

とりあえず消去しました！！！

新クラス設計API (#370)

fb24f4f

Co-authored-by: Ryo Yamashita <[email protected]> Co-authored-by: Nanashi. <[email protected]>

[project-vvm-async-api] ドキュメントの表記ゆれを解消 (#501)

14aa242

This was referenced May 27, 2023

[project-vvm-async-api] get_supported_devices_jsonをfallibleに #502

Merged

[project-vvm-async-api] いくつかのC関数を定数にする #503

Merged

qryxip added 3 commits June 3, 2023 01:43

[project-vvm-async-api] C/Python APIクレート側のバージョンを出す (#507)

486d3f4

[project-vvm-async-api] get_supported_devices_jsonをfallibleに (#502)

38549d3

qryxip mentioned this pull request Jun 7, 2023

[project-vvm-async-api] ZSTにポインタキャストして提供するのをやめる #512

Merged

Hiroshiba mentioned this pull request Jun 8, 2023

音声合成の並列化は可能ですか？ #513

Closed

3 tasks

qryxip mentioned this pull request Jun 8, 2023

[project-vvm-async-api] extern "C"の生ポインタをABI互換のに置き換え #514

Merged

qryxip added 2 commits June 9, 2023 15:26

[project-vvm-async-api] ZSTにポインタキャストして提供するのをやめる (#512)

2e58dcd

ZSTにポインタキャストして提供するのをやめる

[project-vvm-async-api] extern "C"の生ポインタをABI互換のに置き換え (#514)

d193856

qryxip mentioned this pull request Jun 10, 2023

[project-vvm-async-api] $OUT_DIRを使うものをtest_utilクレートに移動 #515

Merged

[project-vvm-async-api] $OUT_DIRを使うものをtest_utilクレートに移動 (#515)

dfbb533

`$OUT_DIR`を使うものをtest_utilクレートに移動

This was referenced Jun 10, 2023

[project-vvm-async-api] mainをマージする #516

Merged

cbindgenのinclude_versionを有効化する #519

Merged

qryxip and others added 3 commits June 12, 2023 22:02

Merge branch 'main' into HEAD

40f6662

[project-vvm-async-api] mainをsquashせずにマージする (#520)

2fe08c4

This was referenced Jun 13, 2023

[project-vvm-async-api] Fix up #500 #521

Merged

[project-vvm-async-api] whlに"modelディレクトリ"を埋め込むのをやめる #522

Merged

[project-vvm-async-api] voicevox_{,synthesizer_}is_loaded_voice_model #523

Merged

qryxip and others added 3 commits June 14, 2023 05:48

[project-vvm-async-api] Fix up #500 (#521)

ba553fd

Fix up #500

[project-vvm-async-api] whlに"modelディレクトリ"を埋め込むのをやめる (#522)

f58c166

[project-vvm-async-api] `voicevox_{,synthesizer_}is_loaded_voice_mode…

0a0cf99

…l` (#523) Co-authored-by: Hiroshiba <[email protected]>

[project-vvm-async-api] output_系引数がunalignedであることを許す (#534)

b8b8484

qryxip mentioned this pull request Jul 1, 2023

[project-vvm-async-api] Fix up #534 #535

Merged

[project-vvm-async-api] Fix up #534 (#535)

fa45b51

Fix up #534

Merge branch 'main' into project-vvm-async-api-merge-main-2nd

6e31789

qryxip mentioned this pull request Jul 3, 2023

[project-vvm-async-api] mainをマージする #536

Merged

[project-vvm-async-api] mainをマージする (#536)

d9aa7a8

qryxip mentioned this pull request Jul 8, 2023

[vvm-async-api] Add: ユーザー辞書APIを追加 #538

Merged

qryxip marked this pull request as ready for review July 10, 2023 23:59

sevenc-nanashi reviewed Jul 11, 2023

View reviewed changes

crates/voicevox_core_c_api/include/voicevox_core.h Show resolved Hide resolved

qryxip mentioned this pull request Jul 17, 2023

[project-vvm-async-api] 工事中の案内を書く #542

Merged

[project-vvm-async-api] 工事中の案内を書く (#542)

7a81862

Hiroshiba mentioned this pull request Jul 22, 2023

[2月末リリース予定!] v0.16 #545

Open

69 tasks

Hiroshiba approved these changes Jul 22, 2023

View reviewed changes

crates/voicevox_core_c_api/src/c_impls.rs Show resolved Hide resolved

Hiroshiba merged commit c3f61e2 into main Jul 22, 2023

Hiroshiba deleted the project-vvm-async-api branch July 23, 2023 11:17

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

project-vvm-async-api #497

project-vvm-async-api #497

qryxip commented May 22, 2023 •

edited

Loading

Hiroshiba commented Jun 13, 2023

qryxip commented Jul 2, 2023 •

edited

Loading

Hiroshiba commented Jul 2, 2023 •

edited

Loading

Hiroshiba commented Jul 8, 2023 •

edited

Loading

y-chan commented Jul 9, 2023 •

edited

Loading

Hiroshiba commented Jul 9, 2023

Hiroshiba commented Jul 9, 2023

qryxip commented Jul 11, 2023

qryxip commented Jul 11, 2023 •

edited

Loading

Hiroshiba commented Jul 11, 2023

PickledChair commented Jul 15, 2023

qryxip commented Jul 15, 2023 •

edited

Loading

qryxip commented Jul 22, 2023

Hiroshiba left a comment

Hiroshiba commented Jul 22, 2023

qryxip commented Jul 23, 2023

Hiroshiba commented Jul 23, 2023

project-vvm-async-api #497

project-vvm-async-api #497

Conversation

qryxip commented May 22, 2023 • edited Loading

内容

タスクリスト

タスクリスト (オプショナル)

関連 Issue

その他

Hiroshiba commented Jun 13, 2023

qryxip commented Jul 2, 2023 • edited Loading

Hiroshiba commented Jul 2, 2023 • edited Loading

Hiroshiba commented Jul 8, 2023 • edited Loading

y-chan commented Jul 9, 2023 • edited Loading

Hiroshiba commented Jul 9, 2023

Hiroshiba commented Jul 9, 2023

qryxip commented Jul 11, 2023

qryxip commented Jul 11, 2023 • edited Loading

Hiroshiba commented Jul 11, 2023

PickledChair commented Jul 15, 2023

qryxip commented Jul 15, 2023 • edited Loading

qryxip commented Jul 22, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba commented Jul 22, 2023

qryxip commented Jul 23, 2023

Hiroshiba commented Jul 23, 2023

qryxip commented May 22, 2023 •

edited

Loading

qryxip commented Jul 2, 2023 •

edited

Loading

Hiroshiba commented Jul 2, 2023 •

edited

Loading

Hiroshiba commented Jul 8, 2023 •

edited

Loading

y-chan commented Jul 9, 2023 •

edited

Loading

qryxip commented Jul 11, 2023 •

edited

Loading

qryxip commented Jul 15, 2023 •

edited

Loading