safer version of text2mecab

[Yosshi999]

cf. VOICEVOX/voicevox_engine#384 (comment)

CRT のセキュリティ機能 を参考に、
buffer overflowの危険性があるtext2mecabに対し、バッファーサイズを指定してそれをはみ出した場合エラーが返る text2mecab_s を実装した。
以下のような関数呼び出しをこれに置き換え、よりメモリ安全にする。

• https://github.com/VOICEVOX/pyopenjtalk/blob/a85521a0a0f298f08d9e9b24987b3c77eb4aaff5/pyopenjtalk/openjtalk.pyx#L168
• https://github.com/VOICEVOX/voicevox_core/blob/2bf979e27e1bf06bdc3187ae5e20ba3c63348c3b/core/src/engine/openjtalk.cpp#L18

[Hiroshiba]

VOICEVOXエンジン側で使っているopenjtalkの関数は、確保したメモリサイズ以上の領域に書き込む危険性があるので、その領域に書き込もうとした前にエラーを返すような関数を追加した、という文脈でしょうか。

なるほどです！！
text2mecab_sを追加するのではなく、text2mecabを書き換えてしまうという手もあるかもと感じました。
openjtalkに変更が加わえられたときに追従しやすいこと、たぶん安全じゃない関数の需要はないことが主な理由です。
まあその場合、text2mecabが使われている箇所全部を変更する必要がありますが･･･。

どうでしょうか👀

[Yosshi999]

あまりopen_jtalkに変更を加えたくなかったのですが、そちらでも全然ありだと思います

[Hiroshiba]

ありがとうございます！
そちら（上書き）の実装に変更していただけると助かります！

[Hiroshiba]

LGTM！！

[Hiroshiba]

これをENGINEに反映させるにはいろいろ更新が必要かもですね･･･
せっかくなので、もしよかったらお願いしたいです･･･！

[Yosshi999]

このPRの変更点はextract_fullcontextという関数に包まれているので、ENGINE における変更点はpyopenjtalk変更に伴うrequirements.txtの修正のみになりそうです。

[Yosshi999]

追従TODO

• pyopenjtalk (use safer text2mecab pyopenjtalk#10)
• core (use safer text2mecab voicevox_core#119)
• engine