enable pdf bulk export #9283
enable pdf bulk export #9283
Conversation
|
…o feat/135772-153348-enable-pdf-bulk-export-tsed
…o feat/135772-153348-enable-pdf-bulk-export-tsed
…o feat/135772-153348-enable-pdf-bulk-export-tsed
…o feat/135772-153348-enable-pdf-bulk-export-tsed
…48-enable-pdf-bulk-export-tsed
…48-enable-pdf-bulk-export-tsed
…48-enable-pdf-bulk-export-tsed
| .toString(); | ||
|
|
||
| return htmlString; | ||
| } |
There was a problem hiding this comment.
remark().use(html) で得られるインスタンスは保持して使い回した方がいいんじゃないかな
どこまで差が出るかはわからないけど
There was a problem hiding this comment.
対応しました。
インスタンス変数にして全ての job で共通にするのは並列で処理が走ったときバグる可能性があるように思えたので、ジョブごとに stream 開始前に定義して引数として渡す形にしました。
引数の型ですが、remark().use(html) の返り値の type が unified のものですが、
unified.Processor<remark.RemarkOptions>
remark が依存している unified と growi が package.json で指定している unified のバージョンが異なるっぽくて、同様の type を付与するとエラーが生じてしまいます。
そのため引数に type は付与していません。
(バージョンを対応させようとすると、esm only の remark 系のパッケージが必要となり、エラーが生じてしまいます)
| } | ||
| }, 60 * 1000 * 1); | ||
| }); | ||
| } |
apps/app/turbo.json
Outdated
There was a problem hiding this comment.
slackbot-proxy を起動しなくても app が使えるように、
pdf-converter もまた app の起動に必須ではないので、dependsOn からは外してほしい。
開発時に開発者がやらないといけないことはマニュアルに書いて周知する。
There was a problem hiding this comment.
こちら pdf-converter の起動ではなく、クライアントコード生成のための build になります。
pdf-converter の起動は無関係であり、これを取り除くと Error: Cannot find module '@growi/pdf-converter/dist/client-library' が apps/app/src/features/page-bulk-export/server/service/page-bulk-export/index.ts で生じてしまいます。
それはそれとして、pdf-converter の開発ドキュメントは書こうと思います。
ストーリー作成しました。
https://redmine.weseek.co.jp/issues/157930
|
|
||
| return new Promise<void>((resolve, reject) => { | ||
| // Request sync job API until the pdf export is done. If pdf export status is updated in growi, send the status to pdf-converter. | ||
| const interval = setInterval(async() => { |
There was a problem hiding this comment.
この setInterval、job の数だけ走るのはあまりよくない気がする。
setInterval よりシステムワイドに node-cron を使うべきではないか？
また、サーバーが再起動した時に job を参照して再開してほしい。
参考:
- thread-deletion-cron.ts
- vector-store-file-deletion-cron.ts
実装アイデアメモ
cronJob は2種類あってもいいかも。
- 1つは処理完了待ちの job で、10秒とか比較的短いインターバルで動いて fail / done へステータスを遷移させる
- もう1つは上記の処理完了待ち job の start/stop を担当する (2～3分の長めのインターバルでよい)
- in progress な job が 1 つでもあれば処理完了待ち job を start させる
- in progress な job が 0 個なら処理完了待ち job を stop させる
- サーバー再起動時はこれを start しておくことで、数分後には必要があれば処理完了待ち job が start することを期待
仕様書
https://dev.growi.org/66ee8495830566b31e02c953#growi
task
https://redmine.weseek.co.jp/issues/153348
備考