ベンチマークツール

[syuilo]

ベンチマークや大量のサンプルデータの生成ができるツールが欲しい

Purpose

• 開発の効率化、クエリのパフォーマンス調査
• ローカル環境で大量のアクティブユーザーがいる状態を再現したい
• 「CPUが⚪︎⚪︎コアでメモリが⚪︎⚪︎GBならアクティブユーザー⚪︎⚪︎人程度まで耐えられます」みたいな指標を出せるようにしたい
• GitHub Actions上で動かして、PRの前後でどれくらいパフォーマンスが変化したか比較できるようにしたい(nice to have)

[samunohito]

構想

• NODE_ENV === developmentの時にだけ起動するデバッグ用エンドポイントとサービスを用意（productionのときは404になる。Moduleとして切り離した方が安全か？）
• デバッグ用エンドポイントは以下の機能を備える
  • ユーザ作成、ノート作成なエンドポイントをそれぞれ用意（ほかにも必要であればアクションごとに増やす）
  • パラメータを取る。何も設定しなければランダム値でデータを作成するし、任意のパラメータに固定したいときはそのパラメータを差し込めるようにする
  • 作成したランダム値のデータをJSONにしてレスポンスで返す（使いまわしが出来るようにする）
  • JSONをパラメータに突っ込めばそれと同じ値を作り出す（足りない部分はランダム値で保管）
  • dry-run対応（JSONだけ作りたいとき用）
• デバッグ用エンドポイントへのリクエストをラップするスクリプトの用意（CI用。中でlocalhostめがけてHTTPリクエストを想定）

[samunohito]

バックエンド組み込みで考えてたけど、いっそのこと独立させてHTTP経由で流し込むような作りのほうがより安全か…？（トークンいるけど）

乞うご意見

[samunohito]

（スロークエリの調査およびチューニングするにあたり、大量データが欲しくなったので機運が高まっている）

本体に（もっと言うとこのリポジトリにも）無くてもいい気がするので、別で作ったほうが良さそうに思えました。
リポジトリが更に大きくなるし、調査の時のノイズにもなりうるので…

このissueには何かそれっぽいのが出来たらリンク貼ります。

[syuilo]

組み込みよりも独立したツールとしてあった方が良さそう

[fruitriin]

RubyでいうFactoryBot的なやつあったら便利だよねえ
(FactoryBotはユニットテストでよく使われるけど、ユニットテストでしか使えないわけじゃないので)
TypeORMにも似たようなのあるかな、あったらいいな

あとDevelopでDBを初期化(seed)するときに時にある程度テストで使いそうなデータをごそっと用意するのはあると便利だったなあ

[syuilo]

APIのパフォーマンスも調べたいからDBに直接投入するよりe2e的に外部botのような形で動くものがひとまず欲しいわね

[syuilo]

Misskeyのベンチマークを行うためにも至急必要になってきた

[Sayamame-beans]

@samunohito さんが作ってたやつとか…?

[samunohito]

（人に渡せる状態じゃないので整理します）

[syuilo]

説明をより詳細にupdate

[syuilo]

引き継ごうかしら

[syuilo]

どのような実装にすると良いのかがわからない

[samunohito]

（土日で表に出せるくらいにはするからもうちょっと待ってほしい）

[syuilo]

やってる
https://github.com/syuilo/mi-benchmarker

[syuilo]

リクエストの送信で ENOBUFS なるエラーが出てしまうわね

[syuilo]

PCのメモリは全然余裕そうなんだけど

[syuilo]

TASUKETE

[syuilo]

そもそもENOBUFSについての情報が少ない

[syuilo]

こまこまのこまり

[syuilo]

メモリが足りない場合のエラーっぽい

[syuilo]

メモリ容量は全く問題ないから謎

[syuilo]

これが関係してそうと思ったけど、使ってるのgotだから同等の指定ができるか不明
https://stackoverflow.com/questions/10603860/very-simple-node-js-client-throws-error-enobufs-after-many-http-requests

[syuilo]

ヌァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァンンンンオオオオンンオンオンオンオンンンンンンンンン゛ン゛！！！！！！！！！！！！！！！！

[syuilo]

これが関係してそうと思ったけど、使ってるのgotだから同等の指定ができるか不明 https://stackoverflow.com/questions/10603860/very-simple-node-js-client-throws-error-enobufs-after-many-http-requests

agent オプション自体はあるけど、

agent: {
				http: false,
				https: false,
			}

とかにすると
TypeError: Expected values which are Object or undefined. Received values of type boolean.
って怒られる

[syuilo]

有識者を募集しております

[syuilo]

とりあえずアカウント自体はおさむツール使って用意するようにするか

[syuilo]

TASUKETE

[syuilo]

現状おさむツールでアカウントを用意するのは現実的ではないからとりあえずこっち直したい