starting github discussion for easier elicitation of expert opinion

[hyunjimoon]

👋 Welcome!

We’re using Discussions as a place to connect with other members of our community. We hope that you:

• Ask questions you’re wondering about.
• Share ideas.
• Engage with other community members.
• Welcome others and are open-minded. Remember that this is a community we
  build together 💪.

To get started, comment below with an introduction of yourself and tell us about what you do with this community.

modularizing
Seoyeon_revisionproposal.pdf
is one attempt

[hyunjimoon]

관측 데이터에 과거 액션뿐만아니라 환경적 요소들까지 묻어있겠죠.
그걸 분석하는 우리 입장에서는 해결해야할 요소로 여길수있으나 반드시 해결해야할 난제이다 쪽은 아니에요.
주변 영향이 근본적으로 고장에 미치는 영향이 더 클 수 있기때문이죠. 즉 연구결과가 큰 기여를 할 수있는가에 대해서는 알수없다. 가 답일 가능성이 커요. 게다가 연구결과가 validation이 잘 안된다는게 큰 약점일수있어서.. 레프리 입장에서 이건 그냥 여러 통계기술을 적용해본것일뿐인게 아닌가? 라고 여겨질 수 있겠죠. 처음부터 노블티를 분명히 해야한다고 말씀드린게 이런 맥락이고요.

sbc가 잘 되면 외부 환경적 요소를 무시할만하다로 결론을 낼수도 있다 생각했는데, sbc가 잘 안 나와서 고민이 많았거든요. 그럼 역으로 잔차에 해당하는 환경적 요소를 현재 y와 sbc를 통과하는 y에 해당하는 부분으로 역산하는게 가능할까요? 잔차를 역으로 계산해서 데이터에서 제거하는거죠

말씀하신 잔차가 뭔가요? 결론이 배의 상태를 세개 등급으로 나눈거잖아요? 등급의 오차를 의미하는건 아닌것 같아서요. Sbc잔차를 얘기하신건가요?

음 general한 논리인데요, 보통 통계모델이 데이터를 잘 설명했는지를 잔차분석을 이용해 하거든요. 보통은 잔차가 등분산성을 따르지 않으니 이 통계모델은 데이터를 잘 설명하지 못함. 이라는 결론을 내는데, 이를 역으로 생각하면, 이 기준으로 model comparison을 하거나 더 맞는 모델로 업데이트하는 기작으로 이용할수도 있어요. 즉 링크의 여러 기준 (선형성, 등분산성 등)을 혼합해 "바람직한 잔차의 정도"를 수치화해, 여러 candidate 통계모델 (e.g. feature engineering 할때 처럼요)중 가장 나은걸 고르는 작업은 충분히 가능해요.

이 아이디어를 아래 bayesian workflow에 적용하면, 세개의 test (그림의 t1,t2, t3) 를 통과한 모델을 "쓸만한다"고 생각할수 있는데,

t1: prior predictive check: $\tilde{y}$와 domain expertise가 not too far.
즉, 데이터로 특정 모수를 학습하기 전, 저희 모델의 모든 가정 (markov chain, prior for each parameter) 하에서 생성된 연별 엔진고장시계열이 전문가 최진우님이 보시기에 reasonable enough하다. 그리고 이 "모든 가정"을 $\tilde{\theta}$ 라 볼수 있죠.

t2: simulation-based calibration: $\tilde{\theta}$ 와 $\theta$가 close enough. $\theta$는 $\tilde{y}$가 주어졌을때 선택한 algorithm으로 추론한 값 (stan data block에 넣고 mcmc돌려 나온 4000개 posterior samples)

t3: y와 $\tilde{y}$가 close enough.

이 테스트를 모두 통과한 (통계모델, 데이터) pair는 쓸만하다 인정해줍니다. 그래서 제 제안은 t1, t2, t3가 통과하게 하는 방향으로 통계모델을 업데이트 시켜보자는 뜻이었어요. 현재 t2 (sbc)통과 안되는게 가장 큰 문제니까요.

[jinwoowwang]

SBC의 방법 자체는 훌륭하다고 생각합니다. 다만 Close enough를 어떻게 정의할 것인가 에 대해 3년 전에도 여쭤본것같아요. 혹시 답을 구하셨나요?

[hyunjimoon]

답 대신 질문을 구했어요. close enough를 정의하기보단, 모델의 다음 action이 뭔지?를 처방해야한다 생각해요. Andrew Gelman 교수님이 지난 달에 공유해주신 펀딩 주제 (아래도) 중 "recommendations on what to do next" 도 관련있고, 제 스탠 포스트 도 이 연장선이에요.

즉, 크게 다음 세 업데이트 카테고리중 뭐가 leverage가 큰지를 알려주는 프레임워크요

1. 자료를 더 구한다
2. 통계모델을 업데이트한다 (e.g. add or remove one feature, add interaction term, )
3. 추론알고리즘을 업데이트한다 (e.g. optimizing -> hmc)

We propose to develop a new scientific workflow, including theory, methods, and practical tools that will guide researchers and data analysts from the design of experiments through iterative model building and posterior inference to informed decision making using state-of-the-art Bayesian statistical methods. The project will transform existing and often vague recommendations into theoretically justified and practical workflow steps that are clear, explicit, and have fast computational implementations. The workflow steps will be combined with recommendations on what to do next based on efficient computational diagnostics that can identify potential problems and point to further diagnostics or sensible next steps. In all parts of the workflow, we value human experts by automating recommendations, not decisions. The workflow will be implemented as extensions to mature open-source software with an already large user base and will have large impacts already during the project. The project is ambitious for science as well as within statistics and machine learning in promising to make applied scientific research, data analysis, and building AI systems in science, industry, the public sector more reliable and reproducible, leading to improvement of our understanding of the world and better-informed decision making. Rigorizing the process of workflow will allow the recent rapid developments in statistical computing to \textbf{empower scientists} to make rapid progress on real-world problems.

[jinwoowwang]

모델의 다음 액션으로
페이퍼에서 집중하는건 적절한 정비제도의 탐색 혹은 결정이라고 되있잖아요?
연구결과를 적용해서 유의미한 정비제도를 도출할 수 있다면 충분한 노블티가 될걸로 생각됩니다
생각하신바가 있나요?