Seminars
Home
Centers & Programs
AI and Natural Sciences
Seminars
- FIELD
- AI and Natural Sciences
- DATE
-
Aug 13 (Wed), 2025
- TIME
- 14:00 ~ 16:00
- PLACE
- 7323
- SPEAKER
- Choi, U Jin
- HOST
- Lee, Hyunwoo
- INSTITUTE
- KAIST
- TITLE
- Schrodinger Bridges; Simuation- Free Schrodinger Bridges Via Score and Flow Matching, by Tong & Bengio et al, AISTATS 2024.
- ABSTRACT
- Song (ICLR 2021) 이 Diffusion Probabilistic Models(DPM) ,예를 들면 DDPM 등을, Stochastic Differential Equation(SDE)을 이용하여 통합적 이론을 발표한 이후 DPM은 , 샘플링을 생성하는데 많은 Iterations을 수행해야 하는 단점에도 VAE or GAN 비교하여 양질의 샘플을 생성하므로 현재에도 광범위하게 사용 되고 있습니다. 한편 최근에 Lipman et al( ICLR 2023) 발표한 " Flow Matching for Generative Modeling"에서는 DPM에서 수행하는 Noising Procedure를 생략하고 표준정규분포 N(0, I)에서 직접 Unknown 분포함수 q를 Matching하는 Transfomation을 Ordinary Differential Equation(ODE) 모델로 제시하고 정규분포에서 임의로 추출한 샘플을 데이터를 이용하여 학습 된 Neural ODE의 초기치로 입력하여 Numerical Simulation으로 출력된 샘플링이 Unknown 분포함수에 따라 생성된 샘플링 임을 증명하였습니다. 이 방법은 기존의 DPM보다 훨씬 빠른 속도와 양질의 샘플을 생성함을 실증해 보였습니다. 그러나 이 방법은 초기분포함수를 표준정규분포로 고정한 단점이 있습니다. Tong & Bengio et al( AISTATS 2024)는 Flow Matching for Generative Modeling을 일반화하여
(1) 임의로 선택한 두개의 확율분포함수를 Matching (or Bridging or coupling)하는 문제를 Dynamic Schrodinger Bridges Problem으로 정의하고
(2) Schrodinger Bridge를 따르는 Stochastic Proceses를 SDE로 모델링 하여 ODE의 Flow Matching Loss 와 SDE의 Score Matching loss의 합으로 Objective Loss를 구성한 다음
(3) 두 분포함수로 부터 무작위로 택한 Random Couplings (X0, X1) 데이터 Set을 Sinkhorn Algorithm으로 (Regularized) Monge-Kantorovich Optimal Couplings으로 변환한 데이터 Set 들로 Neurral SDE를 학습합니다.
(4) 적절한 가정하에서, 초기분포로 부터 무작위로 추출한 샘플들을 Neural SDE의 초기치로 하여 Numerical Simulation을 통하여 생성된 샘플들은 Empirical Schrodinger Bridge를 구성함을 보였습니다.
물론 초기샘플의 수를 무한대로 보내면 Empirical Schrodinger Bridge는 Exact Schrodinger로 수렴하게 됩니다.
- FILE
-
