Exercise 4.7 - Conditioning a bivariate Gaussian

Answers

For question (a), we begin with the form from Exercise 4.6.:

p ( x 1 , x 2 ) = exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( ( x 1 − μ 1 ) 2 σ 1 2 + ( x 2 − μ 2 ) 2 σ 2 2 − 2 ρ ( x 1 − μ 1 ) ( x 2 − μ 2 ) σ 1 σ 2 ) ) 2 π σ 1 σ 2 1 − ρ 2 .

By the Bayes rule:

p ( x 2 | x 1 ) = p ( x 1 , x 2 ) p ( x 1 ) .

So we only need to compute:

p ( x 1 ) = ∫ p ( x 1 , x 2 ) d x 2 .

This can be done by completing the square inside p ( x 1 , x 2 ) w.r.t. x 2 :

2 π σ 1 σ 2 1 − ρ 2 ⋅ p ( x 1 , x 2 ) = exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( x 1 − μ 1 ) 2 σ 1 2 ) ⋅ exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( ( x 2 − μ 2 ) 2 σ 2 2 − 2 ρ ( x 1 − μ 1 ) ( x 2 − μ 2 ) σ 1 σ 2 + ρ 2 ( x 1 − μ 1 ) 2 σ 1 2 ) ) ⋅ exp ⁡ ( 1 2 ( 1 − ρ 2 ) ρ 2 ( x 1 − μ 1 ) 2 σ 1 2 ) = exp ⁡ ( − ( x 1 − μ 1 ) 2 2 σ 1 2 ) ⋅ exp ⁡ ( − 1 2 σ 2 2 ( 1 − ρ 2 ) ( ( x 2 − μ 2 ) − σ 2 ρ ( x 1 − μ 1 ) σ 1 ) 2 ) .

Now we are ready to perform the integrating:

∫ p ( x 1 , x 2 ) d x 2 = exp ⁡ ( − ( x 1 − μ 1 ) 2 2 σ 1 2 ) 2 π σ 1 σ 2 1 − ρ 2 ⋅ ∫ exp ⁡ ( − 1 2 σ 2 ( x 2 − μ ) 2 ) d x 2 = exp ⁡ ( − ( x 1 − μ 1 ) 2 2 σ 1 2 ) 2 π σ 1 σ 2 1 − ρ 2 ⋅ 2 π σ 2 2 ( 1 − ρ 2 ) ,

where

σ 2 = σ 2 2 ( 1 − ρ 2 ) ,

μ = μ 2 + σ 2 ρ ( x 1 − μ 1 ) σ 1 .

Finally,

p ( x 2 | x 1 ) = exp ⁡ ( ( x 1 − μ 1 ) 2 2 σ 1 ) ⋅ exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( ( x 1 − μ 1 ) 2 σ 1 2 + ( x 2 − μ 2 ) 2 σ 2 2 − 2 ρ ( x 1 − μ 1 ) ( x 2 − μ 2 ) σ 1 σ 2 ) ) 2 π σ 2 2 ( 1 − ρ 2 ) .

For question (b), we can further simplify the numerator of p ( x 2 | x 1 ) into:

p ( x 2 | x 1 ) = exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( ρ ( x 1 − μ 1 ) − ( x 2 − μ 2 ) ) 2 ) 2 π ( 1 − ρ 2 ) .

User profile picture
2021-03-24 13:42
Comments