Non-Normality / Non-Gaussianity and Filtering Cris%an Proistosescu, - PowerPoint PPT Presentation

Non-Normality / Non-Gaussianity and Filtering Cris%an ¡Proistosescu, ¡Andy ¡Rhines, ¡Peter ¡Huybers ¡ ¡ ¡ ¡ ¡

Synoptic variability is normal Models require non-normality -­‑ ¡Full ¡Record ¡ -­‑ ¡Filter: ¡3-­‑300 ¡days ¡ |S(f) 2 | -­‑ ¡Filter: ¡3-­‑90 ¡days ¡ -­‑ ¡Filter: ¡3-­‑15 ¡days ¡ 10 -5 -­‑-­‑ ¡Normal ¡PDF ¡ ¡ 10 -4 10 -3 10 -2 10 -1 Frequency (days -1 ) 0.5 1 0.4 0.8 CDF(T) PDF(T) 0.3 0.6 0.2 0.4 0.1 0.2 0 0 -2 0 2 -2 0 2 Standardized Temperature Standardized Temperature

Kolmogorov – Smirnov test Maximum Deviation between CDF Test ¡Sta%s%c: ¡ ¡D= ¡sup ¡|F-­‑F N | ¡ ¡ Issues: ¡ ¡ -­‑ Standardized ¡mean ¡and ¡variance ¡(Lilliefors) ¡ -­‑ Autocorrela%on ¡ -­‑ Filtered ¡Data ¡reconstructed ¡from ¡limited ¡number ¡of ¡harmonics ¡

Phase Randomization: Type I errors Solu%on ¡ ¡ Null ¡: ¡D= ¡sup ¡|F PR -­‑F N | ¡ ¡ ¡ Solves: ¡ ¡ -­‑ Ensures ¡sample ¡variance ¡and ¡mean ¡ -­‑ Same ¡ACF ¡ -­‑ Same ¡number ¡of ¡harmonics ¡ 0.2 Filtered and Normalized to unit < AR(1) AR(1) - Blocks: 40 yrs DJF (90 days) 1 1 KS test KS PR 0.8 0.8 0.05 level 0.15 Tpye I error prob Tpye I error prob Tpye I error prob 0.6 0.6 0.1 0.4 0.4 0.05 0.2 0.2 0 0 0 0 0.5 1 0 0.5 1 0 0.5 1 Autocorrelation Autocorrelation Bandwidth

Phase Randomization: Type II errors

Station Data: Medford Barrow Novgorod Sapporo Frequency [1/days] 0.5 Highest Admitted Skewnes 1/3 1/3 1/3 1/3 0 1/7 1/7 1/7 1/7 2-10 days 3-15 days -0.5 1/30 1/30 1/30 1/30 25-35 days 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 Lowest Admitted Lowest Admitted Lowest Admitted Lowest Admitted Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] 1 Highest Admitted Excess Kurtosis 0.5 1/3 1/3 1/3 1/3 0 -0.5 1/7 1/7 1/7 1/7 -1 1/30 1/30 1/30 1/30 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 Lowest Admitted Lowest Admitted Lowest Admitted Lowest Admitted Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] 10 4 10 4 10 4 10 4 Power Density 10 2 10 2 10 2 10 2 10 0 10 0 10 0 10 0 10 -2 10 -2 10 -2 10 -2 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days]

Lore Rosenblat ¡(1961): ¡“It ¡appears ¡to ¡be ¡part ¡of ¡the ¡engineering ¡folklore ¡ that ¡a ¡narrow ¡band-­‑pass ¡filter ¡applied ¡to ¡a ¡sta%onary ¡random ¡ input ¡yields ¡an ¡output ¡that ¡is ¡approximately ¡normally ¡distributed." ¡ When? ¡(For ¡Finite, ¡discrete ¡data) ¡ Quan%fy ¡rate ¡of ¡convergence? ¡

Higher Order Spectra and Cumulants F x ( t ) ! X ( f ) ! → P ( f ) = X ( f ) X * ( f ) B ( f 1 , f 2 ) = X ( f 1 ) X ( f 2 ) X * ( f 1 + f 2 ) T ( f 1 , f 2 , f 3 ) = X ( f 1 ) X ( f 2 ) X ( f 3 ) X * ( f 1 + f 2 + f 3 ) Parseval ¡Theorem: ¡ σ 2 = ∫ P ( f ) df 2 S = σ − 3/2 ∫∫ B ( f 1 , f 2 ) df 1 df 2 K = σ − 4 ∫∫ T ( f 1 , f 2 , f 3 ) df 1 df 2 df 3

Filtering and the Bi-Spectra N N N N 0 0 0 0 -N -N -N -N -N 0 N -N 0 N -N 0 N -N 0 N N N N 0 0 0 -N -N -N -N 0 N -N 0 N -N 0 N N N 1D Filter 1 0 0 0 -N 0 N -N -N Excluded Bispectrum -N 0 N -N 0 N N 0 Admitted Bispectrum -N -N 0 N B `( f 1 , f 2 ) = h ( f 1 ) h ( f 2 ) h *( f 1 + f 2 ) B ( f 1 , f 2 )

Filtering and the Tri-Spectra

Analytical Solution for Skewness Skewness - Analytical N 6 5 e 2 c Frequency (Low-Pass) 3 d 1 Highest Admitted b 4 a N/2 2-10 days 3-15 days 25-35 days 0 0 N/2 N Lowest Admitted Frequency (High-Pass) 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

Decay of S and K for I.I.D. Skewness - Numerical Excess Kurtosis - Numerical N N Frequency (Low-Pass) Highest Admitted N/2 N/2 Theoretical Synthetic (10 7 points) Synthetic (10 5 points) 2-10 days 3-15 days 25-35 days 0 0 0 N/2 N 0 N/2 N Lowest Admitted Lowest Admitted Frequency (High-Pass) Frequency (High-Pass) 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

Autocorrelation AR(1) ¡ x ( t + 1) = ρ x ( t ) + ε ε ~ Pearson Correlated ¡Addi%ve ¡and ¡Mul%plica%ve ¡Noise ¡ x ( t + 1) = ρ x ( t ) + [ b η 1 + ( Ex ( t ) + g ) η 2 − 0.5 Eg ] η 1,2 ~ N (Sardeshmukh ¡and ¡Sura ¡2009) ¡

Autocorrelation I.I.D Noise AR(1): p=0.5 AR(1): p=0.9 CAM noise Frequency [1/days] 0.5 Highest Admitted Skewnes 1/3 1/3 1/3 1/3 0 1/7 2-10 days 1/7 1/7 1/7 3-15 days -0.5 25-35 days 1/30 1/30 1/30 1/30 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 Lowest Admitted Lowest Admitted Lowest Admitted Lowest Admitted Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] 1 Highest Admitted Excess Kurtosis 0.5 1/3 1/3 1/3 1/3 0 -0.5 1/7 1/7 1/7 1/7 -1 1/30 1/30 1/30 1/30 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 1/30 1/7 1/3 Lowest Admitted Lowest Admitted Lowest Admitted Lowest Admitted Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days] 10 2 10 2 10 2 10 2 Power Density 10 0 10 0 10 0 10 0 10 -2 10 -2 10 -2 10 -2 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 1/90 1/30 1/7 1/3 Frequency [1/days] Frequency [1/days] Frequency [1/days] Frequency [1/days]

Outline Non-­‑Normality ¡encoded ¡in ¡interac%on ¡terms ¡between ¡%me ¡scales ¡ ¡ May ¡be ¡most ¡pronounced ¡when ¡filtered ¡to ¡%me ¡scales ¡other ¡than ¡ genera%ng ¡mechanisms ¡ ¡ Reconciled ¡models ¡requiring ¡non-­‑normality ¡on ¡synop%c ¡%me ¡scales ¡with ¡ observa%ons ¡of ¡normal ¡variability ¡when ¡filtering ¡to ¡synop%c ¡scales ¡ ¡ Developed ¡Non-­‑Normality ¡test ¡for ¡autocorrelated ¡data ¡ ¡ How ¡do ¡we ¡iden%fy ¡mechanisms? ¡

Reconstructing i.i.d. normal from a finite number of sinusoids Distribu%on ¡of ¡a ¡sinusoid ¡ K-­‑th ¡moment ¡for ¡n ¡independent ¡sinusoids: ¡ Convergence ¡of ¡Kurtosis: ¡

Decay with Bandwidth