How a (radical) Subjectivist can revise a statistical model Teddy Seidenfeld based on free-thinking with Peter Grünwald and Erik Quaeghebeur at the CWI Thematic question : • How might a (radical) Subjectivist change her mind about a statistical model? Outline 1) Variations on Exchangeability to identify a Subjectivist’s statistical model. 2) A basic challenge to a Subjectivist, if all updating is conditioning. • The de Finetti / Bruno / Diaconis(?) approach – adapt Cromwell’s Rule ?! • A rival Fisher + Peircean approach – Goodness-of-Fit + Abduction 3) (Fisher) Information as a basis for Goodness-of-Fit + Abduction Q: Why would a Subjectivist revise her model? A: Use the data to suggest a more informative statistical model when the data show anomalous F-information under the original model.
1) Variations on Exchangeability to specify a Subjectivist’s statistical model. For a (radical) Subjectivist , e.g. de Finetti, there is only personal probability. He famously writes, My thesis, paradoxically, and a little provocatively, but nonetheless genuinely, is simply this: PROBABILITY DOES NOT EXIST. de Finetti (1974, preface) For such a Subjectivist , a candidate for an ( objective ) statistical model is via Exchangeability . • Here “ objectivity ” means “ inter-personal agreement ” !
Continuing Example : The Subjectivist considers a denumerable sequence of realizations of binary random variables X n , each with sample space {0, 1}. The Subjectivist imagines a sequence < X 1 = u 1 , X 2 = u 2 , …, X n = u n , … > with < u 1 , u 2 , …, u n , … > a sequence of 0’s and 1’s, and she adopts for her joint distribution the symmetries of exchangeability . • For each n , her distribution for < X 1 , …, X n > is permutation invariant. And we have the celebrated result of de Finetti. Exchangeability holds if and only if The joint distribution can be written as a mixture of iid Bernoulli trials.
Specifically: Let s = u 1 + … + u n and let θ be a r.v. supported by [0, 1] with (marginal) distribution P( Θ ). Exchangeability obtains just in case P[ X 1 = u 1 , X 2 = u 2 , …, X n = u n | θ ] = θ s (1- θ ) n-s – a conditional iid stat. model P[ X 1 = u 1 , X 2 = u 2 , …, X n = u n ] = E P( Θ ) [ θ s (1- θ ) n-s ] and and P( Θ ) is fully determined by the Subjectivist ’s personal probability over the imagined denumerable sequence of binary trials. • The iid Bernoulli statistical model for these hypothetical data is shared among any set of Subjectivists each of whom adopts Exchangeability for his personal probability over this denumerable sequence of binary trials. • Objectivity of the statistical model, for these Subjectivist s, means interpersonal agreement on Exchangeability .
Now, suppose the sequence is for a binary outcome of a new drug to be tested on human subjects in a clinical trial. The investigator adopts an Exchangeable “prior” opinion. The experiment proceeds and the initial 20 observed outcomes are <0,1,1,0,1,0,1,0,0,1,1,0,1,0,0,1,1,0,1,0> with s 20 = 10. Suppose that the gender is also observed, so that the observed data are <0,1,1,0,1,0,1,0,0,1,1,0,1,0,0,1,1,0,1,0> with s 10 = 7 and s 10 = 3. What might our Subjectivist do to rethink her statistical model and change, perhaps, to a partial exchangeable one: Exchangeability given gender
Let ( s M , s F ) = ( u M 1 + … + u M n 1 , u F 1 + … + u F Specifically: n 2 ) let ( θ M , θ F ) be supported by [0, 1] 2 with joint distribution P( Θ ). and Partial Exchangeability obtains just in case P[ X M 1 = u M 1 X M 2 = u M 2 … X M n1 = u M n1 , X F 1 = u F 1 X F 2 = u F 2 … X F n2 = u M n2 | ( θ M , θ F ) ] s M (1- θ M ) n 1 - s M × θ F s F (1- θ F ) n 2 - s F – a conditional iid bivariate model = θ M and P[ X M 1 = u M 1 X M 2 = u M 2 … X M n1 = u M n1 , X F 1 = u F 1 X F 2 = u F 2 … X F n2 = u M n2 ] = E P( Θ ) [ θ M s M (1- θ M ) n 1 - s M × θ F s F (1- θ F ) n 2 - s F ]
How does our Subjectivist explore whether or not to adopt an Exchangeable model – gender doesn’t matter or a Partial Exchangeable model – where gender might matter? • de Finetti / Bruno / Diaconis approach the problem by advising our Subjectivist to use a Partial Exchangeable model with prior support on all of Θ = [0, 1] 2 but with sufficient prior mass concentrated along the main diagonal ( θ M = θ F ). ( Cromwell’s Rule ) Then, let Bayes conditioning work its magic to create her posterior . If gender doesn’t matter, almost surely the posterior will concentrate along the main diagonal. If gender does matter, almost surely the posterior will concentrate elsewhere in Θ = [0, 1] 2 .
There are (at least) two concerns I have with this advice for how a Subjectivist might examine her statistical model. 1) In advance of seeing the data, which subpopulations (which factors) does she consider in building her Partial Exchangeable model? In addition to the subject’s gender, what of age, number of siblings, favorite music, …? The de Finetti (1959) / Bruno (1964) / Diaconis (1988) approach works with finitely many such factors.
2) Even if the Partial Exchangeable model concentrates its posterior along the main diagonal, so that gender does not matter, it may still be the case that the original sequence is not exchangeable. That the posterior concentrates at the main diagonal is not a sufficient condition that the overall process is exchangeable. <0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1> with s 10 = 5 = s 10 . The sequence is suspiciously non-exchangeable as there is perfect (negative) correlation in the gender-couples. Exercise : Find other interesting patterns relating to 20-exchangeable. • What higher-order constraints may be used to define sub-populations?
Return, first, to some old non-Bayesian themes in model selection. R.A.Fisher (1890 – 1962) • Fisher’s (1928) Goodness-of-Fit tests as Fisherian significance testing . H is a statistical hypothesis. Data d are observed and are rare under H . Therefore, either H is false or something rare has occurred.
Goodness-of-fit as significance testing – role of F-Information in the test. Heuristic Example : Independence in a 2 × 2 Table. Consider ¡conditional ¡ iid ¡data ¡from ¡flips ¡of ¡two ¡coins, ¡summarized ¡in ¡the ¡table ¡below, ¡where ¡ we ¡are ¡concerned ¡about ¡the ¡composite ¡hypothesis ¡ H ¡that ¡the ¡coins ¡have ¡a ¡common ¡bias, ¡e.g., ¡ that ¡the ¡sequence ¡is ¡exchangeable, ¡not ¡merely ¡partially ¡exchangeable. ¡ ¡ ¡2 ¡ × ¡2 ¡TABLE ¡ ¡ ¡ heads ¡ tails ¡ ¡ coin-‑1 ¡ ¡ ¡ a ¡ b ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ a + b ¡= ¡ n 1 ¡flips ¡ ¡ coin-‑2 ¡ ¡ ¡ c ¡ d ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ c + d ¡= ¡ n 2 ¡ flips ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ a + c ¡heads ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ b + d ¡tails ¡ ¡ ¡ ¡ ¡ ¡ n 1 + n 2 ¡ = ¡ N ¡flips ¡total. ¡ ¡ ! test ¡for ¡ Let ¡ θ 0 ¡be ¡an ¡hypothesized ¡value ¡for ¡the ¡common ¡bias ¡of ¡the ¡two ¡coins. ¡ ¡The ¡ 𝜓 ! independence ¡(with ¡2-‑degrees ¡of ¡freedom) ¡is ¡just ¡the ¡sum ¡of ¡the ¡two, ¡separate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 1-‑degree ¡of ¡freedom ¡ χ 2 -‑tests ¡for ¡the ¡two ¡samples ¡(of ¡sizes ¡ n 1 ¡and ¡ n 2 , ¡ respectively): ¡ ! ¡= ¡( a -‑ θ 0 n 1 ) 2 / θ 0 n 1 ¡ ¡ + ¡( b -‑[1-‑ θ 0 ] n 1 ) 2 /[1-‑ θ 0 ] n 1 ¡+ ¡( c -‑ θ 0 n 2 ) 2 / θ 0 n 2 ¡+ ¡( d -‑[1-‑ θ 0 ] n 2 ) 2 /[1-‑ θ 0 ] n 2 . ¡ 𝜓 ! ¡
As ¡you ¡recall, ¡Fisher’s ¡controversial ¡proposal ¡for ¡the ¡ χ 2 -‑independence ¡test ¡of ¡the ¡ ¡ composite ¡hypothesis ¡ H ¡is ¡to ¡substitute ¡the ¡ m.l.e ¡under ¡the ¡“null” ¡hypothesis ¡ H , ¡to ¡ replace ¡the ¡unknown ¡ θ 0 ¡ with ¡the ¡quantity ¡( a + c )/N, ¡resulting ¡in ¡a ¡ χ 2 ¡test ¡with ¡1 ¡ degree ¡of ¡freedom. ¡ ¡ ¡ ¡ The ¡familiar ¡story ¡is ¡that ¡this ¡provides ¡an ¡approximation ¡to ¡the ¡ ¡ Exact ¡Fisher ¡Test ¡which ¡is ¡obtained ¡by ¡assuming ¡that ¡– ¡under ¡composite ¡ H , ¡ ¡ ¡ ¡ the ¡4 ¡marginal ¡totals ¡are ¡ancillary ¡for ¡the ¡unknown ¡ θ 0 . ¡ ¡ There ¡is ¡a ¡different ¡answer ¡based ¡on ¡the ¡connection ¡between ¡this ¡use ¡of ¡the ¡ m.l.e. ¡ in ¡the ¡ χ 2 ¡test ¡and ¡the ¡importance ¡that ¡estimates ¡conserve ¡ F-‑Information . ¡ ¡ ¡
Recommend
More recommend
