Variational Bayesian methods

13087: 10479: 13082:{\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{\sum _{n=1}^{N}(x_{n}^{2}-2x_{n}\mu +\mu ^{2})+\lambda _{0}(\mu ^{2}-2\mu _{0}\mu +\mu _{0}^{2})\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{\left(\sum _{n=1}^{N}x_{n}^{2}\right)-2\left(\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}\mu ^{2}\right)+\lambda _{0}\mu ^{2}-2\lambda _{0}\mu _{0}\mu +\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)(\lambda _{0}+N)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu \right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}-\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{5}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{(\lambda _{0}+N)\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right\}+C_{5}\\&=-{\frac {1}{2}}(\lambda _{0}+N)\operatorname {E} _{\tau }\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}+C_{5}\end{aligned}}} 10097: 19769: 20392: 23754: 8271: 19118: 19780: 10092:{\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=\operatorname {E} _{\tau }\left+C\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C_{2}\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C_{2}\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C_{2}\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C_{2}\\&=\operatorname {E} _{\tau }\left+\operatorname {E} _{\tau }\left+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\end{aligned}}} 23008: 19764:{\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )&=\prod _{n=1}^{N}\prod _{k=1}^{K}{\mathcal {N}}(\mathbf {x} _{n}\mid \mathbf {\mu } _{k},\mathbf {\Lambda } _{k}^{-1})^{z_{nk}}\\p(\mathbf {Z} \mid \mathbf {\pi } )&=\prod _{n=1}^{N}\prod _{k=1}^{K}\pi _{k}^{z_{nk}}\\p(\mathbf {\pi } )&={\frac {\Gamma (K\alpha _{0})}{\Gamma (\alpha _{0})^{K}}}\prod _{k=1}^{K}\pi _{k}^{\alpha _{0}-1}\\p(\mathbf {\mu } \mid \mathbf {\Lambda } )&=\prod _{k=1}^{K}{\mathcal {N}}(\mathbf {\mu } _{k}\mid \mathbf {\mu } _{0},(\beta _{0}\mathbf {\Lambda } _{k})^{-1})\\p(\mathbf {\Lambda } )&=\prod _{k=1}^{K}{\mathcal {W}}(\mathbf {\Lambda } _{k}\mid \mathbf {W} _{0},\nu _{0})\end{aligned}}} 20387:{\displaystyle {\begin{aligned}{\mathcal {N}}(\mathbf {x} \mid \mathbf {\mu } ,\mathbf {\Sigma } )&={\frac {1}{(2\pi )^{D/2}}}{\frac {1}{|\mathbf {\Sigma } |^{1/2}}}\exp \left\{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\rm {T}}\mathbf {\Sigma } ^{-1}(\mathbf {x} -\mathbf {\mu } )\right\}\\{\mathcal {W}}(\mathbf {\Lambda } \mid \mathbf {W} ,\nu )&=B(\mathbf {W} ,\nu )|\mathbf {\Lambda } |^{(\nu -D-1)/2}\exp \left(-{\frac {1}{2}}\operatorname {Tr} (\mathbf {W} ^{-1}\mathbf {\Lambda } )\right)\\B(\mathbf {W} ,\nu )&=|\mathbf {W} |^{-\nu /2}\left\{2^{\nu D/2}\pi ^{D(D-1)/4}\prod _{i=1}^{D}\Gamma \left({\frac {\nu +1-i}{2}}\right)\right\}^{-1}\\D&={\text{dimensionality of each data point}}\end{aligned}}} 23749:{\displaystyle {\begin{aligned}\beta _{k}&=\beta _{0}+N_{k}\\\mathbf {m} _{k}&={\frac {1}{\beta _{k}}}(\beta _{0}\mathbf {\mu } _{0}+N_{k}{\bar {\mathbf {x} }}_{k})\\\mathbf {W} _{k}^{-1}&=\mathbf {W} _{0}^{-1}+N_{k}\mathbf {S} _{k}+{\frac {\beta _{0}N_{k}}{\beta _{0}+N_{k}}}({\bar {\mathbf {x} }}_{k}-\mathbf {\mu } _{0})({\bar {\mathbf {x} }}_{k}-\mathbf {\mu } _{0})^{\rm {T}}\\\nu _{k}&=\nu _{0}+N_{k}\\N_{k}&=\sum _{n=1}^{N}r_{nk}\\{\bar {\mathbf {x} }}_{k}&={\frac {1}{N_{k}}}\sum _{n=1}^{N}r_{nk}\mathbf {x} _{n}\\\mathbf {S} _{k}&={\frac {1}{N_{k}}}\sum _{n=1}^{N}r_{nk}(\mathbf {x} _{n}-{\bar {\mathbf {x} }}_{k})(\mathbf {x} _{n}-{\bar {\mathbf {x} }}_{k})^{\rm {T}}\end{aligned}}} 18356: 24687: 17923: 3951: 4356: 24074: 18351:{\displaystyle {\begin{aligned}\mathbf {\pi } &\sim \operatorname {SymDir} (K,\alpha _{0})\\\mathbf {\Lambda } _{i=1\dots K}&\sim {\mathcal {W}}(\mathbf {W} _{0},\nu _{0})\\\mathbf {\mu } _{i=1\dots K}&\sim {\mathcal {N}}(\mathbf {\mu } _{0},(\beta _{0}\mathbf {\Lambda } _{i})^{-1})\\\mathbf {z} &\sim \operatorname {Mult} (1,\mathbf {\pi } )\\\mathbf {x} _{i=1\dots N}&\sim {\mathcal {N}}(\mathbf {\mu } _{z_{i}},{\mathbf {\Lambda } _{z_{i}}}^{-1})\\K&={\text{number of mixing components}}\\N&={\text{number of data points}}\end{aligned}}} 275: 3536: 16229: 3962: 2989: 24682:{\displaystyle {\begin{aligned}\operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}&=D\beta _{k}^{-1}+\nu _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})^{\rm {T}}\mathbf {W} _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})\\\ln {\widetilde {\Lambda }}_{k}&\equiv \operatorname {E} =\sum _{i=1}^{D}\psi \left({\frac {\nu _{k}+1-i}{2}}\right)+D\ln 2+\ln |\mathbf {W} _{k}|\\\ln {\widetilde {\pi }}_{k}&\equiv \operatorname {E} \left=\psi (\alpha _{k})-\psi \left(\sum _{i=1}^{K}\alpha _{i}\right)\end{aligned}}} 17866: 20894: 17716:). In order for the overall method to be tractable, it should be possible to recognize the functional form as belonging to a known distribution. Significant mathematical manipulation may be required to convert the formula into a form that matches the PDF of a known distribution. When this can be done, the normalization constant can be reinstated by definition, and equations for the parameters of the known distribution can be derived by extracting the appropriate parts of the formula. 6064: 3946:{\displaystyle q^{*}(\mathbf {Z} _{2})={\frac {P(\mathbf {X} )}{\zeta (\mathbf {X} )}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}={\frac {1}{\zeta (\mathbf {X} )}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right),} 14567: 13418: 15285: 4351:{\displaystyle \zeta (\mathbf {X} )=P(\mathbf {X} )\int _{\mathbf {Z} _{2}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}=\int _{\mathbf {Z} _{2}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right).} 16801: 7881: 20508: 6050:) also appear. In most cases, the other variables' distributions will be from known families, and the formulas for the relevant expectations can be looked up. However, those formulas depend on those distributions' parameters, which depend in turn on the expectations about other variables. The result is that the formulas for the parameters of each variable's distributions can be expressed as a series of equations with mutual, 13879: 19107: 15247: 7134: 22252: 6030:), in which the expectations (and possibly higher moments) of the latent variables are initialized in some fashion (perhaps randomly), and then the parameters of each distribution are computed in turn using the current values of the expectations, after which the expectation of the newly computed distribution is set appropriately according to the computed parameters. An algorithm of this sort is guaranteed to 43: 22732: 8131: 1263: 24925: 16224:{\displaystyle {\begin{aligned}b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left\\&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left\\&=b_{0}+{\frac {1}{2}}\left-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\operatorname {E} _{\mu }+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left\\\end{aligned}}} 14254: 13105: 6038:

determines the value of the constant). The formula for the distribution's parameters will be expressed in terms of the prior distributions' hyperparameters (which are known constants), but also in terms of expectations of functions of variables in other partitions. Usually these expectations can be simplified into functions of expectations of the variables themselves (i.e. the

22997: 17811:(EM). The actual numerical procedure is quite similar, in that both are alternating iterative procedures that successively converge on optimum parameter values. The initial steps to derive the respective procedures are also vaguely similar, both starting out with formulas for probability densities and both involving significant amounts of mathematical manipulations. 16240: 7604: 14881: 14238: 20889:{\displaystyle {\begin{aligned}\ln q^{*}(\mathbf {Z} )&=\operatorname {E} _{\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } }+{\text{constant}}\\&=\operatorname {E} _{\mathbf {\pi } }+\operatorname {E} _{\mathbf {\mu } ,\mathbf {\Lambda } }+{\text{constant}}\\&=\sum _{n=1}^{N}\sum _{k=1}^{K}z_{nk}\ln \rho _{nk}+{\text{constant}}\end{aligned}}} 13478: 18936: 14893: 6895: 21967: 22500: 7892: 21194: 24698: 1068: 3467: 14562:{\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}} 13413:{\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}} 1808: 5524: 22805: 16796:{\displaystyle {\begin{aligned}\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N){\frac {a_{N}}{b_{N}}}\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\left\end{aligned}}} 1033: 17360:

Partition the unobserved variables into two or more subsets, over which the independent factors will be derived. There is no universal procedure for doing this; creating too many subsets yields a poor approximation, while creating too few makes the entire variational Bayes procedure intractable.

3150: 20497: 17838:

have the same significance as those in EM. EM computes optimum values of the parameters of the Bayes network itself. VB computes optimum values of the parameters of the distributions used to approximate the parameters and latent variables of the Bayes network. For example, a typical Gaussian

6037:

In other words, for each of the partitions of variables, by simplifying the expression for the distribution over the partition's variables and examining the distribution's functional dependency on the variables in question, the family of the distribution can usually be determined (which in turn

17797:

The result of all of the mathematical manipulations is (1) the identity of the probability distributions making up the factors, and (2) mutually dependent formulas for the parameters of these distributions. The actual values of these parameters are computed numerically, through an alternating

17196:

assume this; the only assumption we made was that the distributions factorize, and the form of the distributions followed naturally. It turns out (see below) that the fact that the posterior distributions have the same form as the prior distributions is not a coincidence, but a general result

7876:{\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{n=1}^{N}{\mathcal {N}}(x_{n}\mid \mu ,\tau ^{-1})\\p(\mu \mid \tau )&={\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\\p(\tau )&=\operatorname {Gamma} (\tau \mid a_{0},b_{0})\end{aligned}}} 2475: 17822:

EM computes point estimates of posterior distribution of those random variables that can be categorized as "parameters", but only estimates of the actual posterior distributions of the latent variables (at least in "soft EM", and often only when the latent variables are discrete). The point

17719:

When all expectations can be replaced analytically with functions of variables not in the current partition, and the PDF put into a form that allows identification with a known distribution, the result is a set of equations expressing the values of the optimum parameters as functions of the

443:

For many applications, variational Bayes produces solutions of comparable accuracy to Gibbs sampling at greater speed. However, deriving the set of equations used to update the parameters iteratively often requires a large amount of work compared with deriving the comparable Gibbs sampling

25935:

Note that in the previous example, once the distribution over unobserved variables was assumed to factorize into distributions over the "parameters" and distributions over the "latent data", the derived "best" distribution for each variable was in the same family as the corresponding prior

25926:

corresponds closely to the computation of corresponding "soft-count" statistics over the data; and the use of those statistics to compute new values of the parameters corresponds closely to the use of soft counts to compute new parameter values in normal EM over a Gaussian mixture model.

17185:

We then have values for the hyperparameters of the approximating distributions of the posterior parameters, which we can use to compute any properties we want of the posterior — e.g. its mean and variance, a 95% highest-density region (the smallest interval that includes 95% of the total

14578: 13935: 13874:{\displaystyle {\begin{aligned}\ln q_{\tau }^{*}(\tau )&=\operatorname {E} _{\mu }+\ln p(\tau )+{\text{constant}}\\&=(a_{0}-1)\ln \tau -b_{0}\tau +{\frac {1}{2}}\ln \tau +{\frac {N}{2}}\ln \tau -{\frac {\tau }{2}}\operatorname {E} _{\mu }\left+{\text{constant}}\end{aligned}}} 19102:{\displaystyle p(\mathbf {X} ,\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )p(\mathbf {Z} \mid \mathbf {\pi } )p(\mathbf {\pi } )p(\mathbf {\mu } \mid \mathbf {\Lambda } )p(\mathbf {\Lambda } )} 6054:

dependencies among the variables. Usually, it is not possible to solve this system of equations directly. However, as described above, the dependencies suggest a simple iterative algorithm, which in most cases is guaranteed to converge. An example will make this process clearer.

14886:

In each case, the parameters for the distribution over one of the variables depend on expectations taken with respect to the other variable. We can expand the expectations, using the standard formulas for the expectations of moments of the Gaussian and gamma distributions:

15242:{\displaystyle {\begin{aligned}\operatorname {E} &={\frac {a_{N}}{b_{N}}}\\\operatorname {E} \left&=\mu _{N}\\\operatorname {E} \left&=\operatorname {Var} (X)+(\operatorname {E} )^{2}\\\operatorname {E} \left&=\lambda _{N}^{-1}+\mu _{N}^{2}\end{aligned}}} 7129:{\displaystyle {\begin{aligned}\tau &\sim \operatorname {Gamma} (a_{0},b_{0})\\\mu |\tau &\sim {\mathcal {N}}(\mu _{0},(\lambda _{0}\tau )^{-1})\\\{x_{1},\dots ,x_{N}\}&\sim {\mathcal {N}}(\mu ,\tau ^{-1})\\N&={\text{number of data points}}\end{aligned}}} 22247:{\displaystyle {\begin{aligned}\ln q^{*}(\mathbf {\pi } )&=\ln p(\mathbf {\pi } )+\operatorname {E} _{\mathbf {Z} }+{\text{constant}}\\&=(\alpha _{0}-1)\sum _{k=1}^{K}\ln \pi _{k}+\sum _{n=1}^{N}\sum _{k=1}^{K}r_{nk}\ln \pi _{k}+{\text{constant}}\end{aligned}}} 22727:{\displaystyle \ln q^{*}(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})=\ln p(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})+\sum _{n=1}^{N}\operatorname {E} \ln {\mathcal {N}}(\mathbf {x} _{n}\mid \mathbf {\mu } _{k},\mathbf {\Lambda } _{k}^{-1})+{\text{constant}}} 8126:{\displaystyle {\begin{aligned}{\mathcal {N}}(x\mid \mu ,\sigma ^{2})&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{\frac {-(x-\mu )^{2}}{2\sigma ^{2}}}\\\operatorname {Gamma} (\tau \mid a,b)&={\frac {1}{\Gamma (a)}}b^{a}\tau ^{a-1}e^{-b\tau }\end{aligned}}} 5842: 20905: 17627: 2107: 24920:{\displaystyle r_{nk}\propto {\widetilde {\pi }}_{k}{\widetilde {\Lambda }}_{k}^{1/2}\exp \left\{-{\frac {D}{2\beta _{k}}}-{\frac {\nu _{k}}{2}}(\mathbf {x} _{n}-\mathbf {m} _{k})^{\rm {T}}\mathbf {W} _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})\right\}} 1258:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{P(\mathbf {X} )}}={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{\int _{\mathbf {Z} }P(\mathbf {X} ,\mathbf {Z} ')\,d\mathbf {Z} '}}} 1497: 439:

of the parameters and latent variables. As in EM, it finds a set of optimal parameter values, and it has the same alternating structure as does EM, based on a set of interlocked (mutually dependent) equations that cannot be solved analytically.

2269: 17730:(EM) type procedure is then applied, picking an initial value for each parameter and the iterating through a series of steps, where at each step we cycle through the equations, updating each parameter in turn. This is guaranteed to converge. 3283: 17843:

will have parameters for the mean and variance of each of the mixture components. EM would directly estimate optimum values for these parameters. VB, however, would first fit a distribution to these parameters — typically in the form of a

7593: 3275: 1505: 21956: 420:. In particular, whereas Monte Carlo techniques provide a numerical approximation to the exact posterior using a set of samples, variational Bayes provides a locally-optimal, exact analytical solution to an approximation of the posterior. 21355: 5305: 388:, the general idea being that a higher marginal likelihood for a given model indicates a better fit of the data by that model and hence a greater probability that the model in question was the one that generated the data. (See also the 22992:{\displaystyle q^{*}(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})={\mathcal {N}}(\mathbf {\mu } _{k}\mid \mathbf {m} _{k},(\beta _{k}\mathbf {\Lambda } _{k})^{-1}){\mathcal {W}}(\mathbf {\Lambda } _{k}\mid \mathbf {W} _{k},\nu _{k})} 5231: 6499: 22358: 4928: 909: 4484: 21522: 5028: 6611: 3002: 24066: 20400: 2280: 26295:, the paper shows that Variational Bayes is simply a generalized Pythagorean projection of true model onto an arbitrarily correlated (copula) distributional space, of which the independent space is merely a special case. 14876:{\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left\end{aligned}}} 14233:{\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left\end{aligned}}} 18726: 18616: 17351: 634: 1397: 21868: 21614: 7434: 3528: 444:

equations. This is the case even for many models that are conceptually quite simple, as is demonstrated below in the case of a basic non-hierarchical model with only two parameters and no latent variables.

17856:. In this case, VB would compute optimum estimates of the four parameters of the normal-scaled inverse gamma distribution that describes the joint distribution of the mean and variance of the component. 17499: 5699: 17782:

of the other variables, given the observed data). This formula is not the true posterior distribution, but an approximation to it; in particular, it will generally agree fairly closely in the lowest

17774:"Analytical approximation" means that a formula can be written down for the posterior distribution. The formula generally consists of a product of well-known probability distributions, each of which 17409: 17701:, expectation of a logarithm, etc.). In order for the variational Bayes procedure to work well, these expectations should generally be expressible analytically as functions of the parameters and/or 5137: 4733: 1913: 7343: 4684: 24079: 23013: 21972: 20513: 19785: 19123: 17928: 16245: 15290: 14898: 14583: 14259: 13940: 13483: 13110: 10484: 8276: 7897: 7609: 6900: 513: 25830: 18916: 17830:

VB, on the other hand, computes estimates of the actual posterior distribution of all variables, both parameters and latent variables. When point estimates need to be derived, generally the

6071:

The following theorem is referred to as a duality formula for variational inference. It explains some important properties of the variational distributions used in variational Bayes methods.

2726: 777: 707: 22418: 5971: 5606: 4807: 22489: 8201: 18875: 8243:. This type of assumption underlies the variational Bayesian method. The true posterior distribution does not in fact factor this way (in fact, in this simple case, it is known to be a 353:. As typical in Bayesian inference, the parameters and latent variables are grouped together as "unobserved variables". Variational Bayesian methods are primarily used for two purposes: 25670: 21815: 21189:{\displaystyle \ln \rho _{nk}=\operatorname {E} +{\frac {1}{2}}\operatorname {E} -{\frac {D}{2}}\ln(2\pi )-{\frac {1}{2}}\operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}} 7193: 10248: 6329: 6162: 6120: 25895: 25190: 16970: 5710: 18728:

is a set of latent variables, one per data point, specifying which mixture component the corresponding data point belongs to, using a "one-of-K" vector representation with components

17708:

The functional form of the formula with respect to the variables in the current partition indicates the type of distribution. In particular, exponentiating the formula generates the

7222:

in the prior distributions are fixed, given values. They can be set to small positive numbers to give broad prior distributions indicating ignorance about the prior distributions of

25634: 25125: 22793: 21241: 17275: 6732: 6683: 4638: 4593: 26233:,” Proc. 30th International Conference on Machine Learning (ICML). Journal of Machine Learning Research: Workshop and Conference Proceedings, vol. 28, no. 3, pp. 729–737, June 2013. 22293: 17504: 17361:

Typically, the first split is to separate the parameters and latent variables; often, this is enough by itself to produce a tractable result. Assume that the partitions are called

2904: 25979: 16914: 13923: 13470: 4390: 2796: 2521: 1952: 25096: 22764: 21655: 25598: 25285: 23919: 23862: 10393: 10352: 4548: 2961: 2832: 2759: 2667: 2574: 25924: 25538: 25482: 25453: 25219: 25040: 25011: 21688: 18537: 18458: 17695: 17663: 17441: 6016: 4516: 573: 25307: 18812: 17668:

Simplify the formula and apply the expectation operator, following the above example. Ideally, this should simplify into expectations of basic functions of variables not in

5067: 1944: 1842: 1416: 1319: 846: 738: 668: 17767:. Estimates for the variables can then be derived in the standard Bayesian ways, e.g. calculating the mean of the distribution to get a single point estimate or deriving a 4834: 3177: 17089: 6371: 6263: 6237: 3462:{\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})q^{*}(\mathbf {Z} _{2})=q^{*}(\mathbf {Z} _{2}\mid \mathbf {Z} _{1})q^{*}(\mathbf {Z} _{1}),} 17300: 17250: 17176: 17056: 16831: 5093: 2126: 1864: 1341: 1288: 535: 18414: 1803:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left+\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left} 25424: 24982: 23817: 21750: 21388: 18788: 17873:. Smaller squares indicate fixed parameters; larger circles indicate random variables. Filled-in shapes indicate known values. The indication means a vector of size 7496: 5881: 5270: 3185: 25565: 25509: 25067: 16997: 10447: 6792: 6211: 5519:{\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )={\frac {e^{\operatorname {E} _{q_{-j}^{*}}}}{\int e^{\operatorname {E} _{q_{-j}^{*}}}\,d\mathbf {Z} _{j}}}} 21873: 25787: 25741: 25708: 25397: 25364: 25249: 23787: 21718: 18756: 17149: 17027: 7477: 6188: 881: 815: 25857: 25334: 25152: 21249: 17116: 16858: 15277: 10174: 10147: 8241: 7260: 7220: 6883: 5641: 5297: 4760: 10471: 10420: 10311: 10288: 10268: 10194: 8221: 7454: 7240: 6863: 6022:

between the parameters of the distributions over variables in one partition and the expectations of variables in the other partitions. This naturally suggests an

24948: 21408: 18832: 18656: 18636: 18505: 18387: 10120: 7283: 6772: 6752: 6634: 6283: 2928: 2687: 2634: 2614: 2594: 2541: 5145: 1028:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)\triangleq \sum _{\mathbf {Z} }Q(\mathbf {Z} )\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} \mid \mathbf {X} )}}.} 6379: 22304: 4839: 3145:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)\geq D_{\mathrm {KL} }(Q\parallel Q^{*})+D_{\mathrm {KL} }(Q^{*}\parallel P),\forall Q^{*}\in {\mathcal {C}}} 4403: 21416: 20492:{\displaystyle q(\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=q(\mathbf {Z} )q(\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )} 4933: 6510: 17723:

When this procedure can be applied to all partitions, the result is a set of mutually linked equations specifying the optimum values of all parameters.

2470:{\displaystyle \log P(\mathbf {X} )=D_{\mathrm {KL} }(Q\parallel P)-\mathbb {E} _{\mathbf {Q} }\left=D_{\mathrm {KL} }(Q\parallel P)+{\mathcal {L}}(Q)} 23924: 17705:

of the distributions of these variables. In all cases, these expectation terms are constants with respect to the variables in the current partition.

17747:

of the set of unobserved variables (parameters and latent variables), given the data. This means that the form of the solution is similar to other

435:(MAP) estimation of the single most probable value of each parameter to fully Bayesian estimation which computes (an approximation to) the entire 18667: 18557: 5883:) and is usually reinstated by inspection, as the rest of the expression can usually be recognized as being a known type of distribution (e.g. 17755:— i.e. a distribution that seeks to describe everything that is known about the variables. As in other Bayesian methods — but unlike e.g. in 17309: 580: 1346: 305: 26279:, by M. J. Beal includes comparisons of EM to Variational Bayesian EM and derivations of several models including Variational Bayesian HMMs. 26273:

A repository of research papers, software, and links related to the use of variational methods for approximate Bayesian learning up to 2003.

21826: 21533: 7351: 3472: 96: 17849: 10402:

With a certain amount of tedious math (expanding the squares inside of the braces, separating out and grouping the terms involving

178: 17446: 5646: 18507:-dimensional vector in which one of the elements is 1 (specifying the identity of the observation) and all other elements are 0. 25961: 17808: 17756: 17739:

Due to all of the mathematical manipulations involved, it is easy to lose track of the big picture. The important things are:

17727: 17364: 16861: 6027: 1047: 424: 384:

of the data given the model, with marginalization performed over unobserved variables). This is typically used for performing

20: 25982:: This is a variational inference framework that allows for introducing and accounting for additional large-margin constraints 26214: 26179: 6829:) — rather than the variance itself. (From a theoretical standpoint, precision and variance are equivalent since there is a 25958:: an artificial neural network belonging to the families of probabilistic graphical models and Variational Bayesian methods. 5098: 24068:. Now that we have determined the distributions over which these expectations are taken, we can derive formulas for them: 17834:

is used rather than the mode, as is normal in Bayesian inference. Concomitant with this, the parameters computed in VB do

17303: 6818:. In the following, we work through this model in great detail to illustrate the workings of the variational Bayes method. 4689: 1869: 7288: 4643: 903:

as the choice of dissimilarity function. This choice makes this minimization tractable. The KL-divergence is defined as

6803: 25936:

distribution over the variable. This is a general result that holds true for all prior distributions derived from the

18659: 18544: 18473: 464: 25796: 18880: 2692: 743: 673: 22369: 5897: 5532: 4765: 298: 261: 22429: 8144: 188: 18839: 17763:

methods — both types of unobserved variables (i.e. parameters and latent variables) are treated the same, i.e. as

5837:{\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\operatorname {E} _{q_{-j}^{*}}+{\text{constant}}} 25639: 21761: 7145: 892: 432: 214: 91: 17353:. The approximation has the basic property that it is a factorized distribution, i.e. a product of two or more 17192:

Note also that the posterior distributions have the same form as the corresponding prior distributions. We did

10199: 6292: 6125: 6083: 25862: 25157: 17636:

using the graphical model. Any component conditional distributions that don't involve any of the variables in

17633: 17622:{\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\operatorname {E} _{i\neq j}+{\text{constant}}} 17181:

Repeat the last two steps until convergence (i.e. until neither value has changed more than some small amount).

16919: 13093: 152: 396:

In the former purpose (that of approximating a posterior probability), variational Bayes is an alternative to

25603: 25101: 22796: 22769: 21202: 17258: 6688: 6639: 4598: 4553: 2102:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left+\log P(\mathbf {X} )} 428: 26120:

Lee, Se Yoon (2021). "Gibbs sampler and coordinate ascent variational inference: A set-theoretical review".

22260: 2845: 1046:

are reversed from what one might expect. This use of reversed KL-divergence is conceptually similar to the

26314: 21958:

due to the structure of the graphical model defining our Gaussian mixture model, which is specified above.

17905:— the value of this variable selects, for the other incoming variables, which value to use out of the size- 17709: 2907: 291: 121: 16871: 13887: 13434: 4364: 2764: 2489: 25949: 25072: 22740: 21622: 8244: 25570: 25257: 23867: 23822: 10357: 10316: 10290:. Hence in line 3 we can absorb it into the constant term at the end. We do the same thing in line 7. 1492:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} ,\mathbf {Z} )}{P(\mathbf {X} )}}} 4521: 2933: 2804: 2731: 2639: 2546: 173: 142: 25900: 25514: 25458: 25429: 25195: 25016: 24987: 21664: 18512: 18433: 17671: 17639: 17417: 5992: 4492: 544: 25290: 18795: 17779: 6830: 5041: 2839: 2264:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\mathbb {E} _{\mathbf {Q} }\left+\log P(\mathbf {X} )} 1918: 1816: 1293: 820: 712: 642: 235: 116: 5643:

over all variables not in the partition: refer to Lemma 4.1 of for a derivation of the distribution

4815: 4735:

respectively. Although this iterative scheme is guaranteed to converge monotonically, the converged

3158: 21658: 18484: 18480: 18425: 18421: 17354: 17064: 6334: 6242: 6216: 413: 401: 256: 168: 17283: 17233: 17154: 17034: 16809: 7588:{\displaystyle p(\mathbf {X} ,\mu ,\tau )=p(\mathbf {X} \mid \mu ,\tau )p(\mu \mid \tau )p(\tau )} 6067:

Pictorial illustration of coordinate ascent variational inference algorithm by the duality formula

5076: 3270:{\displaystyle Q=Q^{*}\triangleq \arg \min _{Q\in {\mathcal {C}}}D_{\mathrm {KL} }(Q\parallel P).} 1847: 1324: 1271: 518: 26033:"The Information Geometry of Bregman Divergences and Some Applications in Multi-Expert Reasoning" 25955: 18392: 1051: 25402: 24960: 23792: 21951:{\displaystyle q(\mathbf {\pi } )\prod _{k=1}^{K}q(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})} 21723: 21363: 18761: 17852:— and would then compute values for the parameters of this prior distribution, i.e. essentially 25973: 25756: 22296: 18923: 18366: 17914: 17713: 7346: 6822: 5854: 5243: 5237: 458: 436: 147: 26298: 26276: 26094: 26078: 25543: 25487: 25045: 21350:{\displaystyle q^{*}(\mathbf {Z} )\propto \prod _{n=1}^{N}\prod _{k=1}^{K}\rho _{nk}^{z_{nk}}} 16975: 15252:

Applying these formulas to the above equations is trivial in most cases, but the equation for

10425: 6777: 6196: 26202: 25967: 25790: 18540: 17744: 17215: 10450: 10396: 6807: 5884: 2669:

becomes tractable to compute and to maximize. Hence we have both an analytical approximation

409: 362: 358: 50: 25762: 25716: 25683: 25372: 25339: 25224: 23762: 21693: 18731: 17124: 17002: 7459: 6167: 851: 785: 26282: 26044: 25964:: a related approach which corresponds to a special case of variational Bayesian inference. 25835: 25752: 25312: 25130: 18461: 17890: 17783: 17698: 17094: 16836: 15255: 10152: 10125: 8226: 7245: 7198: 6868: 6047: 5982: 5848: 5619: 5299:(in terms of the distribution minimizing the KL divergence, as described above) satisfies: 5275: 4738: 2968: 1408: 397: 381: 230: 111: 81: 25976:: the field of mathematical analysis that deals with maximizing or minimizing functionals. 10456: 10405: 10296: 10273: 10253: 10179: 8206: 7439: 7225: 6848: 5989:) of latent variables not in the current partition (i.e. latent variables not included in 8: 6825:— i.e. the reciprocal of the variance (or in a multivariate Gaussian, the inverse of the 6191: 6031: 6019: 417: 373: 62: 54: 34: 26256: 26166: 26048: 21690:, which is distributed as a single-observation multinomial distribution with parameters 17214:

The above example shows the method by which the variational-Bayesian approximation to a

5226:{\displaystyle Q(\mathbf {Z} )=\prod _{i=1}^{M}q_{i}(\mathbf {Z} _{i}\mid \mathbf {X} )} 26292: 26147: 26129: 26008: 26007:

Tran, Viet Hung (2018). "Copula Variational Bayes inference via information geometry".

25937: 25748: 24933: 21393: 18817: 18641: 18621: 18490: 18372: 17845: 17760: 17748: 17306:. Variational Bayes will then construct an approximation to the posterior probability 17198: 13926: 10105: 7268: 6886: 6757: 6737: 6619: 6268: 6078: 5978: 5888: 5070: 2993: 2982: 2913: 2672: 2619: 2599: 2579: 2526: 1321:

in the denominator is typically intractable, because, for example, the search space of

326: 279: 204: 106: 76: 6494:{\displaystyle \log E_{P}={\text{sup}}_{Q\ll P}\{E_{Q}-D_{\text{KL}}(Q\parallel P)\}.} 2973:, to emphasize that it is a lower (worst-case) bound on the log-evidence of the data. 26285:

by Jason Eisner may be worth reading before a more mathematically detailed treatment.

26250: 26210: 26175: 26151: 26090: 22353:{\displaystyle q^{*}(\mathbf {\pi } )\sim \operatorname {Dir} (\mathbf {\alpha } )\,} 18469: 17824: 17768: 7487: 6826: 5613: 4923:{\displaystyle q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})=q^{*}(\mathbf {Z_{1}} ),} 334: 274: 209: 86: 58: 26246: 25747:

Note that these steps correspond closely with the standard EM algorithm to derive a

4479:{\displaystyle P(\mathbf {X} )\geq \zeta (\mathbf {X} )=\exp({\mathcal {L}}(Q^{*}))} 26260: 26139: 26082: 26052: 21517:{\displaystyle q^{*}(\mathbf {Z} )=\prod _{n=1}^{N}\prod _{k=1}^{K}r_{nk}^{z_{nk}}} 18465: 17712:(PDF) of the distribution (or at least, something proportional to it, with unknown 17219: 13472:

is similar to above, although we omit some of the details for the sake of brevity.

6885:, i.e. the mean also follows a Gaussian distribution while the precision follows a 5023:{\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1})q^{*}(\mathbf {Z} _{2}),} 782:

The similarity (or dissimilarity) is measured in terms of a dissimilarity function

330: 101: 26143: 17189:

It can be shown that this algorithm is guaranteed to converge to a local maximum.

6606:{\displaystyle {\frac {q(\theta )}{p(\theta )}}={\frac {\exp h(\theta )}{E_{P}}},} 26230: 18417: 17853: 17764: 17743:

The idea of variational Bayes is to construct an analytical approximation to the

17278: 17227: 6842: 6504:

Further, the supremum on the right-hand side is attained if and only if it holds

6286: 2988: 2117: 709:(e.g. a family of Gaussian distributions), selected with the intention of making 385: 350: 346: 342: 137: 24930:

These can be converted from proportional to absolute values by normalizing over

24061:{\displaystyle \operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}} 16234:

We can then write the parameter equations as follows, without any expectations:

17870: 17865: 17752: 17702: 13092:

Note that all of the above steps can be shortened by using the formula for the

8203:, i.e. that the posterior distribution factorizes into independent factors for 7140: 6821:

For mathematical convenience, in the following example we work in terms of the

5974: 5609: 4393: 2483: 2113: 405: 26264: 4930:

the above iterative scheme will become the so-called mean field approximation

26308: 17840: 26247:

The on-line textbook: Information Theory, Inference, and Learning Algorithms

6042:); sometimes expectations of squared variables (which can be related to the 337:

consisting of observed variables (usually termed "data") as well as unknown

389: 251: 670:

is restricted to belong to a family of distributions of simpler form than

26086: 18721:{\displaystyle \mathbf {Z} =\{\mathbf {z} _{1},\dots ,\mathbf {z} _{N}\}} 18611:{\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{N}\}} 6802:

Consider a simple non-hierarchical Bayesian model consisting of a set of

6063: 5073:

of the latent variables, i.e. for some partition of the latent variables

461:

inference, the posterior distribution over a set of unobserved variables

369: 25676:

This suggests an iterative procedure that alternates between two steps:

17346:{\displaystyle p(\mathbf {Z} ,{\boldsymbol {\Theta }}\mid \mathbf {X} )} 1062:

Variational techniques are typically used to form an approximation for:

629:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )\approx Q(\mathbf {Z} ).} 26270: 1392:{\displaystyle Q(\mathbf {Z} )\approx P(\mathbf {Z} \mid \mathbf {X} )} 26291:

by Tran, V.H. 2018. This paper is primarily written for students. Via

26057: 26032: 21863:{\displaystyle q(\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )} 21609:{\displaystyle r_{nk}={\frac {\rho _{nk}}{\sum _{j=1}^{K}\rho _{nj}}}} 17253: 6051: 6023: 1343:

is combinatorially large. Therefore, we seek an approximation, using

338: 5981:

over the latent variables and of expectations (and sometimes higher

16:

Mathematical methods used in Bayesian inference and machine learning

26288: 26134: 26013: 17791: 7429:{\displaystyle q(\mu ,\tau )=p(\mu ,\tau \mid x_{1},\ldots ,x_{N})} 6815: 6043: 5986: 3523:{\displaystyle \mathbf {Z} =\{\mathbf {Z_{1}} ,\mathbf {Z_{2}} \},} 322: 25970:: a variational filtering scheme for nonlinear state space models. 5240:(hence the name "variational Bayes") that the "best" distribution 2985:, of which KL-divergence is a special case, it can be shown that: 26289:

Copula Variational Bayes inference via information geometry (pdf)

26231:

Infinite Markov-Switching Maximum Entropy Discrimination Machines

17443:, write down the formula for the best approximating distribution 16806:

Note that there are circular dependencies among the formulas for

6734:

denote the Radon–Nikodym derivatives of the probability measures

6046:

of the variables), or expectations of higher powers (i.e. higher

26259:. Fox, C. and Roberts, S. 2012. Artificial Intelligence Review, 17357:

distributions over disjoint subsets of the unobserved variables.

17151:

along with the known values of the other parameters, to compute

17091:

along with the known values of the other parameters, to compute

17814:

However, there are a number of differences. Most important is

817:

and hence inference is performed by selecting the distribution

345:, with various sorts of relationships among the three types of 26253:

provides an introduction to variational methods (p. 422).

17802: 10473:), we can derive the parameters of the Gaussian distribution: 6058: 21360:

Requiring that this be normalized ends up requiring that the

42: 18487:). The state space is a "one-of-K" representation, i.e., a 17494:{\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )} 17201:, which is the case for most of the standard distributions. 8247:), and hence the result we obtain will be an approximation. 5694:{\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )} 23759:

Finally, notice that these functions require the values of

18930:

The joint probability of all variables can be rewritten as

18919: 17831: 17787: 17665:

can be ignored; they will be folded into the constant term.

6811: 6039: 5704:

In practice, we usually work in terms of logarithms, i.e.:

21820:

which is a standard result for categorical distributions.

19:

For the method of approximation in quantum mechanics, see

26277:

Variational Algorithms for Approximate Bayesian Inference

25952:: a modular algorithm for variational Bayesian inference. 18551:

The interpretation of the above variables is as follows:

17404:{\displaystyle \mathbf {Z} _{1},\ldots ,\mathbf {Z} _{M}} 14248:

Let us recap the conclusions from the previous sections:

14243: 1050:. (Using the KL-divergence in the other way produces the 321:

are a family of techniques for approximating intractable

10270:

and will have the same value regardless of the value of

5616:

of the data and latent variables, taken with respect to

17827:

of these parameters; no other information is available.

5973:

can usually be simplified into a function of the fixed

5847:

The constant in the above expression is related to the

5132:{\displaystyle \mathbf {Z} _{1}\dots \mathbf {Z} _{M}} 2842:

because it can also be expressed as a negative energy

25903: 25865: 25838: 25799: 25765: 25719: 25710:

using the current values of all the other parameters.

25686: 25642: 25606: 25573: 25546: 25517: 25490: 25461: 25432: 25405: 25375: 25342: 25315: 25293: 25260: 25227: 25198: 25160: 25133: 25104: 25075: 25048: 25019: 24990: 24963: 24936: 24701: 24077: 23927: 23870: 23825: 23795: 23765: 23011: 22808: 22772: 22743: 22503: 22432: 22372: 22307: 22263: 21970: 21876: 21829: 21764: 21726: 21696: 21667: 21625: 21536: 21419: 21396: 21366: 21252: 21205: 20908: 20511: 20403: 19783: 19121: 18939: 18883: 18842: 18820: 18798: 18764: 18734: 18670: 18644: 18624: 18560: 18515: 18493: 18436: 18395: 18375: 17926: 17674: 17642: 17507: 17449: 17420: 17367: 17312: 17286: 17261: 17236: 17157: 17127: 17097: 17067: 17037: 17005: 16978: 16922: 16874: 16839: 16812: 16243: 15288: 15258: 14896: 14581: 14257: 13938: 13890: 13481: 13437: 13108: 10482: 10459: 10428: 10408: 10360: 10319: 10299: 10276: 10256: 10202: 10182: 10155: 10128: 10108: 8274: 8229: 8209: 8147: 7895: 7607: 7499: 7462: 7442: 7354: 7291: 7271: 7248: 7228: 7201: 7148: 6898: 6871: 6851: 6780: 6760: 6740: 6691: 6642: 6622: 6513: 6382: 6337: 6295: 6271: 6245: 6219: 6199: 6170: 6128: 6086: 5995: 5900: 5894:

Using the properties of expectations, the expression

5857: 5713: 5649: 5622: 5535: 5308: 5278: 5246: 5148: 5101: 5079: 5044: 4936: 4842: 4818: 4768: 4741: 4728:{\displaystyle P(\mathbf {Z} _{2}\mid \mathbf {X} ),} 4692: 4646: 4601: 4556: 4524: 4495: 4406: 4367: 3965: 3539: 3475: 3286: 3188: 3161: 3005: 2936: 2916: 2848: 2807: 2767: 2734: 2695: 2675: 2642: 2622: 2602: 2582: 2549: 2529: 2492: 2283: 2129: 1955: 1921: 1908:{\displaystyle \sum _{\mathbf {Z} }Q(\mathbf {Z} )=1} 1872: 1850: 1819: 1508: 1419: 1349: 1327: 1296: 1274: 1071: 912: 854: 823: 788: 746: 715: 676: 645: 583: 547: 521: 467: 423:

Variational Bayes can be seen as an extension of the

26079:"AN IN DEPTH INTRODUCTION TO VARIATIONAL BAYES NOTE" 18389:, with the hyperparameter for each component set to 17197:

whenever the prior distributions are members of the

7338:{\displaystyle \mathbf {X} =\{x_{1},\ldots ,x_{N}\}} 4679:{\displaystyle P(\mathbf {Z} _{1}\mid \mathbf {X} )} 25930: 22257:Taking the exponential of both sides, we recognize 891:The most common type of variational Bayes uses the 26299:An in depth introduction to Variational Bayes note 25918: 25889: 25851: 25824: 25781: 25743:to compute new values of all the other parameters. 25735: 25702: 25664: 25628: 25592: 25559: 25532: 25503: 25476: 25447: 25418: 25391: 25358: 25328: 25301: 25279: 25243: 25213: 25184: 25146: 25119: 25090: 25061: 25034: 25005: 24976: 24942: 24919: 24681: 24060: 23913: 23856: 23811: 23781: 23748: 22991: 22787: 22758: 22726: 22483: 22412: 22352: 22287: 22246: 21950: 21862: 21809: 21744: 21712: 21682: 21649: 21608: 21516: 21402: 21382: 21349: 21235: 21188: 20888: 20491: 20386: 19763: 19101: 18910: 18869: 18826: 18806: 18782: 18750: 18720: 18650: 18630: 18610: 18531: 18499: 18452: 18408: 18381: 18350: 17689: 17657: 17621: 17493: 17435: 17403: 17345: 17294: 17269: 17244: 17170: 17143: 17110: 17083: 17050: 17021: 16991: 16964: 16908: 16852: 16825: 16795: 16223: 15271: 15241: 14875: 14561: 14232: 13917: 13873: 13464: 13412: 13081: 10465: 10441: 10414: 10387: 10346: 10305: 10293:The last line is simply a quadratic polynomial in 10282: 10262: 10242: 10188: 10176:refer to values that are constant with respect to 10168: 10141: 10114: 10091: 8235: 8215: 8195: 8125: 7875: 7587: 7471: 7448: 7428: 7337: 7277: 7254: 7234: 7214: 7187: 7128: 6877: 6857: 6786: 6766: 6746: 6726: 6677: 6628: 6616:almost surely with respect to probability measure 6605: 6493: 6365: 6323: 6277: 6257: 6231: 6205: 6182: 6156: 6114: 6010: 5965: 5875: 5836: 5693: 5635: 5600: 5518: 5291: 5264: 5225: 5131: 5087: 5061: 5022: 4922: 4828: 4801: 4754: 4727: 4678: 4632: 4587: 4542: 4510: 4478: 4384: 4350: 3945: 3522: 3461: 3269: 3171: 3144: 2955: 2922: 2898: 2826: 2790: 2753: 2720: 2681: 2661: 2628: 2608: 2588: 2568: 2535: 2515: 2469: 2263: 2101: 1938: 1907: 1858: 1836: 1802: 1491: 1391: 1335: 1313: 1282: 1257: 1027: 875: 840: 809: 771: 732: 701: 662: 628: 567: 529: 507: 26122:Communications in Statistics - Theory and Methods 1499:, the KL-divergence above can also be written as 508:{\displaystyle \mathbf {Z} =\{Z_{1}\dots Z_{n}\}} 26306: 26164: 25825:{\displaystyle p(\mathbf {Z} \mid \mathbf {X} )} 18911:{\displaystyle \mathbf {\Lambda } _{i=1\dots K}} 3215: 2721:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )} 772:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )} 702:{\displaystyle P(\mathbf {Z} \mid \mathbf {X} )} 26283:High-Level Explanation of Variational Inference 26165:Boyd, Stephen P.; Vandenberghe, Lieven (2004). 22413:{\displaystyle \alpha _{k}=\alpha _{0}+N_{k}\,} 18658:-dimensional vector distributed according to a 17778:over a set of unobserved variables (i.e. it is 5966:{\displaystyle \operatorname {E} _{q_{-j}^{*}}} 5601:{\displaystyle \operatorname {E} _{q_{-j}^{*}}} 4802:{\displaystyle D_{\mathrm {KL} }(Q\parallel P)} 25511:as well as an indirect circular dependence on 17807:Variational Bayes (VB) is often compared with 357:To provide an analytical approximation to the 25793:of the latent variables given the data, i.e. 22484:{\displaystyle N_{k}=\sum _{n=1}^{N}r_{nk}\,} 21199:Exponentiating both sides of the formula for 8196:{\displaystyle q(\mu ,\tau )=q(\mu )q(\tau )} 5851:(the denominator in the expression above for 299: 26026: 26024: 18870:{\displaystyle \mathbf {\mu } _{i=1\dots K}} 18715: 18679: 18605: 18569: 17720:parameters of variables in other partitions. 17230:, identifying the observed variables (data) 7332: 7300: 7061: 7029: 6485: 6435: 4550:we can iteratively compute the approximated 3514: 3484: 502: 476: 361:of the unobserved variables, in order to do 25665:{\displaystyle {\widetilde {\Lambda }}_{k}} 24950:so that the corresponding values sum to 1. 21810:{\displaystyle \operatorname {E} =r_{nk}\,} 18483:over a single observation (equivalent to a 17803:Compared with expectation–maximization (EM) 13884:Exponentiating both sides, we can see that 8136: 7188:{\displaystyle \mu _{0},\lambda _{0},a_{0}} 6190:. Assume that there is a common dominating 6059:A duality formula for variational inference 5033: 4836:is confined within independent space, i.e. 3179:is a convex set and the equality holds if: 2798:(since the KL-divergence is non-negative). 416:that are difficult to evaluate directly or 26115: 26113: 26111: 26002: 26000: 25998: 25996: 21870:, note that it automatically factors into 10243:{\displaystyle \operatorname {E} _{\tau }} 6324:{\displaystyle (\Theta ,{\mathcal {F}},P)} 6157:{\displaystyle (\Theta ,{\mathcal {F}},Q)} 6115:{\displaystyle (\Theta ,{\mathcal {F}},P)} 5069:is usually assumed to factorize over some 2981:By the generalized Pythagorean theorem of 447: 306: 292: 26133: 26056: 26021: 26012: 25890:{\displaystyle {\bar {\mathbf {x} }}_{k}} 25221:, and these statistics in turn depend on 25185:{\displaystyle {\bar {\mathbf {x} }}_{k}} 22737:Grouping and reading off terms involving 22480: 22409: 22349: 21806: 18926:) associated with each mixture component. 17897:outcomes. The squiggly line coming from 17860: 16965:{\displaystyle \sum _{n=1}^{N}x_{n}^{2}.} 6836: 5497: 4206: 3801: 2342: 2165: 1238: 408:—for taking a fully Bayesian approach to 26207:Pattern Recognition and Machine Learning 26072: 26070: 26068: 25789:in the E step correspond closely to the 25254:The update equations for the parameters 24957:The update equations for the parameters 17864: 17850:normal-scaled inverse gamma distribution 17734: 7481: 6062: 2987: 179:Integrated nested Laplace approximations 26108: 26030: 25993: 25755:(MAP) solution for the parameters of a 25629:{\displaystyle {\widetilde {\pi }}_{k}} 25120:{\displaystyle \mathbf {\Lambda } _{k}} 22788:{\displaystyle \mathbf {\Lambda } _{k}} 21236:{\displaystyle \ln q^{*}(\mathbf {Z} )} 17270:{\displaystyle {\boldsymbol {\Theta }}} 6727:{\displaystyle q(\theta )=dQ/d\lambda } 6678:{\displaystyle p(\theta )=dP/d\lambda } 4633:{\displaystyle q^{*}(\mathbf {Z} _{2})} 4588:{\displaystyle q^{*}(\mathbf {Z} _{1})} 1402: 26307: 26201: 26076: 22288:{\displaystyle q^{*}(\mathbf {\pi } )} 18464:, which is the conjugate prior of the 17869:Bayesian Gaussian mixture model using 17786:of the unobserved variables, e.g. the 17209: 14244:Algorithm for computing the parameters 3956:in which the normalizing constant is: 2899:{\displaystyle \operatorname {E} _{Q}} 2112:which, according to the definition of 333:. They are typically used in complex 21:Variational method (quantum mechanics) 26195: 26065: 25713:An M-step that uses the new value of 25680:An E-step that computes the value of 18416:. The Dirichlet distribution is the 17304:conditional probability distributions 17204: 13423: 8250: 7490:of all variables can be rewritten as 26006: 25832:; the computation of the statistics 25399:has a direct circular dependence on 23819:, which is defined in turn based on 16909:{\displaystyle \sum _{n=1}^{N}x_{n}} 13918:{\displaystyle q_{\tau }^{*}(\tau )} 13465:{\displaystyle q_{\tau }^{*}(\tau )} 6373:. Then the following equality holds 4385:{\displaystyle \zeta (\mathbf {X} )} 2992:Generalized Pythagorean theorem for 2791:{\displaystyle \log P(\mathbf {X} )} 2516:{\displaystyle \log P(\mathbf {X} )} 26119: 25091:{\displaystyle \mathbf {\mu } _{k}} 22759:{\displaystyle \mathbf {\mu } _{k}} 21661:, and factors over each individual 21657:is a product of single-observation 21650:{\displaystyle q^{*}(\mathbf {Z} )} 3280:In this case, the global minimizer 13: 25962:Expectation–maximization algorithm 25647: 25593:{\displaystyle \alpha _{1\dots K}} 25280:{\displaystyle \alpha _{1\dots K}} 24861: 24741: 24564: 24376: 24354: 24289: 24158: 24083: 24004: 23929: 23914:{\displaystyle \operatorname {E} } 23871: 23857:{\displaystyle \operatorname {E} } 23826: 23736: 23375: 22938: 22857: 22655: 22622: 22033: 21765: 21132: 21057: 20972: 20931: 20710: 20658: 20551: 20312: 20001: 19950: 19790: 19706: 19579: 19445: 19421: 19215: 18814:is the mixing proportions for the 18660:multivariate Gaussian distribution 18545:multivariate Gaussian distribution 18518: 18474:multivariate Gaussian distribution 18439: 18242: 18081: 18008: 17559: 15846: 15747: 15482: 15334: 15132: 15103: 15051: 14977: 14901: 14755: 14470: 14295: 14112: 13745: 13524: 13321: 13146: 12940: 12721: 12421: 12025: 11821: 11605: 11433: 11184: 10897: 10690: 10531: 10388:{\displaystyle q_{\mu }^{*}(\mu )} 10347:{\displaystyle q_{\mu }^{*}(\mu )} 10313:. Since this is the logarithm of 10204: 9943: 9837: 9746: 9641: 9554: 9474: 9383: 9224: 9083: 8941: 8820: 8728: 8703: 8647: 8601: 8544: 8494: 8436: 8317: 8062: 7902: 7742: 7668: 7073: 6972: 6845:distributions on the unknown mean 6797: 6307: 6299: 6140: 6132: 6098: 6090: 6028:expectation–maximization algorithm 5902: 5765: 5537: 5434: 5361: 4821: 4778: 4775: 4452: 4068: 4065: 3659: 3656: 3243: 3240: 3227: 3164: 3137: 3119: 3088: 3085: 3048: 3045: 3015: 3012: 2939: 2850: 2810: 2737: 2645: 2552: 2453: 2427: 2424: 2316: 2313: 2274:which can be rearranged to become 2139: 2136: 1965: 1962: 1518: 1515: 1048:expectation–maximization algorithm 922: 919: 14: 26326: 26240: 20377:dimensionality of each data point 19112:where the individual factors are 17901:ending in a crossbar indicates a 17798:iterative procedure much like EM. 7598:where the individual factors are 4543:{\displaystyle \mathbf {Z} _{2},} 2956:{\displaystyle {\mathcal {L}}(Q)} 2827:{\displaystyle {\mathcal {L}}(Q)} 2754:{\displaystyle {\mathcal {L}}(Q)} 2662:{\displaystyle {\mathcal {L}}(Q)} 2569:{\displaystyle {\mathcal {L}}(Q)} 1057: 380:) of the observed data (i.e. the 25931:Exponential-family distributions 25919:{\displaystyle \mathbf {S} _{k}} 25906: 25871: 25815: 25807: 25533:{\displaystyle \mathbf {W} _{k}} 25520: 25477:{\displaystyle \mathbf {W} _{k}} 25464: 25448:{\displaystyle \mathbf {m} _{k}} 25435: 25214:{\displaystyle \mathbf {S} _{k}} 25201: 25166: 25107: 25035:{\displaystyle \mathbf {W} _{k}} 25022: 25006:{\displaystyle \mathbf {m} _{k}} 24993: 24899: 24884: 24869: 24845: 24830: 24513: 24398: 24327: 24312: 24297: 24273: 24258: 24181: 24166: 24127: 24104: 24027: 24012: 23973: 23950: 23893: 23714: 23696: 23672: 23654: 23581: 23565: 23489: 23338: 23296: 23224: 23191: 23164: 23139: 23062: 22963: 22948: 22910: 22882: 22839: 22775: 22695: 22665: 22585: 22540: 22063: 22038: 21935: 21853: 21683:{\displaystyle \mathbf {z} _{n}} 21670: 21640: 21434: 21267: 21226: 21155: 21140: 21101: 21078: 20994: 20772: 20756: 20748: 20723: 20688: 20629: 20605: 20597: 20572: 20536: 20482: 20452: 20435: 20411: 20204: 20178: 20155: 20141: 20064: 20045: 20018: 20010: 19975: 19958: 19932: 19877: 19815: 19799: 19731: 19716: 19669: 19632: 19542: 19304: 19255: 19225: 19157: 19141: 19133: 19092: 19078: 19034: 19020: 19004: 18996: 18979: 18955: 18947: 18886: 18705: 18684: 18672: 18638:data points, each of which is a 18595: 18574: 18562: 18543:, in this case specifically the 18532:{\displaystyle {\mathcal {N}}()} 18453:{\displaystyle {\mathcal {W}}()} 18276: 18211: 18150: 18119: 18018: 17977: 17690:{\displaystyle \mathbf {Z} _{j}} 17677: 17658:{\displaystyle \mathbf {Z} _{j}} 17645: 17601: 17593: 17548: 17534: 17484: 17470: 17436:{\displaystyle \mathbf {Z} _{j}} 17423: 17391: 17370: 17336: 17328: 17320: 17288: 17263: 17238: 13552: 8466: 8347: 7619: 7536: 7507: 7293: 6011:{\displaystyle \mathbf {Z} _{j}} 5998: 5953: 5945: 5816: 5808: 5754: 5740: 5684: 5670: 5588: 5580: 5503: 5485: 5477: 5412: 5404: 5343: 5329: 5216: 5202: 5156: 5119: 5104: 5081: 5052: 5004: 4976: 4951: 4908: 4904: 4873: 4858: 4715: 4701: 4669: 4655: 4617: 4572: 4527: 4511:{\displaystyle \mathbf {Z} _{1}} 4498: 4431: 4414: 4375: 4324: 4309: 4285: 4277: 4241: 4226: 4186: 4160: 4146: 4131: 4107: 4092: 4041: 4027: 4004: 3990: 3973: 3919: 3904: 3880: 3872: 3836: 3821: 3783: 3751: 3737: 3722: 3698: 3683: 3632: 3618: 3597: 3581: 3555: 3508: 3504: 3493: 3489: 3477: 3443: 3415: 3400: 3369: 3341: 3326: 3301: 2886: 2878: 2781: 2711: 2703: 2506: 2403: 2395: 2372: 2348: 2297: 2254: 2226: 2218: 2195: 2171: 2092: 2064: 2056: 2033: 2008: 1995: 1929: 1892: 1879: 1852: 1827: 1788: 1763: 1750: 1729: 1721: 1698: 1673: 1660: 1639: 1613: 1605: 1589: 1561: 1548: 1479: 1463: 1455: 1435: 1427: 1382: 1374: 1357: 1329: 1304: 1276: 1244: 1227: 1218: 1205: 1190: 1176: 1168: 1145: 1129: 1115: 1107: 1087: 1079: 1012: 1004: 988: 965: 952: 886: 831: 762: 754: 723: 692: 684: 653: 616: 599: 591: 568:{\displaystyle Q(\mathbf {Z} ):} 555: 523: 469: 273: 189:Approximate Bayesian computation 41: 26257:A Tutorial on Variational Bayes 25302:{\displaystyle \mathbf {\pi } } 18807:{\displaystyle \mathbf {\pi } } 5062:{\displaystyle Q(\mathbf {Z} )} 2576:minimizes the KL divergence of 1939:{\displaystyle Q(\mathbf {Z} )} 1837:{\displaystyle P(\mathbf {X} )} 1314:{\displaystyle P(\mathbf {X} )} 841:{\displaystyle Q(\mathbf {Z} )} 740:similar to the true posterior, 733:{\displaystyle Q(\mathbf {Z} )} 663:{\displaystyle Q(\mathbf {Z} )} 537:is approximated by a so-called 215:Maximum a posteriori estimation 26223: 26174:. Cambridge University Press. 26158: 26077:Nguyen, Duy (15 August 2023). 25980:Maximum entropy discrimination 25875: 25819: 25803: 25170: 24909: 24879: 24856: 24825: 24625: 24612: 24597: 24582: 24524: 24507: 24413: 24409: 24392: 24382: 24337: 24307: 24284: 24253: 24209: 24206: 24176: 24153: 24122: 24119: 24055: 24052: 24022: 23999: 23968: 23965: 23908: 23904: 23887: 23877: 23851: 23832: 23731: 23718: 23691: 23688: 23676: 23649: 23493: 23370: 23342: 23330: 23327: 23300: 23288: 23155: 23143: 23096: 22986: 22943: 22933: 22921: 22895: 22862: 22849: 22819: 22713: 22660: 22644: 22628: 22595: 22565: 22550: 22520: 22346: 22338: 22326: 22318: 22282: 22274: 22118: 22099: 22078: 22075: 22059: 22047: 22026: 22018: 21999: 21991: 21945: 21915: 21888: 21880: 21857: 21833: 21787: 21771: 21644: 21636: 21438: 21430: 21271: 21263: 21230: 21222: 21183: 21180: 21150: 21127: 21096: 21093: 21040: 21031: 21009: 21005: 20988: 20978: 20956: 20937: 20779: 20776: 20744: 20732: 20703: 20700: 20684: 20672: 20636: 20633: 20593: 20581: 20540: 20532: 20486: 20462: 20456: 20448: 20439: 20407: 20278: 20266: 20210: 20199: 20188: 20174: 20159: 20136: 20093: 20075: 20070: 20059: 20055: 20041: 20028: 20006: 19987: 19971: 19945: 19928: 19883: 19872: 19845: 19835: 19819: 19795: 19754: 19711: 19673: 19665: 19655: 19643: 19617: 19584: 19546: 19530: 19462: 19448: 19440: 19424: 19408: 19400: 19316: 19300: 19274: 19220: 19161: 19129: 19096: 19088: 19082: 19066: 19060: 19052: 19046: 19030: 19024: 18992: 18983: 18943: 18526: 18523: 18447: 18444: 18303: 18247: 18202: 18188: 18172: 18154: 18142: 18130: 18104: 18086: 18041: 18013: 17968: 17949: 17771:, highest density region, etc. 17634:joint probability distribution 17608: 17605: 17589: 17577: 17552: 17529: 17488: 17465: 17340: 17316: 16860:. This naturally suggests an 16578: 16559: 16404: 16367: 16348: 16300: 16006: 15987: 15864: 15858: 15772: 15759: 15743: 15724: 15518: 15499: 15434: 15414: 15392: 15372: 15119: 15115: 15109: 15100: 15094: 15088: 14939: 14907: 14855: 14835: 14813: 14793: 14655: 14623: 14607: 14601: 14501: 14488: 14482: 14466: 14447: 14399: 14340: 14300: 14283: 14277: 14212: 14192: 14170: 14150: 14012: 13980: 13964: 13958: 13912: 13906: 13845: 13825: 13803: 13783: 13659: 13640: 13619: 13613: 13598: 13595: 13583: 13568: 13548: 13536: 13513: 13507: 13459: 13453: 13352: 13339: 13333: 13317: 13298: 13250: 13191: 13151: 13134: 13128: 12958: 12952: 12936: 12917: 12772: 12753: 12739: 12733: 12472: 12453: 12439: 12433: 12076: 12057: 12043: 12037: 11872: 11853: 11839: 11833: 11780: 11761: 11656: 11637: 11623: 11617: 11484: 11465: 11451: 11445: 11235: 11216: 11202: 11196: 10915: 10909: 10859: 10809: 10793: 10743: 10708: 10702: 10646: 10626: 10604: 10584: 10549: 10543: 10514: 10508: 10382: 10376: 10341: 10335: 10237: 10234: 10228: 10216: 10058: 10038: 10016: 9996: 9961: 9955: 9880: 9860: 9810: 9790: 9714: 9668: 9629: 9602: 9517: 9497: 9447: 9427: 9326: 9306: 9297: 9251: 9192: 9172: 9163: 9136: 9024: 9004: 8912: 8892: 8774: 8757: 8576: 8570: 8532: 8520: 8482: 8462: 8411: 8405: 8390: 8378: 8363: 8343: 8306: 8300: 8190: 8184: 8178: 8172: 8163: 8151: 8071: 8065: 8046: 8028: 7990: 7977: 7932: 7907: 7866: 7834: 7818: 7812: 7788: 7771: 7730: 7718: 7708: 7673: 7635: 7615: 7582: 7576: 7570: 7558: 7552: 7532: 7523: 7503: 7423: 7379: 7370: 7358: 7100: 7078: 7022: 7010: 6993: 6977: 6956: 6945: 6919: 6701: 6695: 6652: 6646: 6594: 6582: 6567: 6561: 6540: 6534: 6526: 6520: 6482: 6470: 6454: 6448: 6411: 6399: 6360: 6354: 6318: 6296: 6151: 6129: 6109: 6087: 5960: 5957: 5941: 5929: 5823: 5820: 5804: 5792: 5758: 5735: 5688: 5665: 5595: 5592: 5576: 5564: 5492: 5489: 5473: 5461: 5419: 5416: 5400: 5388: 5347: 5324: 5220: 5197: 5160: 5152: 5056: 5048: 5014: 4999: 4986: 4971: 4955: 4947: 4914: 4899: 4883: 4853: 4829:{\displaystyle {\mathcal {C}}} 4796: 4784: 4719: 4696: 4673: 4650: 4640:of the true model's marginals 4627: 4612: 4582: 4567: 4489:By interchanging the roles of 4473: 4470: 4457: 4447: 4435: 4427: 4418: 4410: 4379: 4371: 4334: 4304: 4289: 4273: 4251: 4221: 4170: 4167: 4164: 4126: 4117: 4087: 4074: 4056: 4045: 4022: 3994: 3986: 3977: 3969: 3929: 3899: 3884: 3868: 3846: 3816: 3787: 3779: 3761: 3758: 3755: 3717: 3708: 3678: 3665: 3647: 3636: 3613: 3601: 3593: 3585: 3577: 3565: 3550: 3453: 3438: 3425: 3395: 3379: 3364: 3351: 3321: 3305: 3297: 3261: 3249: 3172:{\displaystyle {\mathcal {C}}} 3113: 3094: 3073: 3054: 3033: 3021: 2950: 2944: 2893: 2890: 2874: 2862: 2821: 2815: 2785: 2777: 2748: 2742: 2715: 2699: 2656: 2650: 2563: 2557: 2510: 2502: 2464: 2458: 2445: 2433: 2407: 2391: 2376: 2368: 2334: 2322: 2301: 2293: 2258: 2250: 2230: 2214: 2199: 2191: 2157: 2145: 2096: 2088: 2068: 2052: 2037: 2029: 2012: 2004: 1983: 1971: 1933: 1925: 1896: 1888: 1844:is a constant with respect to 1831: 1823: 1792: 1784: 1767: 1759: 1733: 1717: 1702: 1694: 1677: 1669: 1643: 1635: 1617: 1601: 1593: 1585: 1565: 1557: 1536: 1524: 1483: 1475: 1467: 1451: 1439: 1423: 1386: 1370: 1361: 1353: 1308: 1300: 1235: 1214: 1194: 1186: 1180: 1164: 1149: 1141: 1133: 1125: 1119: 1103: 1091: 1075: 1016: 1000: 992: 984: 969: 961: 940: 928: 870: 858: 835: 827: 804: 792: 766: 750: 727: 719: 696: 680: 657: 649: 620: 612: 603: 587: 559: 551: 1: 26144:10.1080/03610926.2021.1921214 25986: 22797:Gaussian-Wishart distribution 17084:{\displaystyle \lambda _{N},} 7345:and our goal is to infer the 6366:{\displaystyle h\in L_{1}(P)} 6258:{\displaystyle Q\ll \lambda } 6232:{\displaystyle P\ll \lambda } 6026:algorithm, much like EM (the 5038:The variational distribution 4762:is only a local minimizer of 2120:), can be written as follows 349:, as might be described by a 26271:Variational-Bayes Repository 21823:Now, considering the factor 21390:sum to 1 over all values of 17710:probability density function 17632:Fill in the formula for the 17295:{\displaystyle \mathbf {Z} } 17245:{\displaystyle \mathbf {X} } 17226:Describe the network with a 17171:{\displaystyle \lambda _{N}} 17051:{\displaystyle \lambda _{N}} 16972:Use these values to compute 16826:{\displaystyle \lambda _{N}} 5088:{\displaystyle \mathbf {Z} } 2543:, maximizing the final term 1859:{\displaystyle \mathbf {Z} } 1336:{\displaystyle \mathbf {Z} } 1283:{\displaystyle \mathbf {Z} } 530:{\displaystyle \mathbf {X} } 319:Variational Bayesian methods 122:Principle of maximum entropy 7: 25950:Variational message passing 25943: 25336:, which depends in turn on 18409:{\displaystyle \alpha _{0}} 18322:number of mixing components 17823:estimates computed are the 8245:Gaussian-gamma distribution 6074: 2834:is known as the (negative) 2616:. By appropriate choice of 1946:is a distribution, we have 893:Kullback–Leibler divergence 92:Bernstein–von Mises theorem 10: 26331: 25419:{\displaystyle \beta _{k}} 24977:{\displaystyle \beta _{k}} 23812:{\displaystyle \rho _{nk}} 21755:Furthermore, we note that 21745:{\displaystyle k=1\dots K} 21383:{\displaystyle \rho _{nk}} 18783:{\displaystyle k=1\dots K} 18365:SymDir() is the symmetric 17877:; means a matrix of size 17697:(e.g. first or second raw 17252:and unobserved variables ( 5236:It can be shown using the 1406: 452: 18: 26265:10.1007/s10462-011-9236-8 25127:depend on the statistics 21659:multinomial distributions 17909:array of possible values. 17780:conditionally independent 17501:using the basic equation 17121:Use the current value of 17061:Use the current value of 10102:In the above derivation, 6831:one-to-one correspondence 5876:{\displaystyle q_{j}^{*}} 5265:{\displaystyle q_{j}^{*}} 4812:If the constrained space 3530:can be found as follows: 2976: 2840:thermodynamic free energy 2523:is fixed with respect to 1268:The marginalization over 117:Principle of indifference 26031:Adamčík, Martin (2014). 25759:. The responsibilities 25560:{\displaystyle \nu _{k}} 25504:{\displaystyle \nu _{k}} 25369:The update equation for 25309:depend on the statistic 25062:{\displaystyle \nu _{k}} 18918:specify the parameters ( 18485:categorical distribution 18481:multinomial distribution 18426:multinomial distribution 18422:categorical distribution 17809:expectation–maximization 17757:expectation–maximization 17728:expectation–maximization 17058:to some arbitrary value. 16992:{\displaystyle \mu _{N}} 10442:{\displaystyle \mu ^{2}} 8137:Factorized approximation 6787:{\displaystyle \lambda } 6206:{\displaystyle \lambda } 5612:of the logarithm of the 5272:for each of the factors 5034:Mean field approximation 539:variational distribution 425:expectation–maximization 402:Markov chain Monte Carlo 169:Markov chain Monte Carlo 25956:Variational autoencoder 25791:posterior probabilities 6285:denote any real-valued 2836:variational free energy 1052:expectation propagation 448:Mathematical derivation 174:Laplace's approximation 161:Posterior approximation 26229:Sotirios P. Chatzis, “ 26205:(2006). "Chapter 10". 26203:Bishop, Christopher M. 25974:Calculus of variations 25920: 25891: 25853: 25826: 25783: 25782:{\displaystyle r_{nk}} 25757:Gaussian mixture model 25737: 25736:{\displaystyle r_{nk}} 25704: 25703:{\displaystyle r_{nk}} 25666: 25630: 25594: 25561: 25534: 25505: 25478: 25449: 25420: 25393: 25392:{\displaystyle r_{nk}} 25360: 25359:{\displaystyle r_{nk}} 25330: 25303: 25281: 25245: 25244:{\displaystyle r_{nk}} 25215: 25186: 25148: 25121: 25092: 25063: 25036: 25007: 24978: 24944: 24921: 24692:These results lead to 24683: 24659: 24439: 24062: 23915: 23858: 23813: 23783: 23782:{\displaystyle r_{nk}} 23750: 23635: 23549: 23466: 23002:given the definitions 22993: 22789: 22760: 22728: 22621: 22485: 22466: 22414: 22354: 22297:Dirichlet distribution 22289: 22248: 22202: 22181: 22141: 21952: 21911: 21864: 21811: 21746: 21714: 21713:{\displaystyle r_{nk}} 21684: 21651: 21610: 21589: 21518: 21485: 21464: 21404: 21384: 21351: 21318: 21297: 21237: 21190: 20899:where we have defined 20890: 20841: 20820: 20493: 20388: 20311: 19765: 19703: 19576: 19494: 19367: 19346: 19212: 19191: 19103: 18912: 18871: 18828: 18808: 18784: 18752: 18751:{\displaystyle z_{nk}} 18722: 18652: 18632: 18612: 18533: 18501: 18454: 18410: 18383: 18367:Dirichlet distribution 18352: 17917:described as follows: 17915:Gaussian mixture model 17910: 17861:A more complex example 17714:normalization constant 17691: 17659: 17623: 17495: 17437: 17414:For a given partition 17405: 17347: 17296: 17271: 17246: 17172: 17145: 17144:{\displaystyle b_{N},} 17112: 17085: 17052: 17023: 17022:{\displaystyle a_{N}.} 16993: 16966: 16943: 16910: 16895: 16854: 16827: 16797: 16735: 16681: 16447: 16225: 16163: 16109: 15895: 15829: 15632: 15585: 15371: 15273: 15243: 14877: 14792: 14563: 14544: 14234: 14149: 13919: 13875: 13782: 13466: 13414: 13395: 13083: 13019: 12833: 12639: 12546: 12339: 12243: 12150: 11946: 11725: 11551: 11349: 11302: 11053: 11006: 10954: 10742: 10583: 10467: 10443: 10416: 10389: 10348: 10307: 10284: 10264: 10244: 10196:. Note that the term 10190: 10170: 10143: 10116: 10093: 9995: 9783: 9591: 9420: 9120: 8863: 8644: 8237: 8217: 8197: 8127: 7877: 7665: 7589: 7473: 7472:{\displaystyle \tau .} 7450: 7430: 7347:posterior distribution 7339: 7279: 7256: 7236: 7216: 7189: 7130: 6879: 6859: 6837:The mathematical model 6788: 6768: 6748: 6728: 6679: 6630: 6607: 6495: 6367: 6325: 6279: 6259: 6233: 6207: 6184: 6183:{\displaystyle Q\ll P} 6158: 6116: 6068: 6012: 5967: 5877: 5838: 5695: 5637: 5602: 5520: 5293: 5266: 5238:calculus of variations 5227: 5186: 5133: 5089: 5063: 5024: 4924: 4830: 4803: 4756: 4729: 4680: 4634: 4589: 4544: 4512: 4480: 4386: 4352: 3947: 3524: 3463: 3271: 3173: 3146: 2996: 2957: 2924: 2900: 2828: 2792: 2755: 2722: 2683: 2663: 2630: 2610: 2590: 2570: 2537: 2517: 2471: 2265: 2103: 1940: 1909: 1860: 1838: 1804: 1493: 1393: 1337: 1315: 1284: 1259: 1029: 877: 876:{\displaystyle d(Q;P)} 842: 811: 810:{\displaystyle d(Q;P)} 773: 734: 703: 664: 630: 569: 531: 509: 437:posterior distribution 400:methods—particularly, 376:(sometimes called the 280:Mathematics portal 223:Evidence approximation 25968:Generalized filtering 25921: 25892: 25854: 25852:{\displaystyle N_{k}} 25827: 25784: 25738: 25705: 25667: 25631: 25595: 25562: 25535: 25506: 25479: 25450: 25421: 25394: 25361: 25331: 25329:{\displaystyle N_{k}} 25304: 25282: 25246: 25216: 25187: 25149: 25147:{\displaystyle N_{k}} 25122: 25093: 25064: 25037: 25008: 24979: 24945: 24922: 24684: 24639: 24419: 24063: 23916: 23859: 23814: 23784: 23751: 23615: 23529: 23446: 22994: 22790: 22761: 22729: 22601: 22486: 22446: 22415: 22355: 22290: 22249: 22182: 22161: 22121: 21953: 21891: 21865: 21812: 21747: 21715: 21685: 21652: 21611: 21569: 21519: 21465: 21444: 21405: 21385: 21352: 21298: 21277: 21238: 21191: 20891: 20821: 20800: 20494: 20389: 20291: 19766: 19683: 19556: 19474: 19347: 19326: 19192: 19171: 19104: 18913: 18872: 18829: 18809: 18790:, as described above. 18785: 18753: 18723: 18653: 18633: 18613: 18541:Gaussian distribution 18534: 18502: 18455: 18411: 18384: 18353: 18341:number of data points 17868: 17745:posterior probability 17735:Most important points 17692: 17660: 17624: 17496: 17438: 17406: 17348: 17297: 17272: 17247: 17216:posterior probability 17173: 17146: 17113: 17111:{\displaystyle b_{N}} 17086: 17053: 17024: 16994: 16967: 16923: 16911: 16875: 16855: 16853:{\displaystyle b_{N}} 16828: 16798: 16715: 16661: 16427: 16226: 16143: 16089: 15875: 15809: 15612: 15565: 15351: 15274: 15272:{\displaystyle b_{N}} 15244: 14878: 14772: 14564: 14524: 14235: 14129: 13920: 13876: 13762: 13467: 13415: 13375: 13094:sum of two quadratics 13084: 12999: 12813: 12619: 12526: 12319: 12223: 12130: 11926: 11705: 11531: 11329: 11282: 11033: 10986: 10934: 10722: 10563: 10468: 10451:completing the square 10444: 10417: 10397:Gaussian distribution 10390: 10349: 10308: 10285: 10265: 10250:is not a function of 10245: 10191: 10171: 10169:{\displaystyle C_{3}} 10144: 10142:{\displaystyle C_{2}} 10117: 10094: 9975: 9763: 9571: 9400: 9100: 8843: 8624: 8238: 8236:{\displaystyle \tau } 8218: 8198: 8128: 7878: 7645: 7590: 7482:The joint probability 7474: 7451: 7431: 7340: 7280: 7257: 7255:{\displaystyle \tau } 7237: 7217: 7215:{\displaystyle b_{0}} 7190: 7131: 7119:number of data points 6880: 6878:{\displaystyle \tau } 6860: 6808:Gaussian distribution 6789: 6769: 6749: 6729: 6680: 6631: 6608: 6496: 6368: 6326: 6280: 6260: 6234: 6208: 6185: 6159: 6117: 6066: 6020:circular dependencies 6013: 5968: 5878: 5839: 5696: 5638: 5636:{\displaystyle q^{*}} 5603: 5521: 5294: 5292:{\displaystyle q_{j}} 5267: 5228: 5166: 5134: 5090: 5064: 5025: 4925: 4831: 4804: 4757: 4755:{\displaystyle Q^{*}} 4730: 4681: 4635: 4590: 4545: 4513: 4481: 4400:) in practice, since 4387: 4353: 3948: 3525: 3464: 3272: 3174: 3147: 2991: 2958: 2925: 2901: 2829: 2793: 2761:for the log-evidence 2756: 2723: 2684: 2664: 2631: 2611: 2591: 2571: 2538: 2518: 2472: 2266: 2104: 1941: 1910: 1861: 1839: 1805: 1494: 1394: 1338: 1316: 1285: 1260: 1030: 878: 843: 812: 774: 735: 704: 665: 631: 570: 532: 510: 410:statistical inference 365:over these variables. 363:statistical inference 359:posterior probability 184:Variational inference 26087:10.2139/ssrn.4541076 25901: 25863: 25836: 25797: 25763: 25753:maximum a posteriori 25717: 25684: 25640: 25604: 25571: 25544: 25515: 25488: 25459: 25430: 25403: 25373: 25340: 25313: 25291: 25258: 25225: 25196: 25158: 25131: 25102: 25073: 25046: 25017: 24988: 24961: 24934: 24699: 24075: 23925: 23868: 23823: 23793: 23789:, which make use of 23763: 23009: 22806: 22770: 22741: 22501: 22430: 22370: 22305: 22261: 21968: 21874: 21827: 21762: 21724: 21694: 21665: 21623: 21534: 21417: 21394: 21364: 21250: 21203: 20906: 20509: 20401: 19781: 19119: 18937: 18881: 18840: 18818: 18796: 18762: 18732: 18668: 18642: 18622: 18558: 18513: 18491: 18462:Wishart distribution 18434: 18393: 18373: 17924: 17891:categorical variable 17672: 17640: 17505: 17447: 17418: 17365: 17310: 17284: 17259: 17234: 17155: 17125: 17095: 17065: 17035: 17003: 16976: 16920: 16872: 16837: 16810: 16241: 15286: 15256: 14894: 14579: 14255: 13936: 13888: 13479: 13435: 13106: 10480: 10466:{\displaystyle \mu } 10457: 10426: 10415:{\displaystyle \mu } 10406: 10358: 10317: 10306:{\displaystyle \mu } 10297: 10283:{\displaystyle \mu } 10274: 10263:{\displaystyle \mu } 10254: 10200: 10189:{\displaystyle \mu } 10180: 10153: 10126: 10106: 8272: 8227: 8216:{\displaystyle \mu } 8207: 8145: 7893: 7605: 7497: 7460: 7449:{\displaystyle \mu } 7440: 7352: 7289: 7269: 7246: 7235:{\displaystyle \mu } 7226: 7199: 7146: 6896: 6869: 6858:{\displaystyle \mu } 6849: 6806:observations from a 6778: 6758: 6738: 6689: 6640: 6620: 6511: 6380: 6335: 6293: 6269: 6243: 6217: 6197: 6168: 6126: 6084: 5993: 5898: 5855: 5849:normalizing constant 5711: 5647: 5620: 5533: 5306: 5276: 5244: 5146: 5099: 5077: 5042: 4934: 4840: 4816: 4766: 4739: 4690: 4644: 4599: 4554: 4522: 4493: 4404: 4392:is often called the 4365: 3963: 3537: 3473: 3284: 3186: 3159: 3003: 2965:Evidence Lower Bound 2934: 2914: 2846: 2805: 2765: 2732: 2728:, and a lower bound 2693: 2673: 2640: 2620: 2600: 2580: 2547: 2527: 2490: 2281: 2127: 1953: 1919: 1870: 1848: 1817: 1506: 1417: 1409:Evidence lower bound 1403:Evidence lower bound 1347: 1325: 1294: 1272: 1069: 910: 852: 821: 786: 744: 713: 674: 643: 581: 545: 519: 465: 433:maximum a posteriori 427:(EM) algorithm from 398:Monte Carlo sampling 382:marginal probability 262:Posterior predictive 231:Evidence lower bound 112:Likelihood principle 82:Bayesian probability 26315:Bayesian statistics 26168:Convex Optimization 26049:2014Entrp..16.6338A 24768: 24239: 23208: 23181: 22712: 21513: 21346: 19522: 19392: 19272: 18834:mixture components. 17913:Imagine a Bayesian 17818:is being computed. 17528: 17464: 17218:density in a given 17210:Step-by-step recipe 17186:probability), etc. 16958: 16783: 16750: 16621: 16603: 16211: 16178: 16049: 16031: 15943: 15910: 15680: 15647: 15234: 15216: 15186: 15024: 14600: 14339: 14276: 13957: 13905: 13506: 13452: 13190: 13127: 11397: 11364: 11148: 10969: 10858: 10760: 10507: 10375: 10334: 8299: 6889:. In other words: 6192:probability measure 5979:prior distributions 5923: 5872: 5786: 5734: 5664: 5558: 5455: 5382: 5323: 5261: 895:(KL-divergence) of 374:marginal likelihood 35:Bayesian statistics 29:Part of a series on 26301:. Nguyen, D. 2023 26293:Bregman divergence 25938:exponential family 25916: 25887: 25849: 25822: 25779: 25749:maximum likelihood 25733: 25700: 25662: 25626: 25590: 25557: 25530: 25501: 25474: 25445: 25416: 25389: 25356: 25326: 25299: 25277: 25241: 25211: 25182: 25144: 25117: 25088: 25059: 25032: 25003: 24974: 24940: 24917: 24737: 24679: 24677: 24222: 24058: 23911: 23854: 23809: 23779: 23746: 23744: 23189: 23162: 22989: 22795:, the result is a 22785: 22756: 22724: 22693: 22481: 22410: 22350: 22285: 22244: 22242: 21948: 21860: 21807: 21742: 21710: 21680: 21647: 21606: 21514: 21486: 21400: 21380: 21347: 21319: 21233: 21186: 20886: 20884: 20489: 20384: 20382: 19761: 19759: 19495: 19368: 19253: 19099: 18908: 18867: 18824: 18804: 18780: 18748: 18718: 18648: 18628: 18608: 18529: 18497: 18450: 18406: 18379: 18348: 18346: 17911: 17846:prior distribution 17761:maximum likelihood 17749:Bayesian inference 17687: 17655: 17619: 17514: 17491: 17450: 17433: 17401: 17343: 17292: 17267: 17242: 17205:Further discussion 17199:exponential family 17168: 17141: 17108: 17081: 17048: 17019: 16989: 16962: 16944: 16906: 16850: 16823: 16793: 16791: 16769: 16736: 16607: 16586: 16221: 16219: 16197: 16164: 16035: 16014: 15929: 15896: 15666: 15633: 15269: 15239: 15237: 15220: 15199: 15169: 15007: 14873: 14871: 14586: 14559: 14557: 14322: 14262: 14230: 14228: 13943: 13927:gamma distribution 13915: 13891: 13871: 13869: 13492: 13462: 13438: 13431:The derivation of 13410: 13408: 13173: 13113: 13079: 13077: 11383: 11350: 11134: 10955: 10844: 10746: 10493: 10463: 10439: 10412: 10385: 10361: 10354:, we can see that 10344: 10320: 10303: 10280: 10260: 10240: 10186: 10166: 10139: 10112: 10089: 10087: 8285: 8233: 8213: 8193: 8123: 8121: 7873: 7871: 7585: 7469: 7446: 7436:of the parameters 7426: 7335: 7275: 7252: 7232: 7212: 7185: 7126: 7124: 6887:gamma distribution 6875: 6855: 6833:between the two.) 6784: 6764: 6744: 6724: 6675: 6626: 6603: 6491: 6363: 6321: 6275: 6255: 6229: 6203: 6180: 6154: 6112: 6079:probability spaces 6069: 6008: 5963: 5906: 5873: 5858: 5834: 5769: 5720: 5691: 5650: 5633: 5598: 5541: 5516: 5438: 5365: 5309: 5289: 5262: 5247: 5223: 5129: 5085: 5059: 5020: 4920: 4826: 4799: 4752: 4725: 4676: 4630: 4585: 4540: 4508: 4486:, as shown above. 4476: 4382: 4348: 3943: 3520: 3459: 3267: 3233: 3169: 3142: 2997: 2994:Bregman divergence 2983:Bregman divergence 2953: 2920: 2896: 2824: 2788: 2751: 2718: 2689:for the posterior 2679: 2659: 2626: 2606: 2586: 2566: 2533: 2513: 2467: 2261: 2099: 2000: 1936: 1905: 1884: 1856: 1834: 1800: 1755: 1665: 1553: 1489: 1389: 1333: 1311: 1280: 1255: 1025: 957: 873: 838: 807: 769: 730: 699: 660: 626: 565: 527: 505: 429:maximum likelihood 335:statistical models 327:Bayesian inference 205:Bayesian estimator 153:Hierarchical model 77:Bayesian inference 26251:David J.C. MacKay 26216:978-0-387-31073-2 26181:978-0-521-83378-3 26058:10.3390/e16126338 26043:(12): 6338–6381. 25878: 25653: 25617: 25173: 25069:of the variables 24943:{\displaystyle k} 24823: 24803: 24747: 24728: 24548: 24476: 24360: 23721: 23679: 23613: 23527: 23496: 23345: 23303: 23286: 23146: 23094: 22722: 22238: 22087: 21604: 21403:{\displaystyle k} 21054: 21023: 20970: 20880: 20788: 20645: 20378: 20341: 20128: 19926: 19902: 19863: 19472: 18827:{\displaystyle K} 18651:{\displaystyle D} 18631:{\displaystyle N} 18500:{\displaystyle K} 18470:covariance matrix 18382:{\displaystyle K} 18342: 18323: 17769:credible interval 17751:methods, such as 17617: 16864:-like algorithm: 16552: 16508: 16425: 16407: 16392: 16325: 16303: 15980: 15717: 15479: 15331: 15279:takes more work: 14971: 14752: 14708: 14522: 14504: 14424: 14402: 14109: 14065: 13929:. Specifically: 13865: 13742: 13720: 13698: 13628: 13373: 13355: 13275: 13253: 13049: 12915: 12863: 12746: 12669: 12576: 12446: 12369: 12273: 12180: 12050: 11976: 11846: 11755: 11630: 11458: 11209: 10922: 10715: 10556: 10115:{\displaystyle C} 9968: 9906: 9826: 9666: 9600: 9543: 9463: 9352: 9249: 9208: 9134: 9050: 8991: 8990: 8928: 8879: 8878: 8075: 8015: 7965: 7964: 7488:joint probability 7278:{\displaystyle N} 7120: 6827:covariance matrix 6767:{\displaystyle Q} 6747:{\displaystyle P} 6629:{\displaystyle Q} 6598: 6544: 6467: 6421: 6278:{\displaystyle h} 5832: 5614:joint probability 5514: 4338: 4174: 3933: 3791: 3765: 3605: 3214: 2967:, abbreviated as 2963:is also known as 2923:{\displaystyle Q} 2682:{\displaystyle Q} 2629:{\displaystyle Q} 2609:{\displaystyle P} 2589:{\displaystyle Q} 2536:{\displaystyle Q} 1989: 1873: 1744: 1654: 1621: 1542: 1487: 1253: 1153: 1020: 946: 639:The distribution 316: 315: 210:Credible interval 143:Linear regression 26322: 26234: 26227: 26221: 26220: 26199: 26193: 26192: 26190: 26188: 26173: 26162: 26156: 26155: 26137: 26117: 26106: 26105: 26103: 26101: 26074: 26063: 26062: 26060: 26028: 26019: 26018: 26016: 26004: 25925: 25923: 25922: 25917: 25915: 25914: 25909: 25896: 25894: 25893: 25888: 25886: 25885: 25880: 25879: 25874: 25869: 25858: 25856: 25855: 25850: 25848: 25847: 25831: 25829: 25828: 25823: 25818: 25810: 25788: 25786: 25785: 25780: 25778: 25777: 25742: 25740: 25739: 25734: 25732: 25731: 25709: 25707: 25706: 25701: 25699: 25698: 25671: 25669: 25668: 25663: 25661: 25660: 25655: 25654: 25646: 25635: 25633: 25632: 25627: 25625: 25624: 25619: 25618: 25610: 25599: 25597: 25596: 25591: 25589: 25588: 25566: 25564: 25563: 25558: 25556: 25555: 25539: 25537: 25536: 25531: 25529: 25528: 25523: 25510: 25508: 25507: 25502: 25500: 25499: 25483: 25481: 25480: 25475: 25473: 25472: 25467: 25454: 25452: 25451: 25446: 25444: 25443: 25438: 25425: 25423: 25422: 25417: 25415: 25414: 25398: 25396: 25395: 25390: 25388: 25387: 25365: 25363: 25362: 25357: 25355: 25354: 25335: 25333: 25332: 25327: 25325: 25324: 25308: 25306: 25305: 25300: 25298: 25287:of the variable 25286: 25284: 25283: 25278: 25276: 25275: 25250: 25248: 25247: 25242: 25240: 25239: 25220: 25218: 25217: 25212: 25210: 25209: 25204: 25191: 25189: 25188: 25183: 25181: 25180: 25175: 25174: 25169: 25164: 25153: 25151: 25150: 25145: 25143: 25142: 25126: 25124: 25123: 25118: 25116: 25115: 25110: 25097: 25095: 25094: 25089: 25087: 25086: 25081: 25068: 25066: 25065: 25060: 25058: 25057: 25041: 25039: 25038: 25033: 25031: 25030: 25025: 25012: 25010: 25009: 25004: 25002: 25001: 24996: 24983: 24981: 24980: 24975: 24973: 24972: 24949: 24947: 24946: 24941: 24926: 24924: 24923: 24918: 24916: 24912: 24908: 24907: 24902: 24893: 24892: 24887: 24878: 24877: 24872: 24866: 24865: 24864: 24854: 24853: 24848: 24839: 24838: 24833: 24824: 24819: 24818: 24809: 24804: 24802: 24801: 24800: 24784: 24767: 24763: 24754: 24749: 24748: 24740: 24736: 24735: 24730: 24729: 24721: 24714: 24713: 24688: 24686: 24685: 24680: 24678: 24674: 24670: 24669: 24668: 24658: 24653: 24624: 24623: 24605: 24601: 24600: 24595: 24594: 24585: 24556: 24555: 24550: 24549: 24541: 24527: 24522: 24521: 24516: 24510: 24481: 24477: 24472: 24459: 24458: 24448: 24438: 24433: 24412: 24407: 24406: 24401: 24395: 24368: 24367: 24362: 24361: 24353: 24336: 24335: 24330: 24321: 24320: 24315: 24306: 24305: 24300: 24294: 24293: 24292: 24282: 24281: 24276: 24267: 24266: 24261: 24252: 24251: 24238: 24230: 24205: 24204: 24199: 24190: 24189: 24184: 24175: 24174: 24169: 24163: 24162: 24161: 24151: 24150: 24145: 24136: 24135: 24130: 24115: 24114: 24113: 24112: 24107: 24098: 24097: 24092: 24067: 24065: 24064: 24059: 24051: 24050: 24045: 24036: 24035: 24030: 24021: 24020: 24015: 24009: 24008: 24007: 23997: 23996: 23991: 23982: 23981: 23976: 23961: 23960: 23959: 23958: 23953: 23944: 23943: 23938: 23920: 23918: 23917: 23912: 23907: 23902: 23901: 23896: 23890: 23863: 23861: 23860: 23855: 23850: 23849: 23818: 23816: 23815: 23810: 23808: 23807: 23788: 23786: 23785: 23780: 23778: 23777: 23755: 23753: 23752: 23747: 23745: 23741: 23740: 23739: 23729: 23728: 23723: 23722: 23717: 23712: 23705: 23704: 23699: 23687: 23686: 23681: 23680: 23675: 23670: 23663: 23662: 23657: 23648: 23647: 23634: 23629: 23614: 23612: 23611: 23599: 23590: 23589: 23584: 23574: 23573: 23568: 23562: 23561: 23548: 23543: 23528: 23526: 23525: 23513: 23504: 23503: 23498: 23497: 23492: 23487: 23479: 23478: 23465: 23460: 23438: 23437: 23424: 23423: 23411: 23410: 23394: 23393: 23380: 23379: 23378: 23368: 23367: 23362: 23353: 23352: 23347: 23346: 23341: 23336: 23326: 23325: 23320: 23311: 23310: 23305: 23304: 23299: 23294: 23287: 23285: 23284: 23283: 23271: 23270: 23260: 23259: 23258: 23249: 23248: 23238: 23233: 23232: 23227: 23221: 23220: 23207: 23199: 23194: 23180: 23172: 23167: 23154: 23153: 23148: 23147: 23142: 23137: 23133: 23132: 23120: 23119: 23114: 23108: 23107: 23095: 23093: 23092: 23080: 23071: 23070: 23065: 23055: 23054: 23042: 23041: 23025: 23024: 22998: 22996: 22995: 22990: 22985: 22984: 22972: 22971: 22966: 22957: 22956: 22951: 22942: 22941: 22932: 22931: 22919: 22918: 22913: 22907: 22906: 22891: 22890: 22885: 22876: 22875: 22870: 22861: 22860: 22848: 22847: 22842: 22833: 22832: 22827: 22818: 22817: 22794: 22792: 22791: 22786: 22784: 22783: 22778: 22765: 22763: 22762: 22757: 22755: 22754: 22749: 22733: 22731: 22730: 22725: 22723: 22720: 22711: 22703: 22698: 22689: 22688: 22683: 22674: 22673: 22668: 22659: 22658: 22643: 22642: 22620: 22615: 22594: 22593: 22588: 22579: 22578: 22573: 22549: 22548: 22543: 22534: 22533: 22528: 22519: 22518: 22490: 22488: 22487: 22482: 22479: 22478: 22465: 22460: 22442: 22441: 22419: 22417: 22416: 22411: 22408: 22407: 22395: 22394: 22382: 22381: 22359: 22357: 22356: 22351: 22345: 22325: 22317: 22316: 22294: 22292: 22291: 22286: 22281: 22273: 22272: 22253: 22251: 22250: 22245: 22243: 22239: 22236: 22231: 22230: 22215: 22214: 22201: 22196: 22180: 22175: 22157: 22156: 22140: 22135: 22111: 22110: 22092: 22088: 22085: 22074: 22066: 22043: 22042: 22041: 22025: 21998: 21990: 21989: 21957: 21955: 21954: 21949: 21944: 21943: 21938: 21929: 21928: 21923: 21910: 21905: 21887: 21869: 21867: 21866: 21861: 21856: 21848: 21840: 21816: 21814: 21813: 21808: 21805: 21804: 21786: 21785: 21751: 21749: 21748: 21743: 21719: 21717: 21716: 21711: 21709: 21708: 21689: 21687: 21686: 21681: 21679: 21678: 21673: 21656: 21654: 21653: 21648: 21643: 21635: 21634: 21619:In other words, 21615: 21613: 21612: 21607: 21605: 21603: 21602: 21601: 21588: 21583: 21567: 21566: 21554: 21549: 21548: 21523: 21521: 21520: 21515: 21512: 21511: 21510: 21497: 21484: 21479: 21463: 21458: 21437: 21429: 21428: 21409: 21407: 21406: 21401: 21389: 21387: 21386: 21381: 21379: 21378: 21356: 21354: 21353: 21348: 21345: 21344: 21343: 21330: 21317: 21312: 21296: 21291: 21270: 21262: 21261: 21242: 21240: 21239: 21234: 21229: 21221: 21220: 21195: 21193: 21192: 21187: 21179: 21178: 21173: 21164: 21163: 21158: 21149: 21148: 21143: 21137: 21136: 21135: 21125: 21124: 21119: 21110: 21109: 21104: 21089: 21088: 21087: 21086: 21081: 21072: 21071: 21066: 21055: 21047: 21024: 21016: 21008: 21003: 21002: 20997: 20991: 20971: 20963: 20955: 20954: 20927: 20926: 20895: 20893: 20892: 20887: 20885: 20881: 20878: 20873: 20872: 20854: 20853: 20840: 20835: 20819: 20814: 20793: 20789: 20786: 20775: 20767: 20759: 20751: 20728: 20727: 20726: 20718: 20699: 20691: 20668: 20667: 20666: 20650: 20646: 20643: 20632: 20624: 20616: 20608: 20600: 20577: 20576: 20575: 20567: 20559: 20539: 20531: 20530: 20498: 20496: 20495: 20490: 20485: 20477: 20469: 20455: 20438: 20430: 20422: 20414: 20393: 20391: 20390: 20385: 20383: 20379: 20376: 20360: 20359: 20351: 20347: 20346: 20342: 20337: 20320: 20310: 20305: 20290: 20289: 20285: 20257: 20256: 20252: 20230: 20229: 20225: 20213: 20207: 20202: 20181: 20166: 20162: 20158: 20153: 20152: 20144: 20129: 20121: 20105: 20104: 20100: 20073: 20067: 20062: 20048: 20021: 20013: 20005: 20004: 19994: 19990: 19986: 19978: 19970: 19969: 19961: 19955: 19954: 19953: 19943: 19935: 19927: 19919: 19903: 19901: 19900: 19899: 19895: 19886: 19880: 19875: 19866: 19864: 19862: 19861: 19860: 19856: 19830: 19818: 19810: 19802: 19794: 19793: 19770: 19768: 19767: 19762: 19760: 19753: 19752: 19740: 19739: 19734: 19725: 19724: 19719: 19710: 19709: 19702: 19697: 19672: 19654: 19653: 19641: 19640: 19635: 19629: 19628: 19613: 19612: 19607: 19598: 19597: 19592: 19583: 19582: 19575: 19570: 19545: 19537: 19521: 19514: 19513: 19503: 19493: 19488: 19473: 19471: 19470: 19469: 19460: 19459: 19443: 19439: 19438: 19419: 19407: 19391: 19390: 19389: 19376: 19366: 19361: 19345: 19340: 19315: 19307: 19292: 19291: 19290: 19289: 19271: 19263: 19258: 19249: 19248: 19243: 19234: 19233: 19228: 19219: 19218: 19211: 19206: 19190: 19185: 19160: 19152: 19144: 19136: 19108: 19106: 19105: 19100: 19095: 19081: 19073: 19059: 19045: 19037: 19023: 19015: 19007: 18999: 18982: 18974: 18966: 18958: 18950: 18917: 18915: 18914: 18909: 18907: 18906: 18889: 18876: 18874: 18873: 18868: 18866: 18865: 18848: 18833: 18831: 18830: 18825: 18813: 18811: 18810: 18805: 18803: 18789: 18787: 18786: 18781: 18757: 18755: 18754: 18749: 18747: 18746: 18727: 18725: 18724: 18719: 18714: 18713: 18708: 18693: 18692: 18687: 18675: 18657: 18655: 18654: 18649: 18637: 18635: 18634: 18629: 18617: 18615: 18614: 18609: 18604: 18603: 18598: 18583: 18582: 18577: 18565: 18538: 18536: 18535: 18530: 18522: 18521: 18506: 18504: 18503: 18498: 18466:precision matrix 18459: 18457: 18456: 18451: 18443: 18442: 18415: 18413: 18412: 18407: 18405: 18404: 18388: 18386: 18385: 18380: 18357: 18355: 18354: 18349: 18347: 18343: 18340: 18324: 18321: 18302: 18301: 18293: 18292: 18291: 18290: 18289: 18279: 18268: 18267: 18266: 18265: 18255: 18246: 18245: 18232: 18231: 18214: 18201: 18153: 18141: 18140: 18128: 18127: 18122: 18116: 18115: 18100: 18099: 18094: 18085: 18084: 18071: 18070: 18053: 18040: 18039: 18027: 18026: 18021: 18012: 18011: 17998: 17997: 17980: 17967: 17966: 17935: 17765:random variables 17696: 17694: 17693: 17688: 17686: 17685: 17680: 17664: 17662: 17661: 17656: 17654: 17653: 17648: 17628: 17626: 17625: 17620: 17618: 17615: 17604: 17596: 17573: 17572: 17551: 17543: 17542: 17537: 17527: 17522: 17500: 17498: 17497: 17492: 17487: 17479: 17478: 17473: 17463: 17458: 17442: 17440: 17439: 17434: 17432: 17431: 17426: 17410: 17408: 17407: 17402: 17400: 17399: 17394: 17379: 17378: 17373: 17352: 17350: 17349: 17344: 17339: 17331: 17323: 17301: 17299: 17298: 17293: 17291: 17279:latent variables 17276: 17274: 17273: 17268: 17266: 17251: 17249: 17248: 17243: 17241: 17220:Bayesian network 17177: 17175: 17174: 17169: 17167: 17166: 17150: 17148: 17147: 17142: 17137: 17136: 17117: 17115: 17114: 17109: 17107: 17106: 17090: 17088: 17087: 17082: 17077: 17076: 17057: 17055: 17054: 17049: 17047: 17046: 17028: 17026: 17025: 17020: 17015: 17014: 16998: 16996: 16995: 16990: 16988: 16987: 16971: 16969: 16968: 16963: 16957: 16952: 16942: 16937: 16915: 16913: 16912: 16907: 16905: 16904: 16894: 16889: 16859: 16857: 16856: 16851: 16849: 16848: 16832: 16830: 16829: 16824: 16822: 16821: 16802: 16800: 16799: 16794: 16792: 16788: 16784: 16782: 16777: 16768: 16767: 16755: 16751: 16749: 16744: 16734: 16729: 16706: 16705: 16696: 16692: 16691: 16690: 16680: 16675: 16657: 16656: 16647: 16646: 16626: 16622: 16620: 16615: 16602: 16594: 16571: 16570: 16553: 16545: 16540: 16539: 16523: 16522: 16509: 16504: 16493: 16488: 16487: 16471: 16470: 16457: 16456: 16446: 16441: 16426: 16418: 16409: 16408: 16400: 16393: 16391: 16390: 16381: 16380: 16371: 16360: 16359: 16340: 16339: 16326: 16324: 16317: 16316: 16306: 16305: 16304: 16296: 16287: 16286: 16277: 16276: 16266: 16257: 16256: 16230: 16228: 16227: 16222: 16220: 16216: 16212: 16210: 16205: 16196: 16195: 16183: 16179: 16177: 16172: 16162: 16157: 16134: 16133: 16124: 16120: 16119: 16118: 16108: 16103: 16085: 16084: 16075: 16074: 16054: 16050: 16048: 16043: 16030: 16022: 15999: 15998: 15981: 15973: 15968: 15967: 15952: 15948: 15944: 15942: 15937: 15928: 15927: 15915: 15911: 15909: 15904: 15894: 15889: 15854: 15853: 15844: 15840: 15839: 15838: 15828: 15823: 15805: 15804: 15795: 15794: 15771: 15770: 15755: 15754: 15736: 15735: 15718: 15710: 15705: 15704: 15689: 15685: 15681: 15679: 15674: 15665: 15664: 15652: 15648: 15646: 15641: 15631: 15626: 15600: 15596: 15595: 15594: 15584: 15579: 15561: 15560: 15551: 15550: 15530: 15529: 15511: 15510: 15490: 15489: 15480: 15472: 15467: 15466: 15451: 15447: 15443: 15442: 15441: 15432: 15431: 15413: 15412: 15400: 15399: 15384: 15383: 15370: 15365: 15342: 15341: 15332: 15324: 15319: 15318: 15302: 15301: 15278: 15276: 15275: 15270: 15268: 15267: 15248: 15246: 15245: 15240: 15238: 15233: 15228: 15215: 15207: 15191: 15187: 15185: 15177: 15165: 15164: 15152: 15151: 15127: 15126: 15074: 15070: 15069: 15046: 15045: 15029: 15025: 15023: 15015: 15003: 15002: 14972: 14970: 14969: 14960: 14959: 14950: 14938: 14937: 14925: 14924: 14882: 14880: 14879: 14874: 14872: 14868: 14864: 14863: 14862: 14853: 14852: 14834: 14833: 14821: 14820: 14805: 14804: 14791: 14786: 14763: 14762: 14753: 14745: 14740: 14739: 14723: 14722: 14709: 14704: 14693: 14688: 14687: 14671: 14670: 14654: 14653: 14641: 14640: 14599: 14594: 14568: 14566: 14565: 14560: 14558: 14554: 14553: 14543: 14538: 14523: 14515: 14506: 14505: 14497: 14478: 14477: 14459: 14458: 14439: 14438: 14425: 14423: 14416: 14415: 14405: 14404: 14403: 14395: 14386: 14385: 14376: 14375: 14365: 14356: 14355: 14338: 14330: 14318: 14317: 14299: 14298: 14275: 14270: 14239: 14237: 14236: 14231: 14229: 14225: 14221: 14220: 14219: 14210: 14209: 14191: 14190: 14178: 14177: 14162: 14161: 14148: 14143: 14120: 14119: 14110: 14102: 14097: 14096: 14080: 14079: 14066: 14061: 14050: 14045: 14044: 14028: 14027: 14011: 14010: 13998: 13997: 13956: 13951: 13924: 13922: 13921: 13916: 13904: 13899: 13880: 13878: 13877: 13872: 13870: 13866: 13863: 13858: 13854: 13853: 13852: 13843: 13842: 13824: 13823: 13811: 13810: 13795: 13794: 13781: 13776: 13753: 13752: 13743: 13735: 13721: 13713: 13699: 13691: 13683: 13682: 13652: 13651: 13633: 13629: 13626: 13555: 13532: 13531: 13505: 13500: 13471: 13469: 13468: 13463: 13451: 13446: 13427: 13419: 13417: 13416: 13411: 13409: 13405: 13404: 13394: 13389: 13374: 13366: 13357: 13356: 13348: 13329: 13328: 13310: 13309: 13290: 13289: 13276: 13274: 13267: 13266: 13256: 13255: 13254: 13246: 13237: 13236: 13227: 13226: 13216: 13207: 13206: 13189: 13181: 13169: 13168: 13150: 13149: 13126: 13121: 13099:In other words: 13088: 13086: 13085: 13080: 13078: 13074: 13073: 13061: 13060: 13055: 13051: 13050: 13048: 13041: 13040: 13030: 13029: 13028: 13018: 13013: 12995: 12994: 12985: 12984: 12974: 12948: 12947: 12929: 12928: 12916: 12908: 12897: 12893: 12892: 12880: 12876: 12875: 12874: 12869: 12865: 12864: 12862: 12855: 12854: 12844: 12843: 12842: 12832: 12827: 12809: 12808: 12799: 12798: 12788: 12765: 12764: 12747: 12742: 12729: 12728: 12718: 12707: 12703: 12702: 12690: 12686: 12685: 12681: 12680: 12679: 12674: 12670: 12668: 12661: 12660: 12650: 12649: 12648: 12638: 12633: 12615: 12614: 12605: 12604: 12594: 12581: 12577: 12575: 12568: 12567: 12557: 12556: 12555: 12545: 12540: 12522: 12521: 12512: 12511: 12501: 12489: 12488: 12465: 12464: 12447: 12442: 12429: 12428: 12418: 12407: 12403: 12402: 12390: 12386: 12385: 12381: 12380: 12379: 12374: 12370: 12368: 12361: 12360: 12350: 12349: 12348: 12338: 12333: 12315: 12314: 12305: 12304: 12294: 12284: 12283: 12278: 12274: 12272: 12265: 12264: 12254: 12253: 12252: 12242: 12237: 12219: 12218: 12209: 12208: 12198: 12185: 12181: 12179: 12172: 12171: 12161: 12160: 12159: 12149: 12144: 12126: 12125: 12116: 12115: 12105: 12093: 12092: 12069: 12068: 12051: 12046: 12033: 12032: 12022: 12011: 12007: 12006: 11994: 11990: 11989: 11985: 11981: 11977: 11975: 11968: 11967: 11957: 11956: 11955: 11945: 11940: 11922: 11921: 11912: 11911: 11901: 11889: 11888: 11865: 11864: 11847: 11842: 11829: 11828: 11818: 11807: 11803: 11802: 11790: 11786: 11773: 11772: 11760: 11756: 11754: 11747: 11746: 11736: 11735: 11734: 11724: 11719: 11701: 11700: 11691: 11690: 11680: 11668: 11667: 11649: 11648: 11631: 11626: 11613: 11612: 11602: 11591: 11587: 11586: 11574: 11570: 11566: 11562: 11561: 11560: 11550: 11545: 11527: 11526: 11517: 11516: 11496: 11495: 11477: 11476: 11459: 11454: 11441: 11440: 11430: 11419: 11415: 11414: 11402: 11398: 11396: 11391: 11382: 11381: 11369: 11365: 11363: 11358: 11348: 11343: 11317: 11313: 11312: 11311: 11301: 11296: 11278: 11277: 11268: 11267: 11247: 11246: 11228: 11227: 11210: 11205: 11192: 11191: 11181: 11170: 11166: 11165: 11153: 11149: 11147: 11142: 11133: 11132: 11117: 11116: 11107: 11106: 11091: 11090: 11081: 11080: 11068: 11064: 11063: 11062: 11052: 11047: 11021: 11017: 11016: 11015: 11005: 11000: 10974: 10970: 10968: 10963: 10953: 10948: 10923: 10918: 10905: 10904: 10894: 10883: 10879: 10878: 10866: 10862: 10857: 10852: 10837: 10836: 10821: 10820: 10808: 10807: 10792: 10791: 10776: 10775: 10759: 10754: 10741: 10736: 10716: 10711: 10698: 10697: 10687: 10676: 10672: 10671: 10659: 10655: 10654: 10653: 10644: 10643: 10625: 10624: 10612: 10611: 10596: 10595: 10582: 10577: 10557: 10552: 10539: 10538: 10528: 10506: 10501: 10472: 10470: 10469: 10464: 10448: 10446: 10445: 10440: 10438: 10437: 10421: 10419: 10418: 10413: 10394: 10392: 10391: 10386: 10374: 10369: 10353: 10351: 10350: 10345: 10333: 10328: 10312: 10310: 10309: 10304: 10289: 10287: 10286: 10281: 10269: 10267: 10266: 10261: 10249: 10247: 10246: 10241: 10212: 10211: 10195: 10193: 10192: 10187: 10175: 10173: 10172: 10167: 10165: 10164: 10148: 10146: 10145: 10140: 10138: 10137: 10121: 10119: 10118: 10113: 10098: 10096: 10095: 10090: 10088: 10084: 10083: 10071: 10067: 10066: 10065: 10056: 10055: 10037: 10036: 10024: 10023: 10008: 10007: 9994: 9989: 9969: 9964: 9951: 9950: 9940: 9929: 9925: 9924: 9912: 9908: 9907: 9902: 9898: 9897: 9888: 9887: 9878: 9877: 9858: 9845: 9844: 9832: 9828: 9827: 9822: 9818: 9817: 9802: 9801: 9788: 9782: 9777: 9754: 9753: 9738: 9734: 9733: 9721: 9717: 9686: 9685: 9667: 9659: 9649: 9648: 9636: 9632: 9601: 9593: 9590: 9585: 9562: 9561: 9549: 9545: 9544: 9539: 9535: 9534: 9525: 9524: 9515: 9514: 9495: 9482: 9481: 9469: 9465: 9464: 9459: 9455: 9454: 9439: 9438: 9425: 9419: 9414: 9391: 9390: 9375: 9371: 9370: 9358: 9354: 9353: 9348: 9344: 9343: 9334: 9333: 9324: 9323: 9304: 9269: 9268: 9250: 9242: 9232: 9231: 9219: 9215: 9214: 9210: 9209: 9204: 9200: 9199: 9184: 9183: 9170: 9135: 9127: 9119: 9114: 9091: 9090: 9075: 9071: 9070: 9058: 9054: 9053: 9052: 9051: 9046: 9042: 9041: 9032: 9031: 9022: 9021: 9002: 8992: 8989: 8981: 8977: 8976: 8966: 8965: 8949: 8948: 8936: 8932: 8931: 8930: 8929: 8924: 8920: 8919: 8904: 8903: 8890: 8880: 8877: 8866: 8865: 8862: 8857: 8828: 8827: 8812: 8808: 8807: 8795: 8791: 8790: 8786: 8785: 8784: 8769: 8768: 8753: 8752: 8732: 8731: 8711: 8710: 8698: 8694: 8693: 8689: 8688: 8687: 8666: 8665: 8651: 8650: 8643: 8638: 8609: 8608: 8593: 8583: 8579: 8552: 8551: 8539: 8535: 8502: 8501: 8489: 8485: 8469: 8444: 8443: 8428: 8418: 8414: 8350: 8325: 8324: 8298: 8293: 8261: 8242: 8240: 8239: 8234: 8222: 8220: 8219: 8214: 8202: 8200: 8199: 8194: 8132: 8130: 8129: 8124: 8122: 8118: 8117: 8102: 8101: 8086: 8085: 8076: 8074: 8057: 8017: 8016: 8014: 8013: 8012: 7999: 7998: 7997: 7972: 7966: 7963: 7962: 7947: 7943: 7931: 7930: 7906: 7905: 7882: 7880: 7879: 7874: 7872: 7865: 7864: 7852: 7851: 7804: 7800: 7799: 7798: 7783: 7782: 7767: 7766: 7746: 7745: 7707: 7706: 7685: 7684: 7672: 7671: 7664: 7659: 7622: 7594: 7592: 7591: 7586: 7539: 7510: 7478: 7476: 7475: 7470: 7455: 7453: 7452: 7447: 7435: 7433: 7432: 7427: 7422: 7421: 7403: 7402: 7344: 7342: 7341: 7336: 7331: 7330: 7312: 7311: 7296: 7284: 7282: 7281: 7276: 7261: 7259: 7258: 7253: 7241: 7239: 7238: 7233: 7221: 7219: 7218: 7213: 7211: 7210: 7194: 7192: 7191: 7186: 7184: 7183: 7171: 7170: 7158: 7157: 7135: 7133: 7132: 7127: 7125: 7121: 7118: 7099: 7098: 7077: 7076: 7060: 7059: 7041: 7040: 7021: 7020: 7005: 7004: 6989: 6988: 6976: 6975: 6959: 6944: 6943: 6931: 6930: 6884: 6882: 6881: 6876: 6864: 6862: 6861: 6856: 6794:, respectively. 6793: 6791: 6790: 6785: 6774:with respect to 6773: 6771: 6770: 6765: 6753: 6751: 6750: 6745: 6733: 6731: 6730: 6725: 6717: 6684: 6682: 6681: 6676: 6668: 6635: 6633: 6632: 6627: 6612: 6610: 6609: 6604: 6599: 6597: 6581: 6580: 6570: 6550: 6545: 6543: 6529: 6515: 6500: 6498: 6497: 6492: 6469: 6468: 6465: 6447: 6446: 6434: 6433: 6422: 6419: 6398: 6397: 6372: 6370: 6369: 6364: 6353: 6352: 6330: 6328: 6327: 6322: 6311: 6310: 6284: 6282: 6281: 6276: 6264: 6262: 6261: 6256: 6238: 6236: 6235: 6230: 6212: 6210: 6209: 6204: 6189: 6187: 6186: 6181: 6163: 6161: 6160: 6155: 6144: 6143: 6121: 6119: 6118: 6113: 6102: 6101: 6076: 6018:). This creates 6017: 6015: 6014: 6009: 6007: 6006: 6001: 5972: 5970: 5969: 5964: 5956: 5948: 5925: 5924: 5922: 5917: 5882: 5880: 5879: 5874: 5871: 5866: 5843: 5841: 5840: 5835: 5833: 5830: 5819: 5811: 5788: 5787: 5785: 5780: 5757: 5749: 5748: 5743: 5733: 5728: 5700: 5698: 5697: 5692: 5687: 5679: 5678: 5673: 5663: 5658: 5642: 5640: 5639: 5634: 5632: 5631: 5607: 5605: 5604: 5599: 5591: 5583: 5560: 5559: 5557: 5552: 5525: 5523: 5522: 5517: 5515: 5513: 5512: 5511: 5506: 5496: 5495: 5488: 5480: 5457: 5456: 5454: 5449: 5423: 5422: 5415: 5407: 5384: 5383: 5381: 5376: 5354: 5346: 5338: 5337: 5332: 5322: 5317: 5298: 5296: 5295: 5290: 5288: 5287: 5271: 5269: 5268: 5263: 5260: 5255: 5232: 5230: 5229: 5224: 5219: 5211: 5210: 5205: 5196: 5195: 5185: 5180: 5159: 5138: 5136: 5135: 5130: 5128: 5127: 5122: 5113: 5112: 5107: 5094: 5092: 5091: 5086: 5084: 5068: 5066: 5065: 5060: 5055: 5030:as shown below. 5029: 5027: 5026: 5021: 5013: 5012: 5007: 4998: 4997: 4985: 4984: 4979: 4970: 4969: 4954: 4946: 4945: 4929: 4927: 4926: 4921: 4913: 4912: 4911: 4898: 4897: 4882: 4881: 4876: 4867: 4866: 4861: 4852: 4851: 4835: 4833: 4832: 4827: 4825: 4824: 4808: 4806: 4805: 4800: 4783: 4782: 4781: 4761: 4759: 4758: 4753: 4751: 4750: 4734: 4732: 4731: 4726: 4718: 4710: 4709: 4704: 4685: 4683: 4682: 4677: 4672: 4664: 4663: 4658: 4639: 4637: 4636: 4631: 4626: 4625: 4620: 4611: 4610: 4594: 4592: 4591: 4586: 4581: 4580: 4575: 4566: 4565: 4549: 4547: 4546: 4541: 4536: 4535: 4530: 4517: 4515: 4514: 4509: 4507: 4506: 4501: 4485: 4483: 4482: 4477: 4469: 4468: 4456: 4455: 4434: 4417: 4391: 4389: 4388: 4383: 4378: 4357: 4355: 4354: 4349: 4344: 4340: 4339: 4337: 4333: 4332: 4327: 4318: 4317: 4312: 4303: 4302: 4292: 4288: 4280: 4268: 4255: 4254: 4250: 4249: 4244: 4235: 4234: 4229: 4220: 4219: 4209: 4197: 4196: 4195: 4194: 4189: 4175: 4173: 4163: 4155: 4154: 4149: 4140: 4139: 4134: 4116: 4115: 4110: 4101: 4100: 4095: 4086: 4085: 4073: 4072: 4071: 4048: 4044: 4036: 4035: 4030: 4017: 4015: 4014: 4013: 4012: 4007: 3993: 3976: 3952: 3950: 3949: 3944: 3939: 3935: 3934: 3932: 3928: 3927: 3922: 3913: 3912: 3907: 3898: 3897: 3887: 3883: 3875: 3863: 3850: 3849: 3845: 3844: 3839: 3830: 3829: 3824: 3815: 3814: 3804: 3792: 3790: 3786: 3771: 3766: 3764: 3754: 3746: 3745: 3740: 3731: 3730: 3725: 3707: 3706: 3701: 3692: 3691: 3686: 3677: 3676: 3664: 3663: 3662: 3639: 3635: 3627: 3626: 3621: 3608: 3606: 3604: 3600: 3588: 3584: 3572: 3564: 3563: 3558: 3549: 3548: 3529: 3527: 3526: 3521: 3513: 3512: 3511: 3498: 3497: 3496: 3480: 3468: 3466: 3465: 3460: 3452: 3451: 3446: 3437: 3436: 3424: 3423: 3418: 3409: 3408: 3403: 3394: 3393: 3378: 3377: 3372: 3363: 3362: 3350: 3349: 3344: 3335: 3334: 3329: 3320: 3319: 3304: 3296: 3295: 3276: 3274: 3273: 3268: 3248: 3247: 3246: 3232: 3231: 3230: 3204: 3203: 3178: 3176: 3175: 3170: 3168: 3167: 3151: 3149: 3148: 3143: 3141: 3140: 3131: 3130: 3106: 3105: 3093: 3092: 3091: 3072: 3071: 3053: 3052: 3051: 3020: 3019: 3018: 2962: 2960: 2959: 2954: 2943: 2942: 2929: 2927: 2926: 2921: 2905: 2903: 2902: 2897: 2889: 2881: 2858: 2857: 2838:in analogy with 2833: 2831: 2830: 2825: 2814: 2813: 2801:The lower bound 2797: 2795: 2794: 2789: 2784: 2760: 2758: 2757: 2752: 2741: 2740: 2727: 2725: 2724: 2719: 2714: 2706: 2688: 2686: 2685: 2680: 2668: 2666: 2665: 2660: 2649: 2648: 2635: 2633: 2632: 2627: 2615: 2613: 2612: 2607: 2595: 2593: 2592: 2587: 2575: 2573: 2572: 2567: 2556: 2555: 2542: 2540: 2539: 2534: 2522: 2520: 2519: 2514: 2509: 2476: 2474: 2473: 2468: 2457: 2456: 2432: 2431: 2430: 2414: 2410: 2406: 2398: 2375: 2353: 2352: 2351: 2345: 2321: 2320: 2319: 2300: 2270: 2268: 2267: 2262: 2257: 2237: 2233: 2229: 2221: 2198: 2176: 2175: 2174: 2168: 2144: 2143: 2142: 2116:(for a discrete 2108: 2106: 2105: 2100: 2095: 2075: 2071: 2067: 2059: 2036: 2011: 1999: 1998: 1970: 1969: 1968: 1945: 1943: 1942: 1937: 1932: 1914: 1912: 1911: 1906: 1895: 1883: 1882: 1865: 1863: 1862: 1857: 1855: 1843: 1841: 1840: 1835: 1830: 1809: 1807: 1806: 1801: 1799: 1795: 1791: 1766: 1754: 1753: 1740: 1736: 1732: 1724: 1701: 1676: 1664: 1663: 1650: 1646: 1642: 1622: 1620: 1616: 1608: 1596: 1592: 1580: 1564: 1552: 1551: 1523: 1522: 1521: 1498: 1496: 1495: 1490: 1488: 1486: 1482: 1470: 1466: 1458: 1446: 1438: 1430: 1398: 1396: 1395: 1390: 1385: 1377: 1360: 1342: 1340: 1339: 1334: 1332: 1320: 1318: 1317: 1312: 1307: 1289: 1287: 1286: 1281: 1279: 1264: 1262: 1261: 1256: 1254: 1252: 1251: 1247: 1234: 1230: 1221: 1210: 1209: 1208: 1197: 1193: 1179: 1171: 1159: 1154: 1152: 1148: 1136: 1132: 1118: 1110: 1098: 1090: 1082: 1034: 1032: 1031: 1026: 1021: 1019: 1015: 1007: 995: 991: 979: 968: 956: 955: 927: 926: 925: 882: 880: 879: 874: 847: 845: 844: 839: 834: 816: 814: 813: 808: 778: 776: 775: 770: 765: 757: 739: 737: 736: 731: 726: 708: 706: 705: 700: 695: 687: 669: 667: 666: 661: 656: 635: 633: 632: 627: 619: 602: 594: 574: 572: 571: 566: 558: 536: 534: 533: 528: 526: 515:given some data 514: 512: 511: 506: 501: 500: 488: 487: 472: 404:methods such as 347:random variables 343:latent variables 331:machine learning 308: 301: 294: 278: 277: 244:Model evaluation 45: 26: 25: 26330: 26329: 26325: 26324: 26323: 26321: 26320: 26319: 26305: 26304: 26243: 26238: 26237: 26228: 26224: 26217: 26200: 26196: 26186: 26184: 26182: 26171: 26163: 26159: 26118: 26109: 26099: 26097: 26075: 26066: 26029: 26022: 26005: 25994: 25989: 25946: 25933: 25910: 25905: 25904: 25902: 25899: 25898: 25881: 25870: 25868: 25867: 25866: 25864: 25861: 25860: 25843: 25839: 25837: 25834: 25833: 25814: 25806: 25798: 25795: 25794: 25770: 25766: 25764: 25761: 25760: 25724: 25720: 25718: 25715: 25714: 25691: 25687: 25685: 25682: 25681: 25656: 25645: 25644: 25643: 25641: 25638: 25637: 25620: 25609: 25608: 25607: 25605: 25602: 25601: 25578: 25574: 25572: 25569: 25568: 25551: 25547: 25545: 25542: 25541: 25524: 25519: 25518: 25516: 25513: 25512: 25495: 25491: 25489: 25486: 25485: 25468: 25463: 25462: 25460: 25457: 25456: 25439: 25434: 25433: 25431: 25428: 25427: 25410: 25406: 25404: 25401: 25400: 25380: 25376: 25374: 25371: 25370: 25347: 25343: 25341: 25338: 25337: 25320: 25316: 25314: 25311: 25310: 25294: 25292: 25289: 25288: 25265: 25261: 25259: 25256: 25255: 25232: 25228: 25226: 25223: 25222: 25205: 25200: 25199: 25197: 25194: 25193: 25176: 25165: 25163: 25162: 25161: 25159: 25156: 25155: 25138: 25134: 25132: 25129: 25128: 25111: 25106: 25105: 25103: 25100: 25099: 25082: 25077: 25076: 25074: 25071: 25070: 25053: 25049: 25047: 25044: 25043: 25026: 25021: 25020: 25018: 25015: 25014: 24997: 24992: 24991: 24989: 24986: 24985: 24968: 24964: 24962: 24959: 24958: 24935: 24932: 24931: 24903: 24898: 24897: 24888: 24883: 24882: 24873: 24868: 24867: 24860: 24859: 24855: 24849: 24844: 24843: 24834: 24829: 24828: 24814: 24810: 24808: 24796: 24792: 24788: 24783: 24779: 24775: 24759: 24755: 24750: 24739: 24738: 24731: 24720: 24719: 24718: 24706: 24702: 24700: 24697: 24696: 24676: 24675: 24664: 24660: 24654: 24643: 24638: 24634: 24619: 24615: 24596: 24590: 24586: 24581: 24574: 24570: 24557: 24551: 24540: 24539: 24538: 24529: 24528: 24523: 24517: 24512: 24511: 24506: 24454: 24450: 24449: 24447: 24443: 24434: 24423: 24408: 24402: 24397: 24396: 24391: 24369: 24363: 24352: 24351: 24350: 24341: 24340: 24331: 24326: 24325: 24316: 24311: 24310: 24301: 24296: 24295: 24288: 24287: 24283: 24277: 24272: 24271: 24262: 24257: 24256: 24247: 24243: 24231: 24226: 24212: 24200: 24195: 24194: 24185: 24180: 24179: 24170: 24165: 24164: 24157: 24156: 24152: 24146: 24141: 24140: 24131: 24126: 24125: 24108: 24103: 24102: 24093: 24088: 24087: 24086: 24082: 24078: 24076: 24073: 24072: 24046: 24041: 24040: 24031: 24026: 24025: 24016: 24011: 24010: 24003: 24002: 23998: 23992: 23987: 23986: 23977: 23972: 23971: 23954: 23949: 23948: 23939: 23934: 23933: 23932: 23928: 23926: 23923: 23922: 23903: 23897: 23892: 23891: 23886: 23869: 23866: 23865: 23845: 23841: 23824: 23821: 23820: 23800: 23796: 23794: 23791: 23790: 23770: 23766: 23764: 23761: 23760: 23743: 23742: 23735: 23734: 23730: 23724: 23713: 23711: 23710: 23709: 23700: 23695: 23694: 23682: 23671: 23669: 23668: 23667: 23658: 23653: 23652: 23640: 23636: 23630: 23619: 23607: 23603: 23598: 23591: 23585: 23580: 23579: 23576: 23575: 23569: 23564: 23563: 23554: 23550: 23544: 23533: 23521: 23517: 23512: 23505: 23499: 23488: 23486: 23485: 23484: 23481: 23480: 23471: 23467: 23461: 23450: 23439: 23433: 23429: 23426: 23425: 23419: 23415: 23406: 23402: 23395: 23389: 23385: 23382: 23381: 23374: 23373: 23369: 23363: 23358: 23357: 23348: 23337: 23335: 23334: 23333: 23321: 23316: 23315: 23306: 23295: 23293: 23292: 23291: 23279: 23275: 23266: 23262: 23261: 23254: 23250: 23244: 23240: 23239: 23237: 23228: 23223: 23222: 23216: 23212: 23200: 23195: 23190: 23182: 23173: 23168: 23163: 23159: 23158: 23149: 23138: 23136: 23135: 23134: 23128: 23124: 23115: 23110: 23109: 23103: 23099: 23088: 23084: 23079: 23072: 23066: 23061: 23060: 23057: 23056: 23050: 23046: 23037: 23033: 23026: 23020: 23016: 23012: 23010: 23007: 23006: 22980: 22976: 22967: 22962: 22961: 22952: 22947: 22946: 22937: 22936: 22924: 22920: 22914: 22909: 22908: 22902: 22898: 22886: 22881: 22880: 22871: 22866: 22865: 22856: 22855: 22843: 22838: 22837: 22828: 22823: 22822: 22813: 22809: 22807: 22804: 22803: 22779: 22774: 22773: 22771: 22768: 22767: 22750: 22745: 22744: 22742: 22739: 22738: 22719: 22704: 22699: 22694: 22684: 22679: 22678: 22669: 22664: 22663: 22654: 22653: 22635: 22631: 22616: 22605: 22589: 22584: 22583: 22574: 22569: 22568: 22544: 22539: 22538: 22529: 22524: 22523: 22514: 22510: 22502: 22499: 22498: 22471: 22467: 22461: 22450: 22437: 22433: 22431: 22428: 22427: 22403: 22399: 22390: 22386: 22377: 22373: 22371: 22368: 22367: 22341: 22321: 22312: 22308: 22306: 22303: 22302: 22277: 22268: 22264: 22262: 22259: 22258: 22241: 22240: 22235: 22226: 22222: 22207: 22203: 22197: 22186: 22176: 22165: 22152: 22148: 22136: 22125: 22106: 22102: 22090: 22089: 22084: 22070: 22062: 22037: 22036: 22032: 22021: 22002: 21994: 21985: 21981: 21971: 21969: 21966: 21965: 21939: 21934: 21933: 21924: 21919: 21918: 21906: 21895: 21883: 21875: 21872: 21871: 21852: 21844: 21836: 21828: 21825: 21824: 21797: 21793: 21778: 21774: 21763: 21760: 21759: 21725: 21722: 21721: 21701: 21697: 21695: 21692: 21691: 21674: 21669: 21668: 21666: 21663: 21662: 21639: 21630: 21626: 21624: 21621: 21620: 21594: 21590: 21584: 21573: 21568: 21559: 21555: 21553: 21541: 21537: 21535: 21532: 21531: 21503: 21499: 21498: 21490: 21480: 21469: 21459: 21448: 21433: 21424: 21420: 21418: 21415: 21414: 21395: 21392: 21391: 21371: 21367: 21365: 21362: 21361: 21336: 21332: 21331: 21323: 21313: 21302: 21292: 21281: 21266: 21257: 21253: 21251: 21248: 21247: 21225: 21216: 21212: 21204: 21201: 21200: 21174: 21169: 21168: 21159: 21154: 21153: 21144: 21139: 21138: 21131: 21130: 21126: 21120: 21115: 21114: 21105: 21100: 21099: 21082: 21077: 21076: 21067: 21062: 21061: 21060: 21056: 21046: 21015: 21004: 20998: 20993: 20992: 20987: 20962: 20950: 20946: 20919: 20915: 20907: 20904: 20903: 20883: 20882: 20877: 20865: 20861: 20846: 20842: 20836: 20825: 20815: 20804: 20791: 20790: 20785: 20771: 20763: 20755: 20747: 20722: 20714: 20713: 20709: 20695: 20687: 20662: 20661: 20657: 20648: 20647: 20642: 20628: 20620: 20612: 20604: 20596: 20571: 20563: 20555: 20554: 20550: 20543: 20535: 20526: 20522: 20512: 20510: 20507: 20506: 20481: 20473: 20465: 20451: 20434: 20426: 20418: 20410: 20402: 20399: 20398: 20381: 20380: 20375: 20368: 20362: 20361: 20352: 20321: 20319: 20315: 20306: 20295: 20281: 20262: 20258: 20248: 20241: 20237: 20236: 20232: 20231: 20221: 20214: 20209: 20208: 20203: 20198: 20191: 20177: 20168: 20167: 20154: 20145: 20140: 20139: 20120: 20116: 20112: 20096: 20074: 20069: 20068: 20063: 20058: 20044: 20031: 20017: 20009: 20000: 19999: 19996: 19995: 19982: 19974: 19962: 19957: 19956: 19949: 19948: 19944: 19939: 19931: 19918: 19914: 19910: 19891: 19887: 19882: 19881: 19876: 19871: 19870: 19865: 19852: 19848: 19844: 19834: 19829: 19822: 19814: 19806: 19798: 19789: 19788: 19784: 19782: 19779: 19778: 19758: 19757: 19748: 19744: 19735: 19730: 19729: 19720: 19715: 19714: 19705: 19704: 19698: 19687: 19676: 19668: 19659: 19658: 19646: 19642: 19636: 19631: 19630: 19624: 19620: 19608: 19603: 19602: 19593: 19588: 19587: 19578: 19577: 19571: 19560: 19549: 19541: 19533: 19524: 19523: 19509: 19505: 19504: 19499: 19489: 19478: 19465: 19461: 19455: 19451: 19444: 19434: 19430: 19420: 19418: 19411: 19403: 19394: 19393: 19382: 19378: 19377: 19372: 19362: 19351: 19341: 19330: 19319: 19311: 19303: 19294: 19293: 19282: 19278: 19277: 19273: 19264: 19259: 19254: 19244: 19239: 19238: 19229: 19224: 19223: 19214: 19213: 19207: 19196: 19186: 19175: 19164: 19156: 19148: 19140: 19132: 19122: 19120: 19117: 19116: 19091: 19077: 19069: 19055: 19041: 19033: 19019: 19011: 19003: 18995: 18978: 18970: 18962: 18954: 18946: 18938: 18935: 18934: 18890: 18885: 18884: 18882: 18879: 18878: 18849: 18844: 18843: 18841: 18838: 18837: 18819: 18816: 18815: 18799: 18797: 18794: 18793: 18763: 18760: 18759: 18739: 18735: 18733: 18730: 18729: 18709: 18704: 18703: 18688: 18683: 18682: 18671: 18669: 18666: 18665: 18643: 18640: 18639: 18623: 18620: 18619: 18599: 18594: 18593: 18578: 18573: 18572: 18561: 18559: 18556: 18555: 18517: 18516: 18514: 18511: 18510: 18492: 18489: 18488: 18438: 18437: 18435: 18432: 18431: 18418:conjugate prior 18400: 18396: 18394: 18391: 18390: 18374: 18371: 18370: 18345: 18344: 18339: 18332: 18326: 18325: 18320: 18313: 18307: 18306: 18294: 18285: 18281: 18280: 18275: 18274: 18273: 18272: 18261: 18257: 18256: 18251: 18250: 18241: 18240: 18233: 18215: 18210: 18209: 18206: 18205: 18197: 18175: 18149: 18146: 18145: 18133: 18129: 18123: 18118: 18117: 18111: 18107: 18095: 18090: 18089: 18080: 18079: 18072: 18054: 18049: 18048: 18045: 18044: 18035: 18031: 18022: 18017: 18016: 18007: 18006: 17999: 17981: 17976: 17975: 17972: 17971: 17962: 17958: 17936: 17931: 17927: 17925: 17922: 17921: 17863: 17854:hyperparameters 17805: 17737: 17703:hyperparameters 17681: 17676: 17675: 17673: 17670: 17669: 17649: 17644: 17643: 17641: 17638: 17637: 17614: 17600: 17592: 17562: 17558: 17547: 17538: 17533: 17532: 17523: 17518: 17506: 17503: 17502: 17483: 17474: 17469: 17468: 17459: 17454: 17448: 17445: 17444: 17427: 17422: 17421: 17419: 17416: 17415: 17395: 17390: 17389: 17374: 17369: 17368: 17366: 17363: 17362: 17335: 17327: 17319: 17311: 17308: 17307: 17287: 17285: 17282: 17281: 17262: 17260: 17257: 17256: 17237: 17235: 17232: 17231: 17228:graphical model 17212: 17207: 17162: 17158: 17156: 17153: 17152: 17132: 17128: 17126: 17123: 17122: 17102: 17098: 17096: 17093: 17092: 17072: 17068: 17066: 17063: 17062: 17042: 17038: 17036: 17033: 17032: 17010: 17006: 17004: 17001: 17000: 16983: 16979: 16977: 16974: 16973: 16953: 16948: 16938: 16927: 16921: 16918: 16917: 16900: 16896: 16890: 16879: 16873: 16870: 16869: 16844: 16840: 16838: 16835: 16834: 16817: 16813: 16811: 16808: 16807: 16790: 16789: 16778: 16773: 16763: 16759: 16745: 16740: 16730: 16719: 16714: 16710: 16701: 16697: 16686: 16682: 16676: 16665: 16652: 16648: 16642: 16638: 16637: 16633: 16616: 16611: 16595: 16590: 16585: 16581: 16566: 16562: 16558: 16554: 16544: 16535: 16531: 16524: 16518: 16514: 16511: 16510: 16494: 16492: 16483: 16479: 16472: 16466: 16462: 16459: 16458: 16452: 16448: 16442: 16431: 16417: 16410: 16399: 16398: 16395: 16394: 16386: 16382: 16376: 16372: 16370: 16355: 16351: 16341: 16335: 16331: 16328: 16327: 16312: 16308: 16307: 16295: 16294: 16282: 16278: 16272: 16268: 16267: 16265: 16258: 16252: 16248: 16244: 16242: 16239: 16238: 16218: 16217: 16206: 16201: 16191: 16187: 16173: 16168: 16158: 16147: 16142: 16138: 16129: 16125: 16114: 16110: 16104: 16093: 16080: 16076: 16070: 16066: 16065: 16061: 16044: 16039: 16023: 16018: 16013: 16009: 15994: 15990: 15986: 15982: 15972: 15963: 15959: 15950: 15949: 15938: 15933: 15923: 15919: 15905: 15900: 15890: 15879: 15874: 15870: 15849: 15845: 15834: 15830: 15824: 15813: 15800: 15796: 15790: 15786: 15785: 15781: 15766: 15762: 15750: 15746: 15731: 15727: 15723: 15719: 15709: 15700: 15696: 15687: 15686: 15675: 15670: 15660: 15656: 15642: 15637: 15627: 15616: 15611: 15607: 15590: 15586: 15580: 15569: 15556: 15552: 15546: 15542: 15541: 15537: 15525: 15521: 15506: 15502: 15498: 15494: 15485: 15481: 15471: 15462: 15458: 15449: 15448: 15437: 15433: 15427: 15423: 15408: 15404: 15395: 15391: 15379: 15375: 15366: 15355: 15350: 15346: 15337: 15333: 15323: 15314: 15310: 15303: 15297: 15293: 15289: 15287: 15284: 15283: 15263: 15259: 15257: 15254: 15253: 15236: 15235: 15229: 15224: 15208: 15203: 15192: 15178: 15173: 15160: 15156: 15147: 15143: 15142: 15138: 15129: 15128: 15122: 15118: 15075: 15065: 15061: 15057: 15048: 15047: 15041: 15037: 15030: 15016: 15011: 14998: 14994: 14987: 14983: 14974: 14973: 14965: 14961: 14955: 14951: 14949: 14942: 14933: 14929: 14920: 14916: 14897: 14895: 14892: 14891: 14870: 14869: 14858: 14854: 14848: 14844: 14829: 14825: 14816: 14812: 14800: 14796: 14787: 14776: 14771: 14767: 14758: 14754: 14744: 14735: 14731: 14724: 14718: 14714: 14711: 14710: 14694: 14692: 14683: 14679: 14672: 14666: 14662: 14659: 14658: 14649: 14645: 14636: 14632: 14610: 14595: 14590: 14582: 14580: 14577: 14576: 14556: 14555: 14549: 14545: 14539: 14528: 14514: 14507: 14496: 14495: 14492: 14491: 14473: 14469: 14454: 14450: 14440: 14434: 14430: 14427: 14426: 14411: 14407: 14406: 14394: 14393: 14381: 14377: 14371: 14367: 14366: 14364: 14357: 14351: 14347: 14344: 14343: 14331: 14326: 14313: 14309: 14294: 14293: 14286: 14271: 14266: 14258: 14256: 14253: 14252: 14246: 14227: 14226: 14215: 14211: 14205: 14201: 14186: 14182: 14173: 14169: 14157: 14153: 14144: 14133: 14128: 14124: 14115: 14111: 14101: 14092: 14088: 14081: 14075: 14071: 14068: 14067: 14051: 14049: 14040: 14036: 14029: 14023: 14019: 14016: 14015: 14006: 14002: 13993: 13989: 13967: 13952: 13947: 13939: 13937: 13934: 13933: 13900: 13895: 13889: 13886: 13885: 13868: 13867: 13862: 13848: 13844: 13838: 13834: 13819: 13815: 13806: 13802: 13790: 13786: 13777: 13766: 13761: 13757: 13748: 13744: 13734: 13712: 13690: 13678: 13674: 13647: 13643: 13631: 13630: 13625: 13551: 13527: 13523: 13516: 13501: 13496: 13482: 13480: 13477: 13476: 13447: 13442: 13436: 13433: 13432: 13429: 13425: 13407: 13406: 13400: 13396: 13390: 13379: 13365: 13358: 13347: 13346: 13343: 13342: 13324: 13320: 13305: 13301: 13291: 13285: 13281: 13278: 13277: 13262: 13258: 13257: 13245: 13244: 13232: 13228: 13222: 13218: 13217: 13215: 13208: 13202: 13198: 13195: 13194: 13182: 13177: 13164: 13160: 13145: 13144: 13137: 13122: 13117: 13109: 13107: 13104: 13103: 13076: 13075: 13069: 13065: 13056: 13036: 13032: 13031: 13024: 13020: 13014: 13003: 12990: 12986: 12980: 12976: 12975: 12973: 12966: 12962: 12961: 12943: 12939: 12924: 12920: 12907: 12895: 12894: 12888: 12884: 12870: 12850: 12846: 12845: 12838: 12834: 12828: 12817: 12804: 12800: 12794: 12790: 12789: 12787: 12780: 12776: 12775: 12760: 12756: 12752: 12748: 12724: 12720: 12719: 12717: 12705: 12704: 12698: 12694: 12675: 12656: 12652: 12651: 12644: 12640: 12634: 12623: 12610: 12606: 12600: 12596: 12595: 12593: 12589: 12588: 12563: 12559: 12558: 12551: 12547: 12541: 12530: 12517: 12513: 12507: 12503: 12502: 12500: 12496: 12484: 12480: 12479: 12475: 12460: 12456: 12452: 12448: 12424: 12420: 12419: 12417: 12405: 12404: 12398: 12394: 12375: 12356: 12352: 12351: 12344: 12340: 12334: 12323: 12310: 12306: 12300: 12296: 12295: 12293: 12289: 12288: 12279: 12260: 12256: 12255: 12248: 12244: 12238: 12227: 12214: 12210: 12204: 12200: 12199: 12197: 12193: 12192: 12167: 12163: 12162: 12155: 12151: 12145: 12134: 12121: 12117: 12111: 12107: 12106: 12104: 12100: 12088: 12084: 12083: 12079: 12064: 12060: 12056: 12052: 12028: 12024: 12023: 12021: 12009: 12008: 12002: 11998: 11963: 11959: 11958: 11951: 11947: 11941: 11930: 11917: 11913: 11907: 11903: 11902: 11900: 11896: 11884: 11880: 11879: 11875: 11860: 11856: 11852: 11848: 11824: 11820: 11819: 11817: 11805: 11804: 11798: 11794: 11768: 11764: 11742: 11738: 11737: 11730: 11726: 11720: 11709: 11696: 11692: 11686: 11682: 11681: 11679: 11675: 11663: 11659: 11644: 11640: 11636: 11632: 11608: 11604: 11603: 11601: 11589: 11588: 11582: 11578: 11556: 11552: 11546: 11535: 11522: 11518: 11512: 11508: 11507: 11503: 11491: 11487: 11472: 11468: 11464: 11460: 11436: 11432: 11431: 11429: 11417: 11416: 11410: 11406: 11392: 11387: 11377: 11373: 11359: 11354: 11344: 11333: 11328: 11324: 11307: 11303: 11297: 11286: 11273: 11269: 11263: 11259: 11258: 11254: 11242: 11238: 11223: 11219: 11215: 11211: 11187: 11183: 11182: 11180: 11168: 11167: 11161: 11157: 11143: 11138: 11128: 11124: 11112: 11108: 11102: 11098: 11086: 11082: 11076: 11072: 11058: 11054: 11048: 11037: 11032: 11028: 11011: 11007: 11001: 10990: 10985: 10981: 10964: 10959: 10949: 10938: 10933: 10929: 10928: 10924: 10900: 10896: 10895: 10893: 10881: 10880: 10874: 10870: 10853: 10848: 10832: 10828: 10816: 10812: 10803: 10799: 10787: 10783: 10771: 10767: 10755: 10750: 10737: 10726: 10721: 10717: 10693: 10689: 10688: 10686: 10674: 10673: 10667: 10663: 10649: 10645: 10639: 10635: 10620: 10616: 10607: 10603: 10591: 10587: 10578: 10567: 10562: 10558: 10534: 10530: 10529: 10527: 10517: 10502: 10497: 10483: 10481: 10478: 10477: 10458: 10455: 10454: 10433: 10429: 10427: 10424: 10423: 10407: 10404: 10403: 10370: 10365: 10359: 10356: 10355: 10329: 10324: 10318: 10315: 10314: 10298: 10295: 10294: 10275: 10272: 10271: 10255: 10252: 10251: 10207: 10203: 10201: 10198: 10197: 10181: 10178: 10177: 10160: 10156: 10154: 10151: 10150: 10133: 10129: 10127: 10124: 10123: 10107: 10104: 10103: 10086: 10085: 10079: 10075: 10061: 10057: 10051: 10047: 10032: 10028: 10019: 10015: 10003: 9999: 9990: 9979: 9974: 9970: 9946: 9942: 9941: 9939: 9927: 9926: 9920: 9916: 9893: 9889: 9883: 9879: 9873: 9869: 9859: 9857: 9853: 9849: 9840: 9836: 9813: 9809: 9797: 9793: 9789: 9787: 9778: 9767: 9762: 9758: 9749: 9745: 9736: 9735: 9729: 9725: 9681: 9677: 9658: 9657: 9653: 9644: 9640: 9592: 9586: 9575: 9570: 9566: 9557: 9553: 9530: 9526: 9520: 9516: 9510: 9506: 9496: 9494: 9490: 9486: 9477: 9473: 9450: 9446: 9434: 9430: 9426: 9424: 9415: 9404: 9399: 9395: 9386: 9382: 9373: 9372: 9366: 9362: 9339: 9335: 9329: 9325: 9319: 9315: 9305: 9303: 9264: 9260: 9241: 9240: 9236: 9227: 9223: 9195: 9191: 9179: 9175: 9171: 9169: 9126: 9125: 9121: 9115: 9104: 9099: 9095: 9086: 9082: 9073: 9072: 9066: 9062: 9037: 9033: 9027: 9023: 9017: 9013: 9003: 9001: 8997: 8993: 8982: 8972: 8968: 8967: 8964: 8957: 8953: 8944: 8940: 8915: 8911: 8899: 8895: 8891: 8889: 8885: 8881: 8870: 8864: 8858: 8847: 8836: 8832: 8823: 8819: 8810: 8809: 8803: 8799: 8777: 8773: 8764: 8760: 8748: 8744: 8737: 8733: 8727: 8726: 8719: 8715: 8706: 8702: 8680: 8676: 8661: 8657: 8656: 8652: 8646: 8645: 8639: 8628: 8617: 8613: 8604: 8600: 8591: 8590: 8560: 8556: 8547: 8543: 8510: 8506: 8497: 8493: 8465: 8452: 8448: 8439: 8435: 8426: 8425: 8346: 8333: 8329: 8320: 8316: 8309: 8294: 8289: 8275: 8273: 8270: 8269: 8263: 8252: 8228: 8225: 8224: 8208: 8205: 8204: 8146: 8143: 8142: 8139: 8120: 8119: 8107: 8103: 8091: 8087: 8081: 8077: 8061: 8056: 8049: 8019: 8018: 8008: 8004: 8000: 7993: 7989: 7973: 7971: 7967: 7958: 7954: 7942: 7935: 7926: 7922: 7901: 7900: 7896: 7894: 7891: 7890: 7870: 7869: 7860: 7856: 7847: 7843: 7821: 7806: 7805: 7791: 7787: 7778: 7774: 7762: 7758: 7751: 7747: 7741: 7740: 7733: 7712: 7711: 7699: 7695: 7680: 7676: 7667: 7666: 7660: 7649: 7638: 7618: 7608: 7606: 7603: 7602: 7535: 7506: 7498: 7495: 7494: 7484: 7461: 7458: 7457: 7441: 7438: 7437: 7417: 7413: 7398: 7394: 7353: 7350: 7349: 7326: 7322: 7307: 7303: 7292: 7290: 7287: 7286: 7270: 7267: 7266: 7247: 7244: 7243: 7227: 7224: 7223: 7206: 7202: 7200: 7197: 7196: 7179: 7175: 7166: 7162: 7153: 7149: 7147: 7144: 7143: 7141:hyperparameters 7123: 7122: 7117: 7110: 7104: 7103: 7091: 7087: 7072: 7071: 7064: 7055: 7051: 7036: 7032: 7026: 7025: 7013: 7009: 7000: 6996: 6984: 6980: 6971: 6970: 6963: 6955: 6949: 6948: 6939: 6935: 6926: 6922: 6906: 6899: 6897: 6894: 6893: 6870: 6867: 6866: 6850: 6847: 6846: 6843:conjugate prior 6839: 6810:, with unknown 6800: 6798:A basic example 6779: 6776: 6775: 6759: 6756: 6755: 6739: 6736: 6735: 6713: 6690: 6687: 6686: 6664: 6641: 6638: 6637: 6621: 6618: 6617: 6576: 6572: 6571: 6551: 6549: 6530: 6516: 6514: 6512: 6509: 6508: 6464: 6460: 6442: 6438: 6423: 6418: 6417: 6393: 6389: 6381: 6378: 6377: 6348: 6344: 6336: 6333: 6332: 6331:that satisfies 6306: 6305: 6294: 6291: 6290: 6287:random variable 6270: 6267: 6266: 6244: 6241: 6240: 6218: 6215: 6214: 6198: 6195: 6194: 6169: 6166: 6165: 6139: 6138: 6127: 6124: 6123: 6097: 6096: 6085: 6082: 6081: 6061: 6002: 5997: 5996: 5994: 5991: 5990: 5975:hyperparameters 5952: 5944: 5918: 5910: 5905: 5901: 5899: 5896: 5895: 5867: 5862: 5856: 5853: 5852: 5829: 5815: 5807: 5781: 5773: 5768: 5764: 5753: 5744: 5739: 5738: 5729: 5724: 5712: 5709: 5708: 5683: 5674: 5669: 5668: 5659: 5654: 5648: 5645: 5644: 5627: 5623: 5621: 5618: 5617: 5587: 5579: 5553: 5545: 5540: 5536: 5534: 5531: 5530: 5507: 5502: 5501: 5484: 5476: 5450: 5442: 5437: 5433: 5432: 5428: 5424: 5411: 5403: 5377: 5369: 5364: 5360: 5359: 5355: 5353: 5342: 5333: 5328: 5327: 5318: 5313: 5307: 5304: 5303: 5283: 5279: 5277: 5274: 5273: 5256: 5251: 5245: 5242: 5241: 5215: 5206: 5201: 5200: 5191: 5187: 5181: 5170: 5155: 5147: 5144: 5143: 5123: 5118: 5117: 5108: 5103: 5102: 5100: 5097: 5096: 5080: 5078: 5075: 5074: 5051: 5043: 5040: 5039: 5036: 5008: 5003: 5002: 4993: 4989: 4980: 4975: 4974: 4965: 4961: 4950: 4941: 4937: 4935: 4932: 4931: 4907: 4903: 4902: 4893: 4889: 4877: 4872: 4871: 4862: 4857: 4856: 4847: 4843: 4841: 4838: 4837: 4820: 4819: 4817: 4814: 4813: 4774: 4773: 4769: 4767: 4764: 4763: 4746: 4742: 4740: 4737: 4736: 4714: 4705: 4700: 4699: 4691: 4688: 4687: 4668: 4659: 4654: 4653: 4645: 4642: 4641: 4621: 4616: 4615: 4606: 4602: 4600: 4597: 4596: 4576: 4571: 4570: 4561: 4557: 4555: 4552: 4551: 4531: 4526: 4525: 4523: 4520: 4519: 4502: 4497: 4496: 4494: 4491: 4490: 4464: 4460: 4451: 4450: 4430: 4413: 4405: 4402: 4401: 4374: 4366: 4363: 4362: 4328: 4323: 4322: 4313: 4308: 4307: 4298: 4294: 4293: 4284: 4276: 4269: 4267: 4260: 4256: 4245: 4240: 4239: 4230: 4225: 4224: 4215: 4211: 4210: 4205: 4204: 4190: 4185: 4184: 4183: 4179: 4159: 4150: 4145: 4144: 4135: 4130: 4129: 4111: 4106: 4105: 4096: 4091: 4090: 4081: 4077: 4064: 4063: 4059: 4049: 4040: 4031: 4026: 4025: 4018: 4016: 4008: 4003: 4002: 4001: 3997: 3989: 3972: 3964: 3961: 3960: 3923: 3918: 3917: 3908: 3903: 3902: 3893: 3889: 3888: 3879: 3871: 3864: 3862: 3855: 3851: 3840: 3835: 3834: 3825: 3820: 3819: 3810: 3806: 3805: 3800: 3799: 3782: 3775: 3770: 3750: 3741: 3736: 3735: 3726: 3721: 3720: 3702: 3697: 3696: 3687: 3682: 3681: 3672: 3668: 3655: 3654: 3650: 3640: 3631: 3622: 3617: 3616: 3609: 3607: 3596: 3589: 3580: 3573: 3571: 3559: 3554: 3553: 3544: 3540: 3538: 3535: 3534: 3507: 3503: 3502: 3492: 3488: 3487: 3476: 3474: 3471: 3470: 3447: 3442: 3441: 3432: 3428: 3419: 3414: 3413: 3404: 3399: 3398: 3389: 3385: 3373: 3368: 3367: 3358: 3354: 3345: 3340: 3339: 3330: 3325: 3324: 3315: 3311: 3300: 3291: 3287: 3285: 3282: 3281: 3239: 3238: 3234: 3226: 3225: 3218: 3199: 3195: 3187: 3184: 3183: 3163: 3162: 3160: 3157: 3156: 3136: 3135: 3126: 3122: 3101: 3097: 3084: 3083: 3079: 3067: 3063: 3044: 3043: 3039: 3011: 3010: 3006: 3004: 3001: 3000: 2979: 2938: 2937: 2935: 2932: 2931: 2915: 2912: 2911: 2885: 2877: 2853: 2849: 2847: 2844: 2843: 2809: 2808: 2806: 2803: 2802: 2780: 2766: 2763: 2762: 2736: 2735: 2733: 2730: 2729: 2710: 2702: 2694: 2691: 2690: 2674: 2671: 2670: 2644: 2643: 2641: 2638: 2637: 2621: 2618: 2617: 2601: 2598: 2597: 2581: 2578: 2577: 2551: 2550: 2548: 2545: 2544: 2528: 2525: 2524: 2505: 2491: 2488: 2487: 2452: 2451: 2423: 2422: 2418: 2402: 2394: 2371: 2358: 2354: 2347: 2346: 2341: 2340: 2312: 2311: 2307: 2296: 2282: 2279: 2278: 2253: 2225: 2217: 2194: 2181: 2177: 2170: 2169: 2164: 2163: 2135: 2134: 2130: 2128: 2125: 2124: 2118:random variable 2091: 2063: 2055: 2032: 2019: 2015: 2007: 1994: 1993: 1961: 1960: 1956: 1954: 1951: 1950: 1928: 1920: 1917: 1916: 1891: 1878: 1877: 1871: 1868: 1867: 1851: 1849: 1846: 1845: 1826: 1818: 1815: 1814: 1787: 1774: 1770: 1762: 1749: 1748: 1728: 1720: 1697: 1684: 1680: 1672: 1659: 1658: 1638: 1612: 1604: 1597: 1588: 1581: 1579: 1572: 1568: 1560: 1547: 1546: 1514: 1513: 1509: 1507: 1504: 1503: 1478: 1471: 1462: 1454: 1447: 1445: 1434: 1426: 1418: 1415: 1414: 1411: 1405: 1381: 1373: 1356: 1348: 1345: 1344: 1328: 1326: 1323: 1322: 1303: 1295: 1292: 1291: 1275: 1273: 1270: 1269: 1243: 1242: 1226: 1225: 1217: 1204: 1203: 1199: 1198: 1189: 1175: 1167: 1160: 1158: 1144: 1137: 1128: 1114: 1106: 1099: 1097: 1086: 1078: 1070: 1067: 1066: 1060: 1011: 1003: 996: 987: 980: 978: 964: 951: 950: 918: 917: 913: 911: 908: 907: 889: 853: 850: 849: 848:that minimizes 830: 822: 819: 818: 787: 784: 783: 761: 753: 745: 742: 741: 722: 714: 711: 710: 691: 683: 675: 672: 671: 652: 644: 641: 640: 615: 598: 590: 582: 579: 578: 554: 546: 543: 542: 522: 520: 517: 516: 496: 492: 483: 479: 468: 466: 463: 462: 455: 450: 386:model selection 351:graphical model 312: 272: 257:Model averaging 236:Nested sampling 148:Empirical Bayes 138:Conjugate prior 107:Cromwell's rule 24: 17: 12: 11: 5: 26328: 26318: 26317: 26303: 26302: 26296: 26286: 26280: 26274: 26268: 26254: 26242: 26241:External links 26239: 26236: 26235: 26222: 26215: 26194: 26180: 26157: 26107: 26064: 26020: 25991: 25990: 25988: 25985: 25984: 25983: 25977: 25971: 25965: 25959: 25953: 25945: 25942: 25932: 25929: 25913: 25908: 25884: 25877: 25873: 25846: 25842: 25821: 25817: 25813: 25809: 25805: 25802: 25776: 25773: 25769: 25745: 25744: 25730: 25727: 25723: 25711: 25697: 25694: 25690: 25674: 25673: 25659: 25652: 25649: 25623: 25616: 25613: 25587: 25584: 25581: 25577: 25554: 25550: 25527: 25522: 25498: 25494: 25471: 25466: 25442: 25437: 25413: 25409: 25386: 25383: 25379: 25367: 25353: 25350: 25346: 25323: 25319: 25297: 25274: 25271: 25268: 25264: 25252: 25238: 25235: 25231: 25208: 25203: 25179: 25172: 25168: 25141: 25137: 25114: 25109: 25085: 25080: 25056: 25052: 25029: 25024: 25000: 24995: 24971: 24967: 24939: 24928: 24927: 24915: 24911: 24906: 24901: 24896: 24891: 24886: 24881: 24876: 24871: 24863: 24858: 24852: 24847: 24842: 24837: 24832: 24827: 24822: 24817: 24813: 24807: 24799: 24795: 24791: 24787: 24782: 24778: 24774: 24771: 24766: 24762: 24758: 24753: 24746: 24743: 24734: 24727: 24724: 24717: 24712: 24709: 24705: 24690: 24689: 24673: 24667: 24663: 24657: 24652: 24649: 24646: 24642: 24637: 24633: 24630: 24627: 24622: 24618: 24614: 24611: 24608: 24604: 24599: 24593: 24589: 24584: 24580: 24577: 24573: 24569: 24566: 24563: 24560: 24558: 24554: 24547: 24544: 24537: 24534: 24531: 24530: 24526: 24520: 24515: 24509: 24505: 24502: 24499: 24496: 24493: 24490: 24487: 24484: 24480: 24475: 24471: 24468: 24465: 24462: 24457: 24453: 24446: 24442: 24437: 24432: 24429: 24426: 24422: 24418: 24415: 24411: 24405: 24400: 24394: 24390: 24387: 24384: 24381: 24378: 24375: 24372: 24370: 24366: 24359: 24356: 24349: 24346: 24343: 24342: 24339: 24334: 24329: 24324: 24319: 24314: 24309: 24304: 24299: 24291: 24286: 24280: 24275: 24270: 24265: 24260: 24255: 24250: 24246: 24242: 24237: 24234: 24229: 24225: 24221: 24218: 24215: 24213: 24211: 24208: 24203: 24198: 24193: 24188: 24183: 24178: 24173: 24168: 24160: 24155: 24149: 24144: 24139: 24134: 24129: 24124: 24121: 24118: 24111: 24106: 24101: 24096: 24091: 24085: 24081: 24080: 24057: 24054: 24049: 24044: 24039: 24034: 24029: 24024: 24019: 24014: 24006: 24001: 23995: 23990: 23985: 23980: 23975: 23970: 23967: 23964: 23957: 23952: 23947: 23942: 23937: 23931: 23910: 23906: 23900: 23895: 23889: 23885: 23882: 23879: 23876: 23873: 23853: 23848: 23844: 23840: 23837: 23834: 23831: 23828: 23806: 23803: 23799: 23776: 23773: 23769: 23757: 23756: 23738: 23733: 23727: 23720: 23716: 23708: 23703: 23698: 23693: 23690: 23685: 23678: 23674: 23666: 23661: 23656: 23651: 23646: 23643: 23639: 23633: 23628: 23625: 23622: 23618: 23610: 23606: 23602: 23597: 23594: 23592: 23588: 23583: 23578: 23577: 23572: 23567: 23560: 23557: 23553: 23547: 23542: 23539: 23536: 23532: 23524: 23520: 23516: 23511: 23508: 23506: 23502: 23495: 23491: 23483: 23482: 23477: 23474: 23470: 23464: 23459: 23456: 23453: 23449: 23445: 23442: 23440: 23436: 23432: 23428: 23427: 23422: 23418: 23414: 23409: 23405: 23401: 23398: 23396: 23392: 23388: 23384: 23383: 23377: 23372: 23366: 23361: 23356: 23351: 23344: 23340: 23332: 23329: 23324: 23319: 23314: 23309: 23302: 23298: 23290: 23282: 23278: 23274: 23269: 23265: 23257: 23253: 23247: 23243: 23236: 23231: 23226: 23219: 23215: 23211: 23206: 23203: 23198: 23193: 23188: 23185: 23183: 23179: 23176: 23171: 23166: 23161: 23160: 23157: 23152: 23145: 23141: 23131: 23127: 23123: 23118: 23113: 23106: 23102: 23098: 23091: 23087: 23083: 23078: 23075: 23073: 23069: 23064: 23059: 23058: 23053: 23049: 23045: 23040: 23036: 23032: 23029: 23027: 23023: 23019: 23015: 23014: 23000: 22999: 22988: 22983: 22979: 22975: 22970: 22965: 22960: 22955: 22950: 22945: 22940: 22935: 22930: 22927: 22923: 22917: 22912: 22905: 22901: 22897: 22894: 22889: 22884: 22879: 22874: 22869: 22864: 22859: 22854: 22851: 22846: 22841: 22836: 22831: 22826: 22821: 22816: 22812: 22782: 22777: 22753: 22748: 22735: 22734: 22718: 22715: 22710: 22707: 22702: 22697: 22692: 22687: 22682: 22677: 22672: 22667: 22662: 22657: 22652: 22649: 22646: 22641: 22638: 22634: 22630: 22627: 22624: 22619: 22614: 22611: 22608: 22604: 22600: 22597: 22592: 22587: 22582: 22577: 22572: 22567: 22564: 22561: 22558: 22555: 22552: 22547: 22542: 22537: 22532: 22527: 22522: 22517: 22513: 22509: 22506: 22492: 22491: 22477: 22474: 22470: 22464: 22459: 22456: 22453: 22449: 22445: 22440: 22436: 22421: 22420: 22406: 22402: 22398: 22393: 22389: 22385: 22380: 22376: 22361: 22360: 22348: 22344: 22340: 22337: 22334: 22331: 22328: 22324: 22320: 22315: 22311: 22284: 22280: 22276: 22271: 22267: 22255: 22254: 22234: 22229: 22225: 22221: 22218: 22213: 22210: 22206: 22200: 22195: 22192: 22189: 22185: 22179: 22174: 22171: 22168: 22164: 22160: 22155: 22151: 22147: 22144: 22139: 22134: 22131: 22128: 22124: 22120: 22117: 22114: 22109: 22105: 22101: 22098: 22095: 22093: 22091: 22083: 22080: 22077: 22073: 22069: 22065: 22061: 22058: 22055: 22052: 22049: 22046: 22040: 22035: 22031: 22028: 22024: 22020: 22017: 22014: 22011: 22008: 22005: 22003: 22001: 21997: 21993: 21988: 21984: 21980: 21977: 21974: 21973: 21947: 21942: 21937: 21932: 21927: 21922: 21917: 21914: 21909: 21904: 21901: 21898: 21894: 21890: 21886: 21882: 21879: 21859: 21855: 21851: 21847: 21843: 21839: 21835: 21832: 21818: 21817: 21803: 21800: 21796: 21792: 21789: 21784: 21781: 21777: 21773: 21770: 21767: 21741: 21738: 21735: 21732: 21729: 21707: 21704: 21700: 21677: 21672: 21646: 21642: 21638: 21633: 21629: 21617: 21616: 21600: 21597: 21593: 21587: 21582: 21579: 21576: 21572: 21565: 21562: 21558: 21552: 21547: 21544: 21540: 21525: 21524: 21509: 21506: 21502: 21496: 21493: 21489: 21483: 21478: 21475: 21472: 21468: 21462: 21457: 21454: 21451: 21447: 21443: 21440: 21436: 21432: 21427: 21423: 21399: 21377: 21374: 21370: 21358: 21357: 21342: 21339: 21335: 21329: 21326: 21322: 21316: 21311: 21308: 21305: 21301: 21295: 21290: 21287: 21284: 21280: 21276: 21273: 21269: 21265: 21260: 21256: 21232: 21228: 21224: 21219: 21215: 21211: 21208: 21197: 21196: 21185: 21182: 21177: 21172: 21167: 21162: 21157: 21152: 21147: 21142: 21134: 21129: 21123: 21118: 21113: 21108: 21103: 21098: 21095: 21092: 21085: 21080: 21075: 21070: 21065: 21059: 21053: 21050: 21045: 21042: 21039: 21036: 21033: 21030: 21027: 21022: 21019: 21014: 21011: 21007: 21001: 20996: 20990: 20986: 20983: 20980: 20977: 20974: 20969: 20966: 20961: 20958: 20953: 20949: 20945: 20942: 20939: 20936: 20933: 20930: 20925: 20922: 20918: 20914: 20911: 20897: 20896: 20876: 20871: 20868: 20864: 20860: 20857: 20852: 20849: 20845: 20839: 20834: 20831: 20828: 20824: 20818: 20813: 20810: 20807: 20803: 20799: 20796: 20794: 20792: 20784: 20781: 20778: 20774: 20770: 20766: 20762: 20758: 20754: 20750: 20746: 20743: 20740: 20737: 20734: 20731: 20725: 20721: 20717: 20712: 20708: 20705: 20702: 20698: 20694: 20690: 20686: 20683: 20680: 20677: 20674: 20671: 20665: 20660: 20656: 20653: 20651: 20649: 20641: 20638: 20635: 20631: 20627: 20623: 20619: 20615: 20611: 20607: 20603: 20599: 20595: 20592: 20589: 20586: 20583: 20580: 20574: 20570: 20566: 20562: 20558: 20553: 20549: 20546: 20544: 20542: 20538: 20534: 20529: 20525: 20521: 20518: 20515: 20514: 20488: 20484: 20480: 20476: 20472: 20468: 20464: 20461: 20458: 20454: 20450: 20447: 20444: 20441: 20437: 20433: 20429: 20425: 20421: 20417: 20413: 20409: 20406: 20395: 20394: 20374: 20371: 20369: 20367: 20364: 20363: 20358: 20355: 20350: 20345: 20340: 20336: 20333: 20330: 20327: 20324: 20318: 20314: 20309: 20304: 20301: 20298: 20294: 20288: 20284: 20280: 20277: 20274: 20271: 20268: 20265: 20261: 20255: 20251: 20247: 20244: 20240: 20235: 20228: 20224: 20220: 20217: 20212: 20206: 20201: 20197: 20194: 20192: 20190: 20187: 20184: 20180: 20176: 20173: 20170: 20169: 20165: 20161: 20157: 20151: 20148: 20143: 20138: 20135: 20132: 20127: 20124: 20119: 20115: 20111: 20108: 20103: 20099: 20095: 20092: 20089: 20086: 20083: 20080: 20077: 20072: 20066: 20061: 20057: 20054: 20051: 20047: 20043: 20040: 20037: 20034: 20032: 20030: 20027: 20024: 20020: 20016: 20012: 20008: 20003: 19998: 19997: 19993: 19989: 19985: 19981: 19977: 19973: 19968: 19965: 19960: 19952: 19947: 19942: 19938: 19934: 19930: 19925: 19922: 19917: 19913: 19909: 19906: 19898: 19894: 19890: 19885: 19879: 19874: 19869: 19859: 19855: 19851: 19847: 19843: 19840: 19837: 19833: 19828: 19825: 19823: 19821: 19817: 19813: 19809: 19805: 19801: 19797: 19792: 19787: 19786: 19772: 19771: 19756: 19751: 19747: 19743: 19738: 19733: 19728: 19723: 19718: 19713: 19708: 19701: 19696: 19693: 19690: 19686: 19682: 19679: 19677: 19675: 19671: 19667: 19664: 19661: 19660: 19657: 19652: 19649: 19645: 19639: 19634: 19627: 19623: 19619: 19616: 19611: 19606: 19601: 19596: 19591: 19586: 19581: 19574: 19569: 19566: 19563: 19559: 19555: 19552: 19550: 19548: 19544: 19540: 19536: 19532: 19529: 19526: 19525: 19520: 19517: 19512: 19508: 19502: 19498: 19492: 19487: 19484: 19481: 19477: 19468: 19464: 19458: 19454: 19450: 19447: 19442: 19437: 19433: 19429: 19426: 19423: 19417: 19414: 19412: 19410: 19406: 19402: 19399: 19396: 19395: 19388: 19385: 19381: 19375: 19371: 19365: 19360: 19357: 19354: 19350: 19344: 19339: 19336: 19333: 19329: 19325: 19322: 19320: 19318: 19314: 19310: 19306: 19302: 19299: 19296: 19295: 19288: 19285: 19281: 19276: 19270: 19267: 19262: 19257: 19252: 19247: 19242: 19237: 19232: 19227: 19222: 19217: 19210: 19205: 19202: 19199: 19195: 19189: 19184: 19181: 19178: 19174: 19170: 19167: 19165: 19163: 19159: 19155: 19151: 19147: 19143: 19139: 19135: 19131: 19128: 19125: 19124: 19110: 19109: 19098: 19094: 19090: 19087: 19084: 19080: 19076: 19072: 19068: 19065: 19062: 19058: 19054: 19051: 19048: 19044: 19040: 19036: 19032: 19029: 19026: 19022: 19018: 19014: 19010: 19006: 19002: 18998: 18994: 18991: 18988: 18985: 18981: 18977: 18973: 18969: 18965: 18961: 18957: 18953: 18949: 18945: 18942: 18928: 18927: 18905: 18902: 18899: 18896: 18893: 18888: 18864: 18861: 18858: 18855: 18852: 18847: 18835: 18823: 18802: 18791: 18779: 18776: 18773: 18770: 18767: 18745: 18742: 18738: 18717: 18712: 18707: 18702: 18699: 18696: 18691: 18686: 18681: 18678: 18674: 18663: 18647: 18627: 18618:is the set of 18607: 18602: 18597: 18592: 18589: 18586: 18581: 18576: 18571: 18568: 18564: 18549: 18548: 18528: 18525: 18520: 18508: 18496: 18477: 18449: 18446: 18441: 18429: 18403: 18399: 18378: 18359: 18358: 18338: 18335: 18333: 18331: 18328: 18327: 18319: 18316: 18314: 18312: 18309: 18308: 18305: 18300: 18297: 18288: 18284: 18278: 18271: 18264: 18260: 18254: 18249: 18244: 18239: 18236: 18234: 18230: 18227: 18224: 18221: 18218: 18213: 18208: 18207: 18204: 18200: 18196: 18193: 18190: 18187: 18184: 18181: 18178: 18176: 18174: 18171: 18168: 18165: 18162: 18159: 18156: 18152: 18148: 18147: 18144: 18139: 18136: 18132: 18126: 18121: 18114: 18110: 18106: 18103: 18098: 18093: 18088: 18083: 18078: 18075: 18073: 18069: 18066: 18063: 18060: 18057: 18052: 18047: 18046: 18043: 18038: 18034: 18030: 18025: 18020: 18015: 18010: 18005: 18002: 18000: 17996: 17993: 17990: 17987: 17984: 17979: 17974: 17973: 17970: 17965: 17961: 17957: 17954: 17951: 17948: 17945: 17942: 17939: 17937: 17934: 17930: 17929: 17889:alone means a 17871:plate notation 17862: 17859: 17858: 17857: 17828: 17804: 17801: 17800: 17799: 17795: 17772: 17759:(EM) or other 17753:Gibbs sampling 17736: 17733: 17732: 17731: 17724: 17721: 17717: 17706: 17684: 17679: 17666: 17652: 17647: 17630: 17613: 17610: 17607: 17603: 17599: 17595: 17591: 17588: 17585: 17582: 17579: 17576: 17571: 17568: 17565: 17561: 17557: 17554: 17550: 17546: 17541: 17536: 17531: 17526: 17521: 17517: 17513: 17510: 17490: 17486: 17482: 17477: 17472: 17467: 17462: 17457: 17453: 17430: 17425: 17412: 17398: 17393: 17388: 17385: 17382: 17377: 17372: 17358: 17342: 17338: 17334: 17330: 17326: 17322: 17318: 17315: 17290: 17265: 17240: 17211: 17208: 17206: 17203: 17183: 17182: 17179: 17165: 17161: 17140: 17135: 17131: 17119: 17105: 17101: 17080: 17075: 17071: 17059: 17045: 17041: 17029: 17018: 17013: 17009: 16986: 16982: 16961: 16956: 16951: 16947: 16941: 16936: 16933: 16930: 16926: 16903: 16899: 16893: 16888: 16885: 16882: 16878: 16847: 16843: 16820: 16816: 16804: 16803: 16787: 16781: 16776: 16772: 16766: 16762: 16758: 16754: 16748: 16743: 16739: 16733: 16728: 16725: 16722: 16718: 16713: 16709: 16704: 16700: 16695: 16689: 16685: 16679: 16674: 16671: 16668: 16664: 16660: 16655: 16651: 16645: 16641: 16636: 16632: 16629: 16625: 16619: 16614: 16610: 16606: 16601: 16598: 16593: 16589: 16584: 16580: 16577: 16574: 16569: 16565: 16561: 16557: 16551: 16548: 16543: 16538: 16534: 16530: 16527: 16525: 16521: 16517: 16513: 16512: 16507: 16503: 16500: 16497: 16491: 16486: 16482: 16478: 16475: 16473: 16469: 16465: 16461: 16460: 16455: 16451: 16445: 16440: 16437: 16434: 16430: 16424: 16421: 16416: 16413: 16411: 16406: 16403: 16397: 16396: 16389: 16385: 16379: 16375: 16369: 16366: 16363: 16358: 16354: 16350: 16347: 16344: 16342: 16338: 16334: 16330: 16329: 16323: 16320: 16315: 16311: 16302: 16299: 16293: 16290: 16285: 16281: 16275: 16271: 16264: 16261: 16259: 16255: 16251: 16247: 16246: 16232: 16231: 16215: 16209: 16204: 16200: 16194: 16190: 16186: 16182: 16176: 16171: 16167: 16161: 16156: 16153: 16150: 16146: 16141: 16137: 16132: 16128: 16123: 16117: 16113: 16107: 16102: 16099: 16096: 16092: 16088: 16083: 16079: 16073: 16069: 16064: 16060: 16057: 16053: 16047: 16042: 16038: 16034: 16029: 16026: 16021: 16017: 16012: 16008: 16005: 16002: 15997: 15993: 15989: 15985: 15979: 15976: 15971: 15966: 15962: 15958: 15955: 15953: 15951: 15947: 15941: 15936: 15932: 15926: 15922: 15918: 15914: 15908: 15903: 15899: 15893: 15888: 15885: 15882: 15878: 15873: 15869: 15866: 15863: 15860: 15857: 15852: 15848: 15843: 15837: 15833: 15827: 15822: 15819: 15816: 15812: 15808: 15803: 15799: 15793: 15789: 15784: 15780: 15777: 15774: 15769: 15765: 15761: 15758: 15753: 15749: 15745: 15742: 15739: 15734: 15730: 15726: 15722: 15716: 15713: 15708: 15703: 15699: 15695: 15692: 15690: 15688: 15684: 15678: 15673: 15669: 15663: 15659: 15655: 15651: 15645: 15640: 15636: 15630: 15625: 15622: 15619: 15615: 15610: 15606: 15603: 15599: 15593: 15589: 15583: 15578: 15575: 15572: 15568: 15564: 15559: 15555: 15549: 15545: 15540: 15536: 15533: 15528: 15524: 15520: 15517: 15514: 15509: 15505: 15501: 15497: 15493: 15488: 15484: 15478: 15475: 15470: 15465: 15461: 15457: 15454: 15452: 15450: 15446: 15440: 15436: 15430: 15426: 15422: 15419: 15416: 15411: 15407: 15403: 15398: 15394: 15390: 15387: 15382: 15378: 15374: 15369: 15364: 15361: 15358: 15354: 15349: 15345: 15340: 15336: 15330: 15327: 15322: 15317: 15313: 15309: 15306: 15304: 15300: 15296: 15292: 15291: 15266: 15262: 15250: 15249: 15232: 15227: 15223: 15219: 15214: 15211: 15206: 15202: 15198: 15195: 15193: 15190: 15184: 15181: 15176: 15172: 15168: 15163: 15159: 15155: 15150: 15146: 15141: 15137: 15134: 15131: 15130: 15125: 15121: 15117: 15114: 15111: 15108: 15105: 15102: 15099: 15096: 15093: 15090: 15087: 15084: 15081: 15078: 15076: 15073: 15068: 15064: 15060: 15056: 15053: 15050: 15049: 15044: 15040: 15036: 15033: 15031: 15028: 15022: 15019: 15014: 15010: 15006: 15001: 14997: 14993: 14990: 14986: 14982: 14979: 14976: 14975: 14968: 14964: 14958: 14954: 14948: 14945: 14943: 14941: 14936: 14932: 14928: 14923: 14919: 14915: 14912: 14909: 14906: 14903: 14900: 14899: 14884: 14883: 14867: 14861: 14857: 14851: 14847: 14843: 14840: 14837: 14832: 14828: 14824: 14819: 14815: 14811: 14808: 14803: 14799: 14795: 14790: 14785: 14782: 14779: 14775: 14770: 14766: 14761: 14757: 14751: 14748: 14743: 14738: 14734: 14730: 14727: 14725: 14721: 14717: 14713: 14712: 14707: 14703: 14700: 14697: 14691: 14686: 14682: 14678: 14675: 14673: 14669: 14665: 14661: 14660: 14657: 14652: 14648: 14644: 14639: 14635: 14631: 14628: 14625: 14622: 14619: 14616: 14613: 14611: 14609: 14606: 14603: 14598: 14593: 14589: 14585: 14584: 14570: 14569: 14552: 14548: 14542: 14537: 14534: 14531: 14527: 14521: 14518: 14513: 14510: 14508: 14503: 14500: 14494: 14493: 14490: 14487: 14484: 14481: 14476: 14472: 14468: 14465: 14462: 14457: 14453: 14449: 14446: 14443: 14441: 14437: 14433: 14429: 14428: 14422: 14419: 14414: 14410: 14401: 14398: 14392: 14389: 14384: 14380: 14374: 14370: 14363: 14360: 14358: 14354: 14350: 14346: 14345: 14342: 14337: 14334: 14329: 14325: 14321: 14316: 14312: 14308: 14305: 14302: 14297: 14292: 14289: 14287: 14285: 14282: 14279: 14274: 14269: 14265: 14261: 14260: 14245: 14242: 14241: 14240: 14224: 14218: 14214: 14208: 14204: 14200: 14197: 14194: 14189: 14185: 14181: 14176: 14172: 14168: 14165: 14160: 14156: 14152: 14147: 14142: 14139: 14136: 14132: 14127: 14123: 14118: 14114: 14108: 14105: 14100: 14095: 14091: 14087: 14084: 14082: 14078: 14074: 14070: 14069: 14064: 14060: 14057: 14054: 14048: 14043: 14039: 14035: 14032: 14030: 14026: 14022: 14018: 14017: 14014: 14009: 14005: 14001: 13996: 13992: 13988: 13985: 13982: 13979: 13976: 13973: 13970: 13968: 13966: 13963: 13960: 13955: 13950: 13946: 13942: 13941: 13914: 13911: 13908: 13903: 13898: 13894: 13882: 13881: 13861: 13857: 13851: 13847: 13841: 13837: 13833: 13830: 13827: 13822: 13818: 13814: 13809: 13805: 13801: 13798: 13793: 13789: 13785: 13780: 13775: 13772: 13769: 13765: 13760: 13756: 13751: 13747: 13741: 13738: 13733: 13730: 13727: 13724: 13719: 13716: 13711: 13708: 13705: 13702: 13697: 13694: 13689: 13686: 13681: 13677: 13673: 13670: 13667: 13664: 13661: 13658: 13655: 13650: 13646: 13642: 13639: 13636: 13634: 13632: 13624: 13621: 13618: 13615: 13612: 13609: 13606: 13603: 13600: 13597: 13594: 13591: 13588: 13585: 13582: 13579: 13576: 13573: 13570: 13567: 13564: 13561: 13558: 13554: 13550: 13547: 13544: 13541: 13538: 13535: 13530: 13526: 13522: 13519: 13517: 13515: 13512: 13509: 13504: 13499: 13495: 13491: 13488: 13485: 13484: 13461: 13458: 13455: 13450: 13445: 13441: 13428: 13424:Derivation of 13422: 13421: 13420: 13403: 13399: 13393: 13388: 13385: 13382: 13378: 13372: 13369: 13364: 13361: 13359: 13354: 13351: 13345: 13344: 13341: 13338: 13335: 13332: 13327: 13323: 13319: 13316: 13313: 13308: 13304: 13300: 13297: 13294: 13292: 13288: 13284: 13280: 13279: 13273: 13270: 13265: 13261: 13252: 13249: 13243: 13240: 13235: 13231: 13225: 13221: 13214: 13211: 13209: 13205: 13201: 13197: 13196: 13193: 13188: 13185: 13180: 13176: 13172: 13167: 13163: 13159: 13156: 13153: 13148: 13143: 13140: 13138: 13136: 13133: 13130: 13125: 13120: 13116: 13112: 13111: 13090: 13089: 13072: 13068: 13064: 13059: 13054: 13047: 13044: 13039: 13035: 13027: 13023: 13017: 13012: 13009: 13006: 13002: 12998: 12993: 12989: 12983: 12979: 12972: 12969: 12965: 12960: 12957: 12954: 12951: 12946: 12942: 12938: 12935: 12932: 12927: 12923: 12919: 12914: 12911: 12906: 12903: 12900: 12898: 12896: 12891: 12887: 12883: 12879: 12873: 12868: 12861: 12858: 12853: 12849: 12841: 12837: 12831: 12826: 12823: 12820: 12816: 12812: 12807: 12803: 12797: 12793: 12786: 12783: 12779: 12774: 12771: 12768: 12763: 12759: 12755: 12751: 12745: 12741: 12738: 12735: 12732: 12727: 12723: 12716: 12713: 12710: 12708: 12706: 12701: 12697: 12693: 12689: 12684: 12678: 12673: 12667: 12664: 12659: 12655: 12647: 12643: 12637: 12632: 12629: 12626: 12622: 12618: 12613: 12609: 12603: 12599: 12592: 12587: 12584: 12580: 12574: 12571: 12566: 12562: 12554: 12550: 12544: 12539: 12536: 12533: 12529: 12525: 12520: 12516: 12510: 12506: 12499: 12495: 12492: 12487: 12483: 12478: 12474: 12471: 12468: 12463: 12459: 12455: 12451: 12445: 12441: 12438: 12435: 12432: 12427: 12423: 12416: 12413: 12410: 12408: 12406: 12401: 12397: 12393: 12389: 12384: 12378: 12373: 12367: 12364: 12359: 12355: 12347: 12343: 12337: 12332: 12329: 12326: 12322: 12318: 12313: 12309: 12303: 12299: 12292: 12287: 12282: 12277: 12271: 12268: 12263: 12259: 12251: 12247: 12241: 12236: 12233: 12230: 12226: 12222: 12217: 12213: 12207: 12203: 12196: 12191: 12188: 12184: 12178: 12175: 12170: 12166: 12158: 12154: 12148: 12143: 12140: 12137: 12133: 12129: 12124: 12120: 12114: 12110: 12103: 12099: 12096: 12091: 12087: 12082: 12078: 12075: 12072: 12067: 12063: 12059: 12055: 12049: 12045: 12042: 12039: 12036: 12031: 12027: 12020: 12017: 12014: 12012: 12010: 12005: 12001: 11997: 11993: 11988: 11984: 11980: 11974: 11971: 11966: 11962: 11954: 11950: 11944: 11939: 11936: 11933: 11929: 11925: 11920: 11916: 11910: 11906: 11899: 11895: 11892: 11887: 11883: 11878: 11874: 11871: 11868: 11863: 11859: 11855: 11851: 11845: 11841: 11838: 11835: 11832: 11827: 11823: 11816: 11813: 11810: 11808: 11806: 11801: 11797: 11793: 11789: 11785: 11782: 11779: 11776: 11771: 11767: 11763: 11759: 11753: 11750: 11745: 11741: 11733: 11729: 11723: 11718: 11715: 11712: 11708: 11704: 11699: 11695: 11689: 11685: 11678: 11674: 11671: 11666: 11662: 11658: 11655: 11652: 11647: 11643: 11639: 11635: 11629: 11625: 11622: 11619: 11616: 11611: 11607: 11600: 11597: 11594: 11592: 11590: 11585: 11581: 11577: 11573: 11569: 11565: 11559: 11555: 11549: 11544: 11541: 11538: 11534: 11530: 11525: 11521: 11515: 11511: 11506: 11502: 11499: 11494: 11490: 11486: 11483: 11480: 11475: 11471: 11467: 11463: 11457: 11453: 11450: 11447: 11444: 11439: 11435: 11428: 11425: 11422: 11420: 11418: 11413: 11409: 11405: 11401: 11395: 11390: 11386: 11380: 11376: 11372: 11368: 11362: 11357: 11353: 11347: 11342: 11339: 11336: 11332: 11327: 11323: 11320: 11316: 11310: 11306: 11300: 11295: 11292: 11289: 11285: 11281: 11276: 11272: 11266: 11262: 11257: 11253: 11250: 11245: 11241: 11237: 11234: 11231: 11226: 11222: 11218: 11214: 11208: 11204: 11201: 11198: 11195: 11190: 11186: 11179: 11176: 11173: 11171: 11169: 11164: 11160: 11156: 11152: 11146: 11141: 11137: 11131: 11127: 11123: 11120: 11115: 11111: 11105: 11101: 11097: 11094: 11089: 11085: 11079: 11075: 11071: 11067: 11061: 11057: 11051: 11046: 11043: 11040: 11036: 11031: 11027: 11024: 11020: 11014: 11010: 11004: 10999: 10996: 10993: 10989: 10984: 10980: 10977: 10973: 10967: 10962: 10958: 10952: 10947: 10944: 10941: 10937: 10932: 10927: 10921: 10917: 10914: 10911: 10908: 10903: 10899: 10892: 10889: 10886: 10884: 10882: 10877: 10873: 10869: 10865: 10861: 10856: 10851: 10847: 10843: 10840: 10835: 10831: 10827: 10824: 10819: 10815: 10811: 10806: 10802: 10798: 10795: 10790: 10786: 10782: 10779: 10774: 10770: 10766: 10763: 10758: 10753: 10749: 10745: 10740: 10735: 10732: 10729: 10725: 10720: 10714: 10710: 10707: 10704: 10701: 10696: 10692: 10685: 10682: 10679: 10677: 10675: 10670: 10666: 10662: 10658: 10652: 10648: 10642: 10638: 10634: 10631: 10628: 10623: 10619: 10615: 10610: 10606: 10602: 10599: 10594: 10590: 10586: 10581: 10576: 10573: 10570: 10566: 10561: 10555: 10551: 10548: 10545: 10542: 10537: 10533: 10526: 10523: 10520: 10518: 10516: 10513: 10510: 10505: 10500: 10496: 10492: 10489: 10486: 10485: 10462: 10436: 10432: 10411: 10384: 10381: 10378: 10373: 10368: 10364: 10343: 10340: 10337: 10332: 10327: 10323: 10302: 10279: 10259: 10239: 10236: 10233: 10230: 10227: 10224: 10221: 10218: 10215: 10210: 10206: 10185: 10163: 10159: 10136: 10132: 10111: 10100: 10099: 10082: 10078: 10074: 10070: 10064: 10060: 10054: 10050: 10046: 10043: 10040: 10035: 10031: 10027: 10022: 10018: 10014: 10011: 10006: 10002: 9998: 9993: 9988: 9985: 9982: 9978: 9973: 9967: 9963: 9960: 9957: 9954: 9949: 9945: 9938: 9935: 9932: 9930: 9928: 9923: 9919: 9915: 9911: 9905: 9901: 9896: 9892: 9886: 9882: 9876: 9872: 9868: 9865: 9862: 9856: 9852: 9848: 9843: 9839: 9835: 9831: 9825: 9821: 9816: 9812: 9808: 9805: 9800: 9796: 9792: 9786: 9781: 9776: 9773: 9770: 9766: 9761: 9757: 9752: 9748: 9744: 9741: 9739: 9737: 9732: 9728: 9724: 9720: 9716: 9713: 9710: 9707: 9704: 9701: 9698: 9695: 9692: 9689: 9684: 9680: 9676: 9673: 9670: 9665: 9662: 9656: 9652: 9647: 9643: 9639: 9635: 9631: 9628: 9625: 9622: 9619: 9616: 9613: 9610: 9607: 9604: 9599: 9596: 9589: 9584: 9581: 9578: 9574: 9569: 9565: 9560: 9556: 9552: 9548: 9542: 9538: 9533: 9529: 9523: 9519: 9513: 9509: 9505: 9502: 9499: 9493: 9489: 9485: 9480: 9476: 9472: 9468: 9462: 9458: 9453: 9449: 9445: 9442: 9437: 9433: 9429: 9423: 9418: 9413: 9410: 9407: 9403: 9398: 9394: 9389: 9385: 9381: 9378: 9376: 9374: 9369: 9365: 9361: 9357: 9351: 9347: 9342: 9338: 9332: 9328: 9322: 9318: 9314: 9311: 9308: 9302: 9299: 9296: 9293: 9290: 9287: 9284: 9281: 9278: 9275: 9272: 9267: 9263: 9259: 9256: 9253: 9248: 9245: 9239: 9235: 9230: 9226: 9222: 9218: 9213: 9207: 9203: 9198: 9194: 9190: 9187: 9182: 9178: 9174: 9168: 9165: 9162: 9159: 9156: 9153: 9150: 9147: 9144: 9141: 9138: 9133: 9130: 9124: 9118: 9113: 9110: 9107: 9103: 9098: 9094: 9089: 9085: 9081: 9078: 9076: 9074: 9069: 9065: 9061: 9057: 9049: 9045: 9040: 9036: 9030: 9026: 9020: 9016: 9012: 9009: 9006: 9000: 8996: 8988: 8985: 8980: 8975: 8971: 8963: 8960: 8956: 8952: 8947: 8943: 8939: 8935: 8927: 8923: 8918: 8914: 8910: 8907: 8902: 8898: 8894: 8888: 8884: 8876: 8873: 8869: 8861: 8856: 8853: 8850: 8846: 8842: 8839: 8835: 8831: 8826: 8822: 8818: 8815: 8813: 8811: 8806: 8802: 8798: 8794: 8789: 8783: 8780: 8776: 8772: 8767: 8763: 8759: 8756: 8751: 8747: 8743: 8740: 8736: 8730: 8725: 8722: 8718: 8714: 8709: 8705: 8701: 8697: 8692: 8686: 8683: 8679: 8675: 8672: 8669: 8664: 8660: 8655: 8649: 8642: 8637: 8634: 8631: 8627: 8623: 8620: 8616: 8612: 8607: 8603: 8599: 8596: 8594: 8592: 8589: 8586: 8582: 8578: 8575: 8572: 8569: 8566: 8563: 8559: 8555: 8550: 8546: 8542: 8538: 8534: 8531: 8528: 8525: 8522: 8519: 8516: 8513: 8509: 8505: 8500: 8496: 8492: 8488: 8484: 8481: 8478: 8475: 8472: 8468: 8464: 8461: 8458: 8455: 8451: 8447: 8442: 8438: 8434: 8431: 8429: 8427: 8424: 8421: 8417: 8413: 8410: 8407: 8404: 8401: 8398: 8395: 8392: 8389: 8386: 8383: 8380: 8377: 8374: 8371: 8368: 8365: 8362: 8359: 8356: 8353: 8349: 8345: 8342: 8339: 8336: 8332: 8328: 8323: 8319: 8315: 8312: 8310: 8308: 8305: 8302: 8297: 8292: 8288: 8284: 8281: 8278: 8277: 8262: 8251:Derivation of 8249: 8232: 8212: 8192: 8189: 8186: 8183: 8180: 8177: 8174: 8171: 8168: 8165: 8162: 8159: 8156: 8153: 8150: 8138: 8135: 8134: 8133: 8116: 8113: 8110: 8106: 8100: 8097: 8094: 8090: 8084: 8080: 8073: 8070: 8067: 8064: 8060: 8055: 8052: 8050: 8048: 8045: 8042: 8039: 8036: 8033: 8030: 8027: 8024: 8021: 8020: 8011: 8007: 8003: 7996: 7992: 7988: 7985: 7982: 7979: 7976: 7970: 7961: 7957: 7953: 7950: 7946: 7941: 7938: 7936: 7934: 7929: 7925: 7921: 7918: 7915: 7912: 7909: 7904: 7899: 7898: 7884: 7883: 7868: 7863: 7859: 7855: 7850: 7846: 7842: 7839: 7836: 7833: 7830: 7827: 7824: 7822: 7820: 7817: 7814: 7811: 7808: 7807: 7803: 7797: 7794: 7790: 7786: 7781: 7777: 7773: 7770: 7765: 7761: 7757: 7754: 7750: 7744: 7739: 7736: 7734: 7732: 7729: 7726: 7723: 7720: 7717: 7714: 7713: 7710: 7705: 7702: 7698: 7694: 7691: 7688: 7683: 7679: 7675: 7670: 7663: 7658: 7655: 7652: 7648: 7644: 7641: 7639: 7637: 7634: 7631: 7628: 7625: 7621: 7617: 7614: 7611: 7610: 7596: 7595: 7584: 7581: 7578: 7575: 7572: 7569: 7566: 7563: 7560: 7557: 7554: 7551: 7548: 7545: 7542: 7538: 7534: 7531: 7528: 7525: 7522: 7519: 7516: 7513: 7509: 7505: 7502: 7483: 7480: 7468: 7465: 7445: 7425: 7420: 7416: 7412: 7409: 7406: 7401: 7397: 7393: 7390: 7387: 7384: 7381: 7378: 7375: 7372: 7369: 7366: 7363: 7360: 7357: 7334: 7329: 7325: 7321: 7318: 7315: 7310: 7306: 7302: 7299: 7295: 7274: 7251: 7231: 7209: 7205: 7182: 7178: 7174: 7169: 7165: 7161: 7156: 7152: 7137: 7136: 7116: 7113: 7111: 7109: 7106: 7105: 7102: 7097: 7094: 7090: 7086: 7083: 7080: 7075: 7070: 7067: 7065: 7063: 7058: 7054: 7050: 7047: 7044: 7039: 7035: 7031: 7028: 7027: 7024: 7019: 7016: 7012: 7008: 7003: 6999: 6995: 6992: 6987: 6983: 6979: 6974: 6969: 6966: 6964: 6962: 6958: 6954: 6951: 6950: 6947: 6942: 6938: 6934: 6929: 6925: 6921: 6918: 6915: 6912: 6909: 6907: 6905: 6902: 6901: 6874: 6865:and precision 6854: 6838: 6835: 6799: 6796: 6783: 6763: 6743: 6723: 6720: 6716: 6712: 6709: 6706: 6703: 6700: 6697: 6694: 6674: 6671: 6667: 6663: 6660: 6657: 6654: 6651: 6648: 6645: 6625: 6614: 6613: 6602: 6596: 6593: 6590: 6587: 6584: 6579: 6575: 6569: 6566: 6563: 6560: 6557: 6554: 6548: 6542: 6539: 6536: 6533: 6528: 6525: 6522: 6519: 6502: 6501: 6490: 6487: 6484: 6481: 6478: 6475: 6472: 6463: 6459: 6456: 6453: 6450: 6445: 6441: 6437: 6432: 6429: 6426: 6416: 6413: 6410: 6407: 6404: 6401: 6396: 6392: 6388: 6385: 6362: 6359: 6356: 6351: 6347: 6343: 6340: 6320: 6317: 6314: 6309: 6304: 6301: 6298: 6274: 6254: 6251: 6248: 6228: 6225: 6222: 6202: 6179: 6176: 6173: 6153: 6150: 6147: 6142: 6137: 6134: 6131: 6111: 6108: 6105: 6100: 6095: 6092: 6089: 6060: 6057: 6005: 6000: 5962: 5959: 5955: 5951: 5947: 5943: 5940: 5937: 5934: 5931: 5928: 5921: 5916: 5913: 5909: 5904: 5870: 5865: 5861: 5845: 5844: 5828: 5825: 5822: 5818: 5814: 5810: 5806: 5803: 5800: 5797: 5794: 5791: 5784: 5779: 5776: 5772: 5767: 5763: 5760: 5756: 5752: 5747: 5742: 5737: 5732: 5727: 5723: 5719: 5716: 5690: 5686: 5682: 5677: 5672: 5667: 5662: 5657: 5653: 5630: 5626: 5597: 5594: 5590: 5586: 5582: 5578: 5575: 5572: 5569: 5566: 5563: 5556: 5551: 5548: 5544: 5539: 5527: 5526: 5510: 5505: 5500: 5494: 5491: 5487: 5483: 5479: 5475: 5472: 5469: 5466: 5463: 5460: 5453: 5448: 5445: 5441: 5436: 5431: 5427: 5421: 5418: 5414: 5410: 5406: 5402: 5399: 5396: 5393: 5390: 5387: 5380: 5375: 5372: 5368: 5363: 5358: 5352: 5349: 5345: 5341: 5336: 5331: 5326: 5321: 5316: 5312: 5286: 5282: 5259: 5254: 5250: 5234: 5233: 5222: 5218: 5214: 5209: 5204: 5199: 5194: 5190: 5184: 5179: 5176: 5173: 5169: 5165: 5162: 5158: 5154: 5151: 5126: 5121: 5116: 5111: 5106: 5083: 5058: 5054: 5050: 5047: 5035: 5032: 5019: 5016: 5011: 5006: 5001: 4996: 4992: 4988: 4983: 4978: 4973: 4968: 4964: 4960: 4957: 4953: 4949: 4944: 4940: 4919: 4916: 4910: 4906: 4901: 4896: 4892: 4888: 4885: 4880: 4875: 4870: 4865: 4860: 4855: 4850: 4846: 4823: 4798: 4795: 4792: 4789: 4786: 4780: 4777: 4772: 4749: 4745: 4724: 4721: 4717: 4713: 4708: 4703: 4698: 4695: 4675: 4671: 4667: 4662: 4657: 4652: 4649: 4629: 4624: 4619: 4614: 4609: 4605: 4584: 4579: 4574: 4569: 4564: 4560: 4539: 4534: 4529: 4505: 4500: 4475: 4472: 4467: 4463: 4459: 4454: 4449: 4446: 4443: 4440: 4437: 4433: 4429: 4426: 4423: 4420: 4416: 4412: 4409: 4381: 4377: 4373: 4370: 4359: 4358: 4347: 4343: 4336: 4331: 4326: 4321: 4316: 4311: 4306: 4301: 4297: 4291: 4287: 4283: 4279: 4275: 4272: 4266: 4263: 4259: 4253: 4248: 4243: 4238: 4233: 4228: 4223: 4218: 4214: 4208: 4203: 4200: 4193: 4188: 4182: 4178: 4172: 4169: 4166: 4162: 4158: 4153: 4148: 4143: 4138: 4133: 4128: 4125: 4122: 4119: 4114: 4109: 4104: 4099: 4094: 4089: 4084: 4080: 4076: 4070: 4067: 4062: 4058: 4055: 4052: 4047: 4043: 4039: 4034: 4029: 4024: 4021: 4011: 4006: 4000: 3996: 3992: 3988: 3985: 3982: 3979: 3975: 3971: 3968: 3954: 3953: 3942: 3938: 3931: 3926: 3921: 3916: 3911: 3906: 3901: 3896: 3892: 3886: 3882: 3878: 3874: 3870: 3867: 3861: 3858: 3854: 3848: 3843: 3838: 3833: 3828: 3823: 3818: 3813: 3809: 3803: 3798: 3795: 3789: 3785: 3781: 3778: 3774: 3769: 3763: 3760: 3757: 3753: 3749: 3744: 3739: 3734: 3729: 3724: 3719: 3716: 3713: 3710: 3705: 3700: 3695: 3690: 3685: 3680: 3675: 3671: 3667: 3661: 3658: 3653: 3649: 3646: 3643: 3638: 3634: 3630: 3625: 3620: 3615: 3612: 3603: 3599: 3595: 3592: 3587: 3583: 3579: 3576: 3570: 3567: 3562: 3557: 3552: 3547: 3543: 3519: 3516: 3510: 3506: 3501: 3495: 3491: 3486: 3483: 3479: 3458: 3455: 3450: 3445: 3440: 3435: 3431: 3427: 3422: 3417: 3412: 3407: 3402: 3397: 3392: 3388: 3384: 3381: 3376: 3371: 3366: 3361: 3357: 3353: 3348: 3343: 3338: 3333: 3328: 3323: 3318: 3314: 3310: 3307: 3303: 3299: 3294: 3290: 3278: 3277: 3266: 3263: 3260: 3257: 3254: 3251: 3245: 3242: 3237: 3229: 3224: 3221: 3217: 3213: 3210: 3207: 3202: 3198: 3194: 3191: 3166: 3153: 3152: 3139: 3134: 3129: 3125: 3121: 3118: 3115: 3112: 3109: 3104: 3100: 3096: 3090: 3087: 3082: 3078: 3075: 3070: 3066: 3062: 3059: 3056: 3050: 3047: 3042: 3038: 3035: 3032: 3029: 3026: 3023: 3017: 3014: 3009: 2978: 2975: 2952: 2949: 2946: 2941: 2919: 2895: 2892: 2888: 2884: 2880: 2876: 2873: 2870: 2867: 2864: 2861: 2856: 2852: 2823: 2820: 2817: 2812: 2787: 2783: 2779: 2776: 2773: 2770: 2750: 2747: 2744: 2739: 2717: 2713: 2709: 2705: 2701: 2698: 2678: 2658: 2655: 2652: 2647: 2625: 2605: 2585: 2565: 2562: 2559: 2554: 2532: 2512: 2508: 2504: 2501: 2498: 2495: 2478: 2477: 2466: 2463: 2460: 2455: 2450: 2447: 2444: 2441: 2438: 2435: 2429: 2426: 2421: 2417: 2413: 2409: 2405: 2401: 2397: 2393: 2390: 2387: 2384: 2381: 2378: 2374: 2370: 2367: 2364: 2361: 2357: 2350: 2344: 2339: 2336: 2333: 2330: 2327: 2324: 2318: 2315: 2310: 2306: 2303: 2299: 2295: 2292: 2289: 2286: 2272: 2271: 2260: 2256: 2252: 2249: 2246: 2243: 2240: 2236: 2232: 2228: 2224: 2220: 2216: 2213: 2210: 2207: 2204: 2201: 2197: 2193: 2190: 2187: 2184: 2180: 2173: 2167: 2162: 2159: 2156: 2153: 2150: 2147: 2141: 2138: 2133: 2114:expected value 2110: 2109: 2098: 2094: 2090: 2087: 2084: 2081: 2078: 2074: 2070: 2066: 2062: 2058: 2054: 2051: 2048: 2045: 2042: 2039: 2035: 2031: 2028: 2025: 2022: 2018: 2014: 2010: 2006: 2003: 1997: 1992: 1988: 1985: 1982: 1979: 1976: 1973: 1967: 1964: 1959: 1935: 1931: 1927: 1924: 1904: 1901: 1898: 1894: 1890: 1887: 1881: 1876: 1854: 1833: 1829: 1825: 1822: 1811: 1810: 1798: 1794: 1790: 1786: 1783: 1780: 1777: 1773: 1769: 1765: 1761: 1758: 1752: 1747: 1743: 1739: 1735: 1731: 1727: 1723: 1719: 1716: 1713: 1710: 1707: 1704: 1700: 1696: 1693: 1690: 1687: 1683: 1679: 1675: 1671: 1668: 1662: 1657: 1653: 1649: 1645: 1641: 1637: 1634: 1631: 1628: 1625: 1619: 1615: 1611: 1607: 1603: 1600: 1595: 1591: 1587: 1584: 1578: 1575: 1571: 1567: 1563: 1559: 1556: 1550: 1545: 1541: 1538: 1535: 1532: 1529: 1526: 1520: 1517: 1512: 1485: 1481: 1477: 1474: 1469: 1465: 1461: 1457: 1453: 1450: 1444: 1441: 1437: 1433: 1429: 1425: 1422: 1407:Main article: 1404: 1401: 1388: 1384: 1380: 1376: 1372: 1369: 1366: 1363: 1359: 1355: 1352: 1331: 1310: 1306: 1302: 1299: 1278: 1266: 1265: 1250: 1246: 1241: 1237: 1233: 1229: 1224: 1220: 1216: 1213: 1207: 1202: 1196: 1192: 1188: 1185: 1182: 1178: 1174: 1170: 1166: 1163: 1157: 1151: 1147: 1143: 1140: 1135: 1131: 1127: 1124: 1121: 1117: 1113: 1109: 1105: 1102: 1096: 1093: 1089: 1085: 1081: 1077: 1074: 1059: 1058:Intractability 1056: 1036: 1035: 1024: 1018: 1014: 1010: 1006: 1002: 999: 994: 990: 986: 983: 977: 974: 971: 967: 963: 960: 954: 949: 945: 942: 939: 936: 933: 930: 924: 921: 916: 888: 885: 872: 869: 866: 863: 860: 857: 837: 833: 829: 826: 806: 803: 800: 797: 794: 791: 768: 764: 760: 756: 752: 749: 729: 725: 721: 718: 698: 694: 690: 686: 682: 679: 659: 655: 651: 648: 637: 636: 625: 622: 618: 614: 611: 608: 605: 601: 597: 593: 589: 586: 564: 561: 557: 553: 550: 525: 504: 499: 495: 491: 486: 482: 478: 475: 471: 454: 451: 449: 446: 406:Gibbs sampling 394: 393: 366: 314: 313: 311: 310: 303: 296: 288: 285: 284: 283: 282: 267: 266: 265: 264: 259: 254: 246: 245: 241: 240: 239: 238: 233: 225: 224: 220: 219: 218: 217: 212: 207: 199: 198: 194: 193: 192: 191: 186: 181: 176: 171: 163: 162: 158: 157: 156: 155: 150: 145: 140: 132: 131: 130:Model building 127: 126: 125: 124: 119: 114: 109: 104: 99: 94: 89: 87:Bayes' theorem 84: 79: 71: 70: 66: 65: 47: 46: 38: 37: 31: 30: 15: 9: 6: 4: 3: 2: 26327: 26316: 26313: 26312: 26310: 26300: 26297: 26294: 26290: 26287: 26284: 26281: 26278: 26275: 26272: 26269: 26266: 26262: 26258: 26255: 26252: 26248: 26245: 26244: 26232: 26226: 26218: 26212: 26208: 26204: 26198: 26183: 26177: 26170: 26169: 26161: 26153: 26149: 26145: 26141: 26136: 26131: 26127: 26123: 26116: 26114: 26112: 26096: 26092: 26088: 26084: 26080: 26073: 26071: 26069: 26059: 26054: 26050: 26046: 26042: 26038: 26034: 26027: 26025: 26015: 26010: 26003: 26001: 25999: 25997: 25992: 25981: 25978: 25975: 25972: 25969: 25966: 25963: 25960: 25957: 25954: 25951: 25948: 25947: 25941: 25939: 25928: 25911: 25882: 25844: 25840: 25811: 25800: 25792: 25774: 25771: 25767: 25758: 25754: 25750: 25728: 25725: 25721: 25712: 25695: 25692: 25688: 25679: 25678: 25677: 25657: 25650: 25621: 25614: 25611: 25585: 25582: 25579: 25575: 25552: 25548: 25525: 25496: 25492: 25469: 25440: 25411: 25407: 25384: 25381: 25377: 25368: 25351: 25348: 25344: 25321: 25317: 25295: 25272: 25269: 25266: 25262: 25253: 25236: 25233: 25229: 25206: 25177: 25139: 25135: 25112: 25083: 25078: 25054: 25050: 25027: 24998: 24969: 24965: 24956: 24955: 24954: 24951: 24937: 24913: 24904: 24894: 24889: 24874: 24850: 24840: 24835: 24820: 24815: 24811: 24805: 24797: 24793: 24789: 24785: 24780: 24776: 24772: 24769: 24764: 24760: 24756: 24751: 24744: 24732: 24725: 24722: 24715: 24710: 24707: 24703: 24695: 24694: 24693: 24671: 24665: 24661: 24655: 24650: 24647: 24644: 24640: 24635: 24631: 24628: 24620: 24616: 24609: 24606: 24602: 24591: 24587: 24578: 24575: 24571: 24567: 24561: 24559: 24552: 24545: 24542: 24535: 24532: 24518: 24503: 24500: 24497: 24494: 24491: 24488: 24485: 24482: 24478: 24473: 24469: 24466: 24463: 24460: 24455: 24451: 24444: 24440: 24435: 24430: 24427: 24424: 24420: 24416: 24403: 24388: 24385: 24379: 24373: 24371: 24364: 24357: 24347: 24344: 24332: 24322: 24317: 24302: 24278: 24268: 24263: 24248: 24244: 24240: 24235: 24232: 24227: 24223: 24219: 24216: 24214: 24201: 24196: 24191: 24186: 24171: 24147: 24142: 24137: 24132: 24116: 24109: 24099: 24094: 24089: 24071: 24070: 24069: 24047: 24042: 24037: 24032: 24017: 23993: 23988: 23983: 23978: 23962: 23955: 23945: 23940: 23935: 23898: 23883: 23880: 23874: 23846: 23842: 23838: 23835: 23829: 23804: 23801: 23797: 23774: 23771: 23767: 23725: 23706: 23701: 23683: 23664: 23659: 23644: 23641: 23637: 23631: 23626: 23623: 23620: 23616: 23608: 23604: 23600: 23595: 23593: 23586: 23570: 23558: 23555: 23551: 23545: 23540: 23537: 23534: 23530: 23522: 23518: 23514: 23509: 23507: 23500: 23475: 23472: 23468: 23462: 23457: 23454: 23451: 23447: 23443: 23441: 23434: 23430: 23420: 23416: 23412: 23407: 23403: 23399: 23397: 23390: 23386: 23364: 23359: 23354: 23349: 23322: 23317: 23312: 23307: 23280: 23276: 23272: 23267: 23263: 23255: 23251: 23245: 23241: 23234: 23229: 23217: 23213: 23209: 23204: 23201: 23196: 23186: 23184: 23177: 23174: 23169: 23150: 23129: 23125: 23121: 23116: 23111: 23104: 23100: 23089: 23085: 23081: 23076: 23074: 23067: 23051: 23047: 23043: 23038: 23034: 23030: 23028: 23021: 23017: 23005: 23004: 23003: 22981: 22977: 22973: 22968: 22958: 22953: 22928: 22925: 22915: 22903: 22899: 22892: 22887: 22877: 22872: 22867: 22852: 22844: 22834: 22829: 22824: 22814: 22810: 22802: 22801: 22800: 22798: 22780: 22751: 22746: 22716: 22708: 22705: 22700: 22690: 22685: 22680: 22675: 22670: 22650: 22647: 22639: 22636: 22632: 22625: 22617: 22612: 22609: 22606: 22602: 22598: 22590: 22580: 22575: 22570: 22562: 22559: 22556: 22553: 22545: 22535: 22530: 22525: 22515: 22511: 22507: 22504: 22497: 22496: 22495: 22475: 22472: 22468: 22462: 22457: 22454: 22451: 22447: 22443: 22438: 22434: 22426: 22425: 22424: 22404: 22400: 22396: 22391: 22387: 22383: 22378: 22374: 22366: 22365: 22364: 22342: 22335: 22332: 22329: 22322: 22313: 22309: 22301: 22300: 22299: 22298: 22278: 22269: 22265: 22232: 22227: 22223: 22219: 22216: 22211: 22208: 22204: 22198: 22193: 22190: 22187: 22183: 22177: 22172: 22169: 22166: 22162: 22158: 22153: 22149: 22145: 22142: 22137: 22132: 22129: 22126: 22122: 22115: 22112: 22107: 22103: 22096: 22094: 22081: 22071: 22067: 22056: 22053: 22050: 22044: 22029: 22022: 22015: 22012: 22009: 22006: 22004: 21995: 21986: 21982: 21978: 21975: 21964: 21963: 21962: 21959: 21940: 21930: 21925: 21920: 21912: 21907: 21902: 21899: 21896: 21892: 21884: 21877: 21849: 21845: 21841: 21837: 21830: 21821: 21801: 21798: 21794: 21790: 21782: 21779: 21775: 21768: 21758: 21757: 21756: 21753: 21739: 21736: 21733: 21730: 21727: 21705: 21702: 21698: 21675: 21660: 21631: 21627: 21598: 21595: 21591: 21585: 21580: 21577: 21574: 21570: 21563: 21560: 21556: 21550: 21545: 21542: 21538: 21530: 21529: 21528: 21507: 21504: 21500: 21494: 21491: 21487: 21481: 21476: 21473: 21470: 21466: 21460: 21455: 21452: 21449: 21445: 21441: 21425: 21421: 21413: 21412: 21411: 21397: 21375: 21372: 21368: 21340: 21337: 21333: 21327: 21324: 21320: 21314: 21309: 21306: 21303: 21299: 21293: 21288: 21285: 21282: 21278: 21274: 21258: 21254: 21246: 21245: 21244: 21217: 21213: 21209: 21206: 21175: 21170: 21165: 21160: 21145: 21121: 21116: 21111: 21106: 21090: 21083: 21073: 21068: 21063: 21051: 21048: 21043: 21037: 21034: 21028: 21025: 21020: 21017: 21012: 20999: 20984: 20981: 20975: 20967: 20964: 20959: 20951: 20947: 20943: 20940: 20934: 20928: 20923: 20920: 20916: 20912: 20909: 20902: 20901: 20900: 20874: 20869: 20866: 20862: 20858: 20855: 20850: 20847: 20843: 20837: 20832: 20829: 20826: 20822: 20816: 20811: 20808: 20805: 20801: 20797: 20795: 20782: 20768: 20764: 20760: 20752: 20741: 20738: 20735: 20729: 20719: 20715: 20706: 20696: 20692: 20681: 20678: 20675: 20669: 20663: 20654: 20652: 20639: 20625: 20621: 20617: 20613: 20609: 20601: 20590: 20587: 20584: 20578: 20568: 20564: 20560: 20556: 20547: 20545: 20527: 20523: 20519: 20516: 20505: 20504: 20503: 20500: 20478: 20474: 20470: 20466: 20459: 20445: 20442: 20431: 20427: 20423: 20419: 20415: 20404: 20372: 20370: 20365: 20356: 20353: 20348: 20343: 20338: 20334: 20331: 20328: 20325: 20322: 20316: 20307: 20302: 20299: 20296: 20292: 20286: 20282: 20275: 20272: 20269: 20263: 20259: 20253: 20249: 20245: 20242: 20238: 20233: 20226: 20222: 20218: 20215: 20195: 20193: 20185: 20182: 20171: 20163: 20149: 20146: 20133: 20130: 20125: 20122: 20117: 20113: 20109: 20106: 20101: 20097: 20090: 20087: 20084: 20081: 20078: 20052: 20049: 20038: 20035: 20033: 20025: 20022: 20014: 19991: 19983: 19979: 19966: 19963: 19940: 19936: 19923: 19920: 19915: 19911: 19907: 19904: 19896: 19892: 19888: 19867: 19857: 19853: 19849: 19841: 19838: 19831: 19826: 19824: 19811: 19807: 19803: 19777: 19776: 19775: 19749: 19745: 19741: 19736: 19726: 19721: 19699: 19694: 19691: 19688: 19684: 19680: 19678: 19662: 19650: 19647: 19637: 19625: 19621: 19614: 19609: 19604: 19599: 19594: 19589: 19572: 19567: 19564: 19561: 19557: 19553: 19551: 19538: 19534: 19527: 19518: 19515: 19510: 19506: 19500: 19496: 19490: 19485: 19482: 19479: 19475: 19466: 19456: 19452: 19435: 19431: 19427: 19415: 19413: 19404: 19397: 19386: 19383: 19379: 19373: 19369: 19363: 19358: 19355: 19352: 19348: 19342: 19337: 19334: 19331: 19327: 19323: 19321: 19312: 19308: 19297: 19286: 19283: 19279: 19268: 19265: 19260: 19250: 19245: 19240: 19235: 19230: 19208: 19203: 19200: 19197: 19193: 19187: 19182: 19179: 19176: 19172: 19168: 19166: 19153: 19149: 19145: 19137: 19126: 19115: 19114: 19113: 19085: 19074: 19070: 19063: 19056: 19049: 19042: 19038: 19027: 19016: 19012: 19008: 19000: 18989: 18986: 18975: 18971: 18967: 18963: 18959: 18951: 18940: 18933: 18932: 18931: 18925: 18921: 18903: 18900: 18897: 18894: 18891: 18862: 18859: 18856: 18853: 18850: 18845: 18836: 18821: 18800: 18792: 18777: 18774: 18771: 18768: 18765: 18743: 18740: 18736: 18710: 18700: 18697: 18694: 18689: 18676: 18664: 18661: 18645: 18625: 18600: 18590: 18587: 18584: 18579: 18566: 18554: 18553: 18552: 18546: 18542: 18509: 18494: 18486: 18482: 18478: 18475: 18471: 18467: 18463: 18430: 18427: 18423: 18419: 18401: 18397: 18376: 18369:of dimension 18368: 18364: 18363: 18362: 18336: 18334: 18329: 18317: 18315: 18310: 18298: 18295: 18286: 18282: 18269: 18262: 18258: 18252: 18237: 18235: 18228: 18225: 18222: 18219: 18216: 18198: 18194: 18191: 18185: 18182: 18179: 18177: 18169: 18166: 18163: 18160: 18157: 18137: 18134: 18124: 18112: 18108: 18101: 18096: 18091: 18076: 18074: 18067: 18064: 18061: 18058: 18055: 18050: 18036: 18032: 18028: 18023: 18003: 18001: 17994: 17991: 17988: 17985: 17982: 17963: 17959: 17955: 17952: 17946: 17943: 17940: 17938: 17932: 17920: 17919: 17918: 17916: 17908: 17904: 17900: 17896: 17892: 17888: 17884: 17880: 17876: 17872: 17867: 17855: 17851: 17847: 17842: 17841:mixture model 17837: 17833: 17829: 17826: 17821: 17820: 17819: 17817: 17812: 17810: 17796: 17793: 17789: 17785: 17781: 17777: 17773: 17770: 17766: 17762: 17758: 17754: 17750: 17746: 17742: 17741: 17740: 17729: 17725: 17722: 17718: 17715: 17711: 17707: 17704: 17700: 17682: 17667: 17650: 17635: 17631: 17611: 17597: 17586: 17583: 17580: 17574: 17569: 17566: 17563: 17555: 17544: 17539: 17524: 17519: 17515: 17511: 17508: 17480: 17475: 17460: 17455: 17451: 17428: 17413: 17396: 17386: 17383: 17380: 17375: 17359: 17356: 17332: 17324: 17313: 17305: 17280: 17255: 17229: 17225: 17224: 17223: 17221: 17217: 17202: 17200: 17195: 17190: 17187: 17180: 17163: 17159: 17138: 17133: 17129: 17120: 17103: 17099: 17078: 17073: 17069: 17060: 17043: 17039: 17030: 17016: 17011: 17007: 16984: 16980: 16959: 16954: 16949: 16945: 16939: 16934: 16931: 16928: 16924: 16901: 16897: 16891: 16886: 16883: 16880: 16876: 16867: 16866: 16865: 16863: 16845: 16841: 16818: 16814: 16785: 16779: 16774: 16770: 16764: 16760: 16756: 16752: 16746: 16741: 16737: 16731: 16726: 16723: 16720: 16716: 16711: 16707: 16702: 16698: 16693: 16687: 16683: 16677: 16672: 16669: 16666: 16662: 16658: 16653: 16649: 16643: 16639: 16634: 16630: 16627: 16623: 16617: 16612: 16608: 16604: 16599: 16596: 16591: 16587: 16582: 16575: 16572: 16567: 16563: 16555: 16549: 16546: 16541: 16536: 16532: 16528: 16526: 16519: 16515: 16505: 16501: 16498: 16495: 16489: 16484: 16480: 16476: 16474: 16467: 16463: 16453: 16449: 16443: 16438: 16435: 16432: 16428: 16422: 16419: 16414: 16412: 16401: 16387: 16383: 16377: 16373: 16364: 16361: 16356: 16352: 16345: 16343: 16336: 16332: 16321: 16318: 16313: 16309: 16297: 16291: 16288: 16283: 16279: 16273: 16269: 16262: 16260: 16253: 16249: 16237: 16236: 16235: 16213: 16207: 16202: 16198: 16192: 16188: 16184: 16180: 16174: 16169: 16165: 16159: 16154: 16151: 16148: 16144: 16139: 16135: 16130: 16126: 16121: 16115: 16111: 16105: 16100: 16097: 16094: 16090: 16086: 16081: 16077: 16071: 16067: 16062: 16058: 16055: 16051: 16045: 16040: 16036: 16032: 16027: 16024: 16019: 16015: 16010: 16003: 16000: 15995: 15991: 15983: 15977: 15974: 15969: 15964: 15960: 15956: 15954: 15945: 15939: 15934: 15930: 15924: 15920: 15916: 15912: 15906: 15901: 15897: 15891: 15886: 15883: 15880: 15876: 15871: 15867: 15861: 15855: 15850: 15841: 15835: 15831: 15825: 15820: 15817: 15814: 15810: 15806: 15801: 15797: 15791: 15787: 15782: 15778: 15775: 15767: 15763: 15756: 15751: 15740: 15737: 15732: 15728: 15720: 15714: 15711: 15706: 15701: 15697: 15693: 15691: 15682: 15676: 15671: 15667: 15661: 15657: 15653: 15649: 15643: 15638: 15634: 15628: 15623: 15620: 15617: 15613: 15608: 15604: 15601: 15597: 15591: 15587: 15581: 15576: 15573: 15570: 15566: 15562: 15557: 15553: 15547: 15543: 15538: 15534: 15531: 15526: 15522: 15515: 15512: 15507: 15503: 15495: 15491: 15486: 15476: 15473: 15468: 15463: 15459: 15455: 15453: 15444: 15438: 15428: 15424: 15420: 15417: 15409: 15405: 15401: 15396: 15388: 15385: 15380: 15376: 15367: 15362: 15359: 15356: 15352: 15347: 15343: 15338: 15328: 15325: 15320: 15315: 15311: 15307: 15305: 15298: 15294: 15282: 15281: 15280: 15264: 15260: 15230: 15225: 15221: 15217: 15212: 15209: 15204: 15200: 15196: 15194: 15188: 15182: 15179: 15174: 15170: 15166: 15161: 15157: 15153: 15148: 15144: 15139: 15135: 15123: 15112: 15106: 15097: 15091: 15085: 15082: 15079: 15077: 15071: 15066: 15062: 15058: 15054: 15042: 15038: 15034: 15032: 15026: 15020: 15017: 15012: 15008: 15004: 14999: 14995: 14991: 14988: 14984: 14980: 14966: 14962: 14956: 14952: 14946: 14944: 14934: 14930: 14926: 14921: 14917: 14913: 14910: 14904: 14890: 14889: 14888: 14865: 14859: 14849: 14845: 14841: 14838: 14830: 14826: 14822: 14817: 14809: 14806: 14801: 14797: 14788: 14783: 14780: 14777: 14773: 14768: 14764: 14759: 14749: 14746: 14741: 14736: 14732: 14728: 14726: 14719: 14715: 14705: 14701: 14698: 14695: 14689: 14684: 14680: 14676: 14674: 14667: 14663: 14650: 14646: 14642: 14637: 14633: 14629: 14626: 14620: 14617: 14614: 14612: 14604: 14596: 14591: 14587: 14575: 14574: 14573: 14550: 14546: 14540: 14535: 14532: 14529: 14525: 14519: 14516: 14511: 14509: 14498: 14485: 14479: 14474: 14463: 14460: 14455: 14451: 14444: 14442: 14435: 14431: 14420: 14417: 14412: 14408: 14396: 14390: 14387: 14382: 14378: 14372: 14368: 14361: 14359: 14352: 14348: 14335: 14332: 14327: 14323: 14319: 14314: 14310: 14306: 14303: 14290: 14288: 14280: 14272: 14267: 14263: 14251: 14250: 14249: 14222: 14216: 14206: 14202: 14198: 14195: 14187: 14183: 14179: 14174: 14166: 14163: 14158: 14154: 14145: 14140: 14137: 14134: 14130: 14125: 14121: 14116: 14106: 14103: 14098: 14093: 14089: 14085: 14083: 14076: 14072: 14062: 14058: 14055: 14052: 14046: 14041: 14037: 14033: 14031: 14024: 14020: 14007: 14003: 13999: 13994: 13990: 13986: 13983: 13977: 13974: 13971: 13969: 13961: 13953: 13948: 13944: 13932: 13931: 13930: 13928: 13909: 13901: 13896: 13892: 13859: 13855: 13849: 13839: 13835: 13831: 13828: 13820: 13816: 13812: 13807: 13799: 13796: 13791: 13787: 13778: 13773: 13770: 13767: 13763: 13758: 13754: 13749: 13739: 13736: 13731: 13728: 13725: 13722: 13717: 13714: 13709: 13706: 13703: 13700: 13695: 13692: 13687: 13684: 13679: 13675: 13671: 13668: 13665: 13662: 13656: 13653: 13648: 13644: 13637: 13635: 13622: 13616: 13610: 13607: 13604: 13601: 13592: 13589: 13586: 13580: 13577: 13574: 13571: 13565: 13562: 13559: 13556: 13545: 13542: 13539: 13533: 13528: 13520: 13518: 13510: 13502: 13497: 13493: 13489: 13486: 13475: 13474: 13473: 13456: 13448: 13443: 13439: 13401: 13397: 13391: 13386: 13383: 13380: 13376: 13370: 13367: 13362: 13360: 13349: 13336: 13330: 13325: 13314: 13311: 13306: 13302: 13295: 13293: 13286: 13282: 13271: 13268: 13263: 13259: 13247: 13241: 13238: 13233: 13229: 13223: 13219: 13212: 13210: 13203: 13199: 13186: 13183: 13178: 13174: 13170: 13165: 13161: 13157: 13154: 13141: 13139: 13131: 13123: 13118: 13114: 13102: 13101: 13100: 13097: 13095: 13070: 13066: 13062: 13057: 13052: 13045: 13042: 13037: 13033: 13025: 13021: 13015: 13010: 13007: 13004: 13000: 12996: 12991: 12987: 12981: 12977: 12970: 12967: 12963: 12955: 12949: 12944: 12933: 12930: 12925: 12921: 12912: 12909: 12904: 12901: 12899: 12889: 12885: 12881: 12877: 12871: 12866: 12859: 12856: 12851: 12847: 12839: 12835: 12829: 12824: 12821: 12818: 12814: 12810: 12805: 12801: 12795: 12791: 12784: 12781: 12777: 12769: 12766: 12761: 12757: 12749: 12743: 12736: 12730: 12725: 12714: 12711: 12709: 12699: 12695: 12691: 12687: 12682: 12676: 12671: 12665: 12662: 12657: 12653: 12645: 12641: 12635: 12630: 12627: 12624: 12620: 12616: 12611: 12607: 12601: 12597: 12590: 12585: 12582: 12578: 12572: 12569: 12564: 12560: 12552: 12548: 12542: 12537: 12534: 12531: 12527: 12523: 12518: 12514: 12508: 12504: 12497: 12493: 12490: 12485: 12481: 12476: 12469: 12466: 12461: 12457: 12449: 12443: 12436: 12430: 12425: 12414: 12411: 12409: 12399: 12395: 12391: 12387: 12382: 12376: 12371: 12365: 12362: 12357: 12353: 12345: 12341: 12335: 12330: 12327: 12324: 12320: 12316: 12311: 12307: 12301: 12297: 12290: 12285: 12280: 12275: 12269: 12266: 12261: 12257: 12249: 12245: 12239: 12234: 12231: 12228: 12224: 12220: 12215: 12211: 12205: 12201: 12194: 12189: 12186: 12182: 12176: 12173: 12168: 12164: 12156: 12152: 12146: 12141: 12138: 12135: 12131: 12127: 12122: 12118: 12112: 12108: 12101: 12097: 12094: 12089: 12085: 12080: 12073: 12070: 12065: 12061: 12053: 12047: 12040: 12034: 12029: 12018: 12015: 12013: 12003: 11999: 11995: 11991: 11986: 11982: 11978: 11972: 11969: 11964: 11960: 11952: 11948: 11942: 11937: 11934: 11931: 11927: 11923: 11918: 11914: 11908: 11904: 11897: 11893: 11890: 11885: 11881: 11876: 11869: 11866: 11861: 11857: 11849: 11843: 11836: 11830: 11825: 11814: 11811: 11809: 11799: 11795: 11791: 11787: 11783: 11777: 11774: 11769: 11765: 11757: 11751: 11748: 11743: 11739: 11731: 11727: 11721: 11716: 11713: 11710: 11706: 11702: 11697: 11693: 11687: 11683: 11676: 11672: 11669: 11664: 11660: 11653: 11650: 11645: 11641: 11633: 11627: 11620: 11614: 11609: 11598: 11595: 11593: 11583: 11579: 11575: 11571: 11567: 11563: 11557: 11553: 11547: 11542: 11539: 11536: 11532: 11528: 11523: 11519: 11513: 11509: 11504: 11500: 11497: 11492: 11488: 11481: 11478: 11473: 11469: 11461: 11455: 11448: 11442: 11437: 11426: 11423: 11421: 11411: 11407: 11403: 11399: 11393: 11388: 11384: 11378: 11374: 11370: 11366: 11360: 11355: 11351: 11345: 11340: 11337: 11334: 11330: 11325: 11321: 11318: 11314: 11308: 11304: 11298: 11293: 11290: 11287: 11283: 11279: 11274: 11270: 11264: 11260: 11255: 11251: 11248: 11243: 11239: 11232: 11229: 11224: 11220: 11212: 11206: 11199: 11193: 11188: 11177: 11174: 11172: 11162: 11158: 11154: 11150: 11144: 11139: 11135: 11129: 11125: 11121: 11118: 11113: 11109: 11103: 11099: 11095: 11092: 11087: 11083: 11077: 11073: 11069: 11065: 11059: 11055: 11049: 11044: 11041: 11038: 11034: 11029: 11025: 11022: 11018: 11012: 11008: 11002: 10997: 10994: 10991: 10987: 10982: 10978: 10975: 10971: 10965: 10960: 10956: 10950: 10945: 10942: 10939: 10935: 10930: 10925: 10919: 10912: 10906: 10901: 10890: 10887: 10885: 10875: 10871: 10867: 10863: 10854: 10849: 10845: 10841: 10838: 10833: 10829: 10825: 10822: 10817: 10813: 10804: 10800: 10796: 10788: 10784: 10780: 10777: 10772: 10768: 10764: 10761: 10756: 10751: 10747: 10738: 10733: 10730: 10727: 10723: 10718: 10712: 10705: 10699: 10694: 10683: 10680: 10678: 10668: 10664: 10660: 10656: 10650: 10640: 10636: 10632: 10629: 10621: 10617: 10613: 10608: 10600: 10597: 10592: 10588: 10579: 10574: 10571: 10568: 10564: 10559: 10553: 10546: 10540: 10535: 10524: 10521: 10519: 10511: 10503: 10498: 10494: 10490: 10487: 10476: 10475: 10474: 10460: 10452: 10434: 10430: 10409: 10400: 10398: 10379: 10371: 10366: 10362: 10338: 10330: 10325: 10321: 10300: 10291: 10277: 10257: 10231: 10225: 10222: 10219: 10213: 10208: 10183: 10161: 10157: 10134: 10130: 10109: 10080: 10076: 10072: 10068: 10062: 10052: 10048: 10044: 10041: 10033: 10029: 10025: 10020: 10012: 10009: 10004: 10000: 9991: 9986: 9983: 9980: 9976: 9971: 9965: 9958: 9952: 9947: 9936: 9933: 9931: 9921: 9917: 9913: 9909: 9903: 9899: 9894: 9890: 9884: 9874: 9870: 9866: 9863: 9854: 9850: 9846: 9841: 9833: 9829: 9823: 9819: 9814: 9806: 9803: 9798: 9794: 9784: 9779: 9774: 9771: 9768: 9764: 9759: 9755: 9750: 9742: 9740: 9730: 9726: 9722: 9718: 9711: 9708: 9705: 9702: 9699: 9696: 9693: 9690: 9687: 9682: 9678: 9674: 9671: 9663: 9660: 9654: 9650: 9645: 9637: 9633: 9626: 9623: 9620: 9617: 9614: 9611: 9608: 9605: 9597: 9594: 9587: 9582: 9579: 9576: 9572: 9567: 9563: 9558: 9550: 9546: 9540: 9536: 9531: 9527: 9521: 9511: 9507: 9503: 9500: 9491: 9487: 9483: 9478: 9470: 9466: 9460: 9456: 9451: 9443: 9440: 9435: 9431: 9421: 9416: 9411: 9408: 9405: 9401: 9396: 9392: 9387: 9379: 9377: 9367: 9363: 9359: 9355: 9349: 9345: 9340: 9336: 9330: 9320: 9316: 9312: 9309: 9300: 9294: 9291: 9288: 9285: 9282: 9279: 9276: 9273: 9270: 9265: 9261: 9257: 9254: 9246: 9243: 9237: 9233: 9228: 9220: 9216: 9211: 9205: 9201: 9196: 9188: 9185: 9180: 9176: 9166: 9160: 9157: 9154: 9151: 9148: 9145: 9142: 9139: 9131: 9128: 9122: 9116: 9111: 9108: 9105: 9101: 9096: 9092: 9087: 9079: 9077: 9067: 9063: 9059: 9055: 9047: 9043: 9038: 9034: 9028: 9018: 9014: 9010: 9007: 8998: 8994: 8986: 8983: 8978: 8973: 8969: 8961: 8958: 8954: 8950: 8945: 8937: 8933: 8925: 8921: 8916: 8908: 8905: 8900: 8896: 8886: 8882: 8874: 8871: 8867: 8859: 8854: 8851: 8848: 8844: 8840: 8837: 8833: 8829: 8824: 8816: 8814: 8804: 8800: 8796: 8792: 8787: 8781: 8778: 8770: 8765: 8761: 8754: 8749: 8745: 8741: 8738: 8734: 8723: 8720: 8716: 8712: 8707: 8699: 8695: 8690: 8684: 8681: 8677: 8673: 8670: 8667: 8662: 8658: 8653: 8640: 8635: 8632: 8629: 8625: 8621: 8618: 8614: 8610: 8605: 8597: 8595: 8587: 8584: 8580: 8573: 8567: 8564: 8561: 8557: 8553: 8548: 8540: 8536: 8529: 8526: 8523: 8517: 8514: 8511: 8507: 8503: 8498: 8490: 8486: 8479: 8476: 8473: 8470: 8459: 8456: 8453: 8449: 8445: 8440: 8432: 8430: 8422: 8419: 8415: 8408: 8402: 8399: 8396: 8393: 8387: 8384: 8381: 8375: 8372: 8369: 8366: 8360: 8357: 8354: 8351: 8340: 8337: 8334: 8330: 8326: 8321: 8313: 8311: 8303: 8295: 8290: 8286: 8282: 8279: 8268: 8267: 8266: 8259: 8255: 8248: 8246: 8230: 8210: 8187: 8181: 8175: 8169: 8166: 8160: 8157: 8154: 8148: 8114: 8111: 8108: 8104: 8098: 8095: 8092: 8088: 8082: 8078: 8068: 8058: 8053: 8051: 8043: 8040: 8037: 8034: 8031: 8025: 8022: 8009: 8005: 8001: 7994: 7986: 7983: 7980: 7974: 7968: 7959: 7955: 7951: 7948: 7944: 7939: 7937: 7927: 7923: 7919: 7916: 7913: 7910: 7889: 7888: 7887: 7861: 7857: 7853: 7848: 7844: 7840: 7837: 7831: 7828: 7825: 7823: 7815: 7809: 7801: 7795: 7792: 7784: 7779: 7775: 7768: 7763: 7759: 7755: 7752: 7748: 7737: 7735: 7727: 7724: 7721: 7715: 7703: 7700: 7696: 7692: 7689: 7686: 7681: 7677: 7661: 7656: 7653: 7650: 7646: 7642: 7640: 7632: 7629: 7626: 7623: 7612: 7601: 7600: 7599: 7579: 7573: 7567: 7564: 7561: 7555: 7549: 7546: 7543: 7540: 7529: 7526: 7520: 7517: 7514: 7511: 7500: 7493: 7492: 7491: 7489: 7479: 7466: 7463: 7443: 7418: 7414: 7410: 7407: 7404: 7399: 7395: 7391: 7388: 7385: 7382: 7376: 7373: 7367: 7364: 7361: 7355: 7348: 7327: 7323: 7319: 7316: 7313: 7308: 7304: 7297: 7272: 7265:We are given 7263: 7249: 7229: 7207: 7203: 7180: 7176: 7172: 7167: 7163: 7159: 7154: 7150: 7142: 7114: 7112: 7107: 7095: 7092: 7088: 7084: 7081: 7068: 7066: 7056: 7052: 7048: 7045: 7042: 7037: 7033: 7017: 7014: 7006: 7001: 6997: 6990: 6985: 6981: 6967: 6965: 6960: 6952: 6940: 6936: 6932: 6927: 6923: 6916: 6913: 6910: 6908: 6903: 6892: 6891: 6890: 6888: 6872: 6852: 6844: 6834: 6832: 6828: 6824: 6819: 6817: 6813: 6809: 6805: 6795: 6781: 6761: 6741: 6721: 6718: 6714: 6710: 6707: 6704: 6698: 6692: 6672: 6669: 6665: 6661: 6658: 6655: 6649: 6643: 6623: 6600: 6591: 6588: 6585: 6577: 6573: 6564: 6558: 6555: 6552: 6546: 6537: 6531: 6523: 6517: 6507: 6506: 6505: 6488: 6479: 6476: 6473: 6461: 6457: 6451: 6443: 6439: 6430: 6427: 6424: 6414: 6408: 6405: 6402: 6394: 6390: 6386: 6383: 6376: 6375: 6374: 6357: 6349: 6345: 6341: 6338: 6315: 6312: 6302: 6288: 6272: 6252: 6249: 6246: 6226: 6223: 6220: 6200: 6193: 6177: 6174: 6171: 6148: 6145: 6135: 6106: 6103: 6093: 6080: 6077:Consider two 6072: 6065: 6056: 6053: 6049: 6045: 6041: 6035: 6033: 6029: 6025: 6021: 6003: 5988: 5984: 5980: 5976: 5949: 5938: 5935: 5932: 5926: 5919: 5914: 5911: 5907: 5892: 5890: 5886: 5868: 5863: 5859: 5850: 5826: 5812: 5801: 5798: 5795: 5789: 5782: 5777: 5774: 5770: 5761: 5750: 5745: 5730: 5725: 5721: 5717: 5714: 5707: 5706: 5705: 5702: 5680: 5675: 5660: 5655: 5651: 5628: 5624: 5615: 5611: 5584: 5573: 5570: 5567: 5561: 5554: 5549: 5546: 5542: 5508: 5498: 5481: 5470: 5467: 5464: 5458: 5451: 5446: 5443: 5439: 5429: 5425: 5408: 5397: 5394: 5391: 5385: 5378: 5373: 5370: 5366: 5356: 5350: 5339: 5334: 5319: 5314: 5310: 5302: 5301: 5300: 5284: 5280: 5257: 5252: 5248: 5239: 5212: 5207: 5192: 5188: 5182: 5177: 5174: 5171: 5167: 5163: 5149: 5142: 5141: 5140: 5124: 5114: 5109: 5072: 5045: 5031: 5017: 5009: 4994: 4990: 4981: 4966: 4962: 4958: 4942: 4938: 4917: 4894: 4890: 4886: 4878: 4868: 4863: 4848: 4844: 4810: 4793: 4790: 4787: 4770: 4747: 4743: 4722: 4711: 4706: 4693: 4665: 4660: 4647: 4622: 4607: 4603: 4577: 4562: 4558: 4537: 4532: 4503: 4487: 4465: 4461: 4444: 4441: 4438: 4424: 4421: 4407: 4399: 4396:lower bound ( 4395: 4368: 4345: 4341: 4329: 4319: 4314: 4299: 4295: 4281: 4270: 4264: 4261: 4257: 4246: 4236: 4231: 4216: 4212: 4201: 4198: 4191: 4180: 4176: 4156: 4151: 4141: 4136: 4123: 4120: 4112: 4102: 4097: 4082: 4078: 4060: 4053: 4050: 4037: 4032: 4019: 4009: 3998: 3983: 3980: 3966: 3959: 3958: 3957: 3940: 3936: 3924: 3914: 3909: 3894: 3890: 3876: 3865: 3859: 3856: 3852: 3841: 3831: 3826: 3811: 3807: 3796: 3793: 3776: 3772: 3767: 3747: 3742: 3732: 3727: 3714: 3711: 3703: 3693: 3688: 3673: 3669: 3651: 3644: 3641: 3628: 3623: 3610: 3590: 3574: 3568: 3560: 3545: 3541: 3533: 3532: 3531: 3517: 3499: 3481: 3456: 3448: 3433: 3429: 3420: 3410: 3405: 3390: 3386: 3382: 3374: 3359: 3355: 3346: 3336: 3331: 3316: 3312: 3308: 3292: 3288: 3264: 3258: 3255: 3252: 3235: 3222: 3219: 3211: 3208: 3205: 3200: 3196: 3192: 3189: 3182: 3181: 3180: 3132: 3127: 3123: 3116: 3110: 3107: 3102: 3098: 3080: 3076: 3068: 3064: 3060: 3057: 3040: 3036: 3030: 3027: 3024: 3007: 2999: 2998: 2995: 2990: 2986: 2984: 2974: 2972: 2971: 2966: 2947: 2917: 2909: 2882: 2871: 2868: 2865: 2859: 2854: 2841: 2837: 2818: 2799: 2774: 2771: 2768: 2745: 2707: 2696: 2676: 2653: 2623: 2603: 2583: 2560: 2530: 2499: 2496: 2493: 2486: 2485: 2461: 2448: 2442: 2439: 2436: 2419: 2415: 2411: 2399: 2388: 2385: 2382: 2379: 2365: 2362: 2359: 2355: 2337: 2331: 2328: 2325: 2308: 2304: 2290: 2287: 2284: 2277: 2276: 2275: 2247: 2244: 2241: 2238: 2234: 2222: 2211: 2208: 2205: 2202: 2188: 2185: 2182: 2178: 2160: 2154: 2151: 2148: 2131: 2123: 2122: 2121: 2119: 2115: 2085: 2082: 2079: 2076: 2072: 2060: 2049: 2046: 2043: 2040: 2026: 2023: 2020: 2016: 2001: 1990: 1986: 1980: 1977: 1974: 1957: 1949: 1948: 1947: 1922: 1902: 1899: 1885: 1874: 1820: 1796: 1781: 1778: 1775: 1771: 1756: 1745: 1741: 1737: 1725: 1714: 1711: 1708: 1705: 1691: 1688: 1685: 1681: 1666: 1655: 1651: 1647: 1632: 1629: 1626: 1623: 1609: 1598: 1582: 1576: 1573: 1569: 1554: 1543: 1539: 1533: 1530: 1527: 1510: 1502: 1501: 1500: 1472: 1459: 1448: 1442: 1431: 1420: 1410: 1400: 1378: 1367: 1364: 1350: 1297: 1290:to calculate 1248: 1239: 1231: 1222: 1211: 1200: 1183: 1172: 1161: 1155: 1138: 1122: 1111: 1100: 1094: 1083: 1072: 1065: 1064: 1063: 1055: 1053: 1049: 1045: 1041: 1022: 1008: 997: 981: 975: 972: 958: 947: 943: 937: 934: 931: 914: 906: 905: 904: 902: 898: 894: 887:KL divergence 884: 867: 864: 861: 855: 824: 801: 798: 795: 789: 780: 758: 747: 716: 688: 677: 646: 623: 609: 606: 595: 584: 577: 576: 575: 562: 548: 540: 497: 493: 489: 484: 480: 473: 460: 445: 441: 438: 434: 430: 426: 421: 419: 415: 414:distributions 412:over complex 411: 407: 403: 399: 391: 387: 383: 379: 375: 371: 367: 364: 360: 356: 355: 354: 352: 348: 344: 340: 336: 332: 328: 324: 320: 309: 304: 302: 297: 295: 290: 289: 287: 286: 281: 276: 271: 270: 269: 268: 263: 260: 258: 255: 253: 250: 249: 248: 247: 243: 242: 237: 234: 232: 229: 228: 227: 226: 222: 221: 216: 213: 211: 208: 206: 203: 202: 201: 200: 196: 195: 190: 187: 185: 182: 180: 177: 175: 172: 170: 167: 166: 165: 164: 160: 159: 154: 151: 149: 146: 144: 141: 139: 136: 135: 134: 133: 129: 128: 123: 120: 118: 115: 113: 110: 108: 105: 103: 102:Cox's theorem 100: 98: 95: 93: 90: 88: 85: 83: 80: 78: 75: 74: 73: 72: 68: 67: 64: 60: 56: 52: 49: 48: 44: 40: 39: 36: 33: 32: 28: 27: 22: 26225: 26209:. Springer. 26206: 26197: 26185:. Retrieved 26167: 26160: 26125: 26121: 26098:. Retrieved 26040: 26036: 25934: 25746: 25675: 24952: 24929: 24691: 23758: 23001: 22736: 22493: 22422: 22362: 22256: 21960: 21822: 21819: 21754: 21618: 21526: 21359: 21198: 20898: 20501: 20397:Assume that 20396: 19773: 19111: 18929: 18550: 18479:Mult() is a 18360: 17912: 17906: 17902: 17898: 17894: 17886: 17882: 17878: 17874: 17835: 17815: 17813: 17806: 17775: 17738: 17302:) and their 17222:is derived: 17213: 17193: 17191: 17188: 17184: 16805: 16233: 15251: 14885: 14571: 14247: 13883: 13430: 13098: 13091: 10401: 10395:itself is a 10292: 10101: 8264: 8257: 8253: 8141:Assume that 8140: 7885: 7597: 7485: 7285:data points 7264: 7138: 6840: 6820: 6801: 6615: 6503: 6073: 6070: 6036: 5985:such as the 5893: 5846: 5703: 5528: 5235: 5037: 4811: 4488: 4397: 4360: 3955: 3279: 3154: 2980: 2969: 2964: 2835: 2800: 2481: 2479: 2273: 2111: 1812: 1412: 1267: 1061: 1054:algorithm.) 1043: 1039: 1037: 900: 896: 890: 781: 638: 538: 456: 442: 422: 395: 390:Bayes factor 377: 368:To derive a 318: 317: 252:Bayes factor 183: 26187:October 15, 26128:(6): 1–21. 24953:Note that: 21410:, yielding 17355:independent 17031:Initialize 5610:expectation 2930:. The term 1413:Given that 459:variational 370:lower bound 325:arising in 26135:2008.01006 26014:1803.10998 25987:References 17776:factorizes 17254:parameters 6213:such that 1038:Note that 339:parameters 197:Estimators 69:Background 55:Likelihood 26152:220935477 26100:15 August 25876:¯ 25812:∣ 25651:~ 25648:Λ 25615:~ 25612:π 25583:… 25576:α 25549:ν 25493:ν 25408:β 25296:π 25270:… 25263:α 25171:¯ 25108:Λ 25079:μ 25051:ν 24966:β 24895:− 24841:− 24812:ν 24806:− 24794:β 24781:− 24773:⁡ 24745:~ 24742:Λ 24726:~ 24723:π 24716:∝ 24662:α 24641:∑ 24632:ψ 24629:− 24617:α 24610:ψ 24588:π 24579:⁡ 24568:⁡ 24562:≡ 24546:~ 24543:π 24536:⁡ 24504:⁡ 24492:⁡ 24467:− 24452:ν 24441:ψ 24421:∑ 24399:Λ 24389:⁡ 24380:⁡ 24374:≡ 24358:~ 24355:Λ 24348:⁡ 24323:− 24269:− 24245:ν 24233:− 24224:β 24197:μ 24192:− 24167:Λ 24143:μ 24138:− 24117:⁡ 24105:Λ 24090:μ 24043:μ 24038:− 24013:Λ 23989:μ 23984:− 23963:⁡ 23951:Λ 23936:μ 23894:Λ 23884:⁡ 23875:⁡ 23843:π 23839:⁡ 23830:⁡ 23798:ρ 23719:¯ 23707:− 23677:¯ 23665:− 23617:∑ 23531:∑ 23494:¯ 23448:∑ 23404:ν 23387:ν 23360:μ 23355:− 23343:¯ 23318:μ 23313:− 23301:¯ 23264:β 23242:β 23202:− 23175:− 23144:¯ 23112:μ 23101:β 23086:β 23035:β 23018:β 22978:ν 22959:∣ 22949:Λ 22926:− 22911:Λ 22900:β 22878:∣ 22868:μ 22840:Λ 22825:μ 22815:∗ 22799:given by 22776:Λ 22747:μ 22706:− 22696:Λ 22681:μ 22676:∣ 22651:⁡ 22626:⁡ 22603:∑ 22586:Λ 22571:μ 22560:⁡ 22541:Λ 22526:μ 22516:∗ 22508:⁡ 22448:∑ 22388:α 22375:α 22343:α 22336:⁡ 22330:∼ 22323:π 22314:∗ 22279:π 22270:∗ 22224:π 22220:⁡ 22184:∑ 22163:∑ 22150:π 22146:⁡ 22123:∑ 22113:− 22104:α 22072:π 22068:∣ 22054:⁡ 22045:⁡ 22023:π 22013:⁡ 21996:π 21987:∗ 21979:⁡ 21936:Λ 21921:μ 21893:∏ 21885:π 21854:Λ 21846:μ 21838:π 21769:⁡ 21737:… 21632:∗ 21592:ρ 21571:∑ 21557:ρ 21467:∏ 21446:∏ 21426:∗ 21369:ρ 21321:ρ 21300:∏ 21279:∏ 21275:∝ 21259:∗ 21218:∗ 21210:⁡ 21171:μ 21166:− 21141:Λ 21117:μ 21112:− 21091:⁡ 21079:Λ 21064:μ 21044:− 21038:π 21029:⁡ 21013:− 20995:Λ 20985:⁡ 20976:⁡ 20948:π 20944:⁡ 20935:⁡ 20917:ρ 20913:⁡ 20863:ρ 20859:⁡ 20823:∑ 20802:∑ 20773:Λ 20765:μ 20753:∣ 20739:⁡ 20730:⁡ 20724:Λ 20716:μ 20697:π 20693:∣ 20679:⁡ 20670:⁡ 20664:π 20630:Λ 20622:μ 20614:π 20588:⁡ 20579:⁡ 20573:Λ 20565:μ 20557:π 20528:∗ 20520:⁡ 20483:Λ 20475:μ 20467:π 20436:Λ 20428:μ 20420:π 20354:− 20332:− 20323:ν 20313:Γ 20293:∏ 20273:− 20260:π 20243:ν 20219:ν 20216:− 20186:ν 20156:Λ 20147:− 20134:⁡ 20118:− 20110:⁡ 20088:− 20082:− 20079:ν 20065:Λ 20053:ν 20026:ν 20015:∣ 20011:Λ 19984:μ 19980:− 19964:− 19959:Σ 19941:μ 19937:− 19916:− 19908:⁡ 19878:Σ 19842:π 19816:Σ 19808:μ 19804:∣ 19746:ν 19727:∣ 19717:Λ 19685:∏ 19670:Λ 19648:− 19633:Λ 19622:β 19605:μ 19600:∣ 19590:μ 19558:∏ 19543:Λ 19539:∣ 19535:μ 19516:− 19507:α 19497:π 19476:∏ 19453:α 19446:Γ 19432:α 19422:Γ 19405:π 19370:π 19349:∏ 19328:∏ 19313:π 19309:∣ 19266:− 19256:Λ 19241:μ 19236:∣ 19194:∏ 19173:∏ 19158:Λ 19150:μ 19138:∣ 19093:Λ 19079:Λ 19075:∣ 19071:μ 19057:π 19043:π 19039:∣ 19021:Λ 19013:μ 19001:∣ 18980:Λ 18972:μ 18964:π 18924:precision 18901:… 18887:Λ 18860:… 18846:μ 18801:π 18775:… 18698:… 18588:… 18468:(inverse 18398:α 18296:− 18277:Λ 18253:μ 18238:∼ 18226:… 18199:π 18186:⁡ 18180:∼ 18167:… 18135:− 18120:Λ 18109:β 18092:μ 18077:∼ 18065:… 18051:μ 18033:ν 18004:∼ 17992:… 17978:Λ 17960:α 17947:⁡ 17941:∼ 17933:π 17848:, e.g. a 17584:⁡ 17575:⁡ 17567:≠ 17545:∣ 17525:∗ 17512:⁡ 17481:∣ 17461:∗ 17384:… 17333:∣ 17329:Θ 17264:Θ 17160:λ 17070:λ 17040:λ 16981:μ 16925:∑ 16877:∑ 16815:λ 16771:μ 16761:λ 16717:∑ 16699:μ 16663:∑ 16650:μ 16640:λ 16628:− 16609:μ 16597:− 16588:λ 16564:λ 16429:∑ 16405:¯ 16353:λ 16333:λ 16310:λ 16301:¯ 16280:μ 16270:λ 16250:μ 16199:μ 16189:λ 16145:∑ 16127:μ 16091:∑ 16078:μ 16068:λ 16056:− 16037:μ 16025:− 16016:λ 15992:λ 15931:μ 15921:λ 15877:∑ 15862:μ 15856:⁡ 15851:μ 15811:∑ 15798:μ 15788:λ 15776:− 15764:μ 15757:⁡ 15752:μ 15729:λ 15668:μ 15658:λ 15614:∑ 15602:μ 15567:∑ 15554:μ 15544:λ 15532:− 15523:μ 15504:λ 15492:⁡ 15487:μ 15425:μ 15421:− 15418:μ 15406:λ 15389:μ 15386:− 15353:∑ 15344:⁡ 15339:μ 15222:μ 15210:− 15201:λ 15180:− 15171:λ 15158:μ 15154:∣ 15145:μ 15136:⁡ 15107:⁡ 15086:⁡ 15055:⁡ 15039:μ 15018:− 15009:λ 14996:μ 14992:∣ 14989:μ 14981:⁡ 14914:∣ 14911:τ 14905:⁡ 14846:μ 14842:− 14839:μ 14827:λ 14810:μ 14807:− 14774:∑ 14765:⁡ 14760:μ 14630:∣ 14627:τ 14621:⁡ 14615:∼ 14605:τ 14597:∗ 14592:τ 14526:∑ 14502:¯ 14486:τ 14480:⁡ 14475:τ 14452:λ 14432:λ 14409:λ 14400:¯ 14379:μ 14369:λ 14349:μ 14333:− 14324:λ 14311:μ 14307:∣ 14304:μ 14291:∼ 14281:μ 14273:∗ 14268:μ 14203:μ 14199:− 14196:μ 14184:λ 14167:μ 14164:− 14131:∑ 14122:⁡ 14117:μ 13987:∣ 13984:τ 13978:⁡ 13972:∼ 13962:τ 13954:∗ 13949:τ 13910:τ 13902:∗ 13897:τ 13836:μ 13832:− 13829:μ 13817:λ 13800:μ 13797:− 13764:∑ 13755:⁡ 13750:μ 13737:τ 13732:− 13729:τ 13726:⁡ 13707:τ 13704:⁡ 13685:τ 13672:− 13669:τ 13666:⁡ 13654:− 13617:τ 13608:⁡ 13593:τ 13590:∣ 13587:μ 13578:⁡ 13566:τ 13560:μ 13557:∣ 13543:⁡ 13534:⁡ 13529:μ 13511:τ 13503:∗ 13498:τ 13490:⁡ 13457:τ 13449:∗ 13444:τ 13426:q(τ) 13377:∑ 13353:¯ 13337:τ 13331:⁡ 13326:τ 13303:λ 13283:λ 13260:λ 13251:¯ 13230:μ 13220:λ 13200:μ 13184:− 13175:λ 13162:μ 13158:∣ 13155:μ 13142:∼ 13132:μ 13124:∗ 13119:μ 13034:λ 13001:∑ 12988:μ 12978:λ 12971:− 12968:μ 12956:τ 12950:⁡ 12945:τ 12922:λ 12905:− 12848:λ 12815:∑ 12802:μ 12792:λ 12785:− 12782:μ 12758:λ 12737:τ 12731:⁡ 12726:τ 12715:− 12654:λ 12621:∑ 12608:μ 12598:λ 12583:μ 12561:λ 12528:∑ 12515:μ 12505:λ 12491:− 12482:μ 12458:λ 12437:τ 12431:⁡ 12426:τ 12415:− 12354:λ 12321:∑ 12308:μ 12298:λ 12286:− 12258:λ 12225:∑ 12212:μ 12202:λ 12187:μ 12165:λ 12132:∑ 12119:μ 12109:λ 12095:− 12086:μ 12062:λ 12041:τ 12035:⁡ 12030:τ 12019:− 11983:μ 11961:λ 11928:∑ 11915:μ 11905:λ 11891:− 11882:μ 11858:λ 11837:τ 11831:⁡ 11826:τ 11815:− 11784:μ 11766:λ 11740:λ 11707:∑ 11694:μ 11684:λ 11670:− 11661:μ 11642:λ 11621:τ 11615:⁡ 11610:τ 11599:− 11568:μ 11533:∑ 11520:μ 11510:λ 11498:− 11489:μ 11470:λ 11449:τ 11443:⁡ 11438:τ 11427:− 11385:μ 11375:λ 11331:∑ 11319:μ 11284:∑ 11271:μ 11261:λ 11249:− 11240:μ 11221:λ 11200:τ 11194:⁡ 11189:τ 11178:− 11136:μ 11126:λ 11119:μ 11110:μ 11100:λ 11093:− 11084:μ 11074:λ 11056:μ 11035:∑ 11023:μ 10988:∑ 10976:− 10936:∑ 10913:τ 10907:⁡ 10902:τ 10891:− 10846:μ 10839:μ 10830:μ 10823:− 10814:μ 10801:λ 10785:μ 10778:μ 10762:− 10724:∑ 10706:τ 10700:⁡ 10695:τ 10684:− 10637:μ 10633:− 10630:μ 10618:λ 10601:μ 10598:− 10565:∑ 10547:τ 10541:⁡ 10536:τ 10525:− 10512:μ 10504:∗ 10499:μ 10491:⁡ 10461:μ 10431:μ 10410:μ 10380:μ 10372:∗ 10367:μ 10339:μ 10331:∗ 10326:μ 10301:μ 10278:μ 10258:μ 10232:τ 10223:⁡ 10214:⁡ 10209:τ 10184:μ 10049:μ 10045:− 10042:μ 10030:λ 10013:μ 10010:− 9977:∑ 9959:τ 9953:⁡ 9948:τ 9937:− 9900:τ 9891:λ 9871:μ 9867:− 9864:μ 9855:− 9847:⁡ 9842:τ 9820:τ 9807:μ 9804:− 9785:− 9765:∑ 9756:⁡ 9751:τ 9712:π 9706:⁡ 9700:− 9697:τ 9694:⁡ 9679:λ 9675:⁡ 9651:⁡ 9646:τ 9627:π 9621:⁡ 9615:− 9612:τ 9609:⁡ 9573:∑ 9564:⁡ 9559:τ 9537:τ 9528:λ 9508:μ 9504:− 9501:μ 9492:− 9484:⁡ 9479:τ 9457:τ 9444:μ 9441:− 9422:− 9402:∑ 9393:⁡ 9388:τ 9346:τ 9337:λ 9317:μ 9313:− 9310:μ 9301:− 9295:π 9289:⁡ 9283:− 9280:τ 9277:⁡ 9262:λ 9258:⁡ 9234:⁡ 9229:τ 9202:τ 9189:μ 9186:− 9167:− 9161:π 9155:⁡ 9149:− 9146:τ 9143:⁡ 9102:∑ 9093:⁡ 9088:τ 9044:τ 9035:λ 9015:μ 9011:− 9008:μ 8999:− 8987:π 8979:τ 8970:λ 8962:⁡ 8951:⁡ 8946:τ 8922:τ 8909:μ 8906:− 8887:− 8875:π 8868:τ 8845:∏ 8841:⁡ 8830:⁡ 8825:τ 8779:− 8771:τ 8762:λ 8746:μ 8742:∣ 8739:μ 8724:⁡ 8713:⁡ 8708:τ 8682:− 8678:τ 8671:μ 8668:∣ 8626:∏ 8622:⁡ 8611:⁡ 8606:τ 8574:τ 8565:⁡ 8554:⁡ 8549:τ 8530:τ 8527:∣ 8524:μ 8515:⁡ 8504:⁡ 8499:τ 8480:τ 8474:μ 8471:∣ 8457:⁡ 8446:⁡ 8441:τ 8409:τ 8400:⁡ 8388:τ 8385:∣ 8382:μ 8373:⁡ 8361:τ 8355:μ 8352:∣ 8338:⁡ 8327:⁡ 8322:τ 8304:μ 8296:∗ 8291:μ 8283:⁡ 8231:τ 8211:μ 8188:τ 8176:μ 8161:τ 8155:μ 8115:τ 8109:− 8096:− 8089:τ 8063:Γ 8035:∣ 8032:τ 8026:⁡ 8006:σ 7987:μ 7984:− 7975:− 7956:σ 7952:π 7924:σ 7917:μ 7914:∣ 7841:∣ 7838:τ 7832:⁡ 7816:τ 7793:− 7785:τ 7776:λ 7760:μ 7756:∣ 7753:μ 7728:τ 7725:∣ 7722:μ 7701:− 7697:τ 7690:μ 7687:∣ 7647:∏ 7633:τ 7627:μ 7624:∣ 7580:τ 7568:τ 7565:∣ 7562:μ 7550:τ 7544:μ 7541:∣ 7521:τ 7515:μ 7464:τ 7444:μ 7408:… 7392:∣ 7389:τ 7383:μ 7368:τ 7362:μ 7317:… 7250:τ 7230:μ 7164:λ 7151:μ 7093:− 7089:τ 7082:μ 7069:∼ 7046:… 7015:− 7007:τ 6998:λ 6982:μ 6968:∼ 6961:τ 6953:μ 6917:⁡ 6911:∼ 6904:τ 6873:τ 6853:μ 6841:We place 6823:precision 6782:λ 6722:λ 6699:θ 6673:λ 6650:θ 6589:⁡ 6565:θ 6556:⁡ 6538:θ 6524:θ 6477:∥ 6458:− 6428:≪ 6406:⁡ 6387:⁡ 6342:∈ 6300:Θ 6253:λ 6250:≪ 6227:λ 6224:≪ 6201:λ 6175:≪ 6133:Θ 6091:Θ 6052:nonlinear 6024:iterative 5936:⁡ 5927:⁡ 5920:∗ 5912:− 5891:, etc.). 5869:∗ 5799:⁡ 5790:⁡ 5783:∗ 5775:− 5751:∣ 5731:∗ 5718:⁡ 5681:∣ 5661:∗ 5629:∗ 5571:⁡ 5562:⁡ 5555:∗ 5547:− 5468:⁡ 5459:⁡ 5452:∗ 5444:− 5426:∫ 5395:⁡ 5386:⁡ 5379:∗ 5371:− 5340:∣ 5320:∗ 5258:∗ 5213:∣ 5168:∏ 5115:… 5071:partition 4995:∗ 4967:∗ 4943:∗ 4895:∗ 4869:∣ 4849:∗ 4791:∥ 4748:∗ 4712:∣ 4666:∣ 4608:∗ 4563:∗ 4466:∗ 4445:⁡ 4425:ζ 4422:≥ 4369:ζ 4361:The term 4320:∣ 4300:∗ 4265:⁡ 4237:∣ 4217:∗ 4202:⁡ 4181:∫ 4142:∣ 4121:∥ 4103:∣ 4083:∗ 4054:⁡ 4038:∣ 3999:∫ 3967:ζ 3915:∣ 3895:∗ 3860:⁡ 3832:∣ 3812:∗ 3797:⁡ 3777:ζ 3733:∣ 3712:∥ 3694:∣ 3674:∗ 3645:⁡ 3629:∣ 3591:ζ 3546:∗ 3434:∗ 3411:∣ 3391:∗ 3360:∗ 3337:∣ 3317:∗ 3293:∗ 3256:∥ 3223:∈ 3212:⁡ 3206:≜ 3201:∗ 3133:∈ 3128:∗ 3120:∀ 3108:∥ 3103:∗ 3069:∗ 3061:∥ 3037:≥ 3028:∥ 2906:plus the 2869:⁡ 2860:⁡ 2772:⁡ 2708:∣ 2497:⁡ 2440:∥ 2386:⁡ 2380:− 2363:⁡ 2338:− 2329:∥ 2288:⁡ 2245:⁡ 2209:⁡ 2203:− 2186:⁡ 2152:∥ 2083:⁡ 2047:⁡ 2041:− 2024:⁡ 1991:∑ 1978:∥ 1875:∑ 1779:⁡ 1746:∑ 1712:⁡ 1706:− 1689:⁡ 1656:∑ 1630:⁡ 1577:⁡ 1544:∑ 1531:∥ 1432:∣ 1379:∣ 1365:≈ 1201:∫ 1173:∣ 1112:∣ 1084:∣ 1009:∣ 976:⁡ 948:∑ 944:≜ 935:∥ 759:∣ 689:∣ 607:≈ 596:∣ 490:… 392:article.) 323:integrals 97:Coherence 51:Posterior 26309:Category 25944:See also 25600:through 22721:constant 22494:Finally 22237:constant 22086:constant 20879:constant 20787:constant 20644:constant 18472:) for a 17792:variance 17616:constant 16868:Compute 13864:constant 13627:constant 6816:variance 6636:, where 6044:variance 6032:converge 5987:variance 5885:Gaussian 5831:constant 4394:evidence 2484:evidence 1915:because 1813:Because 1249:′ 1232:′ 431:(ML) or 378:evidence 372:for the 63:Evidence 26095:4541076 26045:Bibcode 26037:Entropy 21243:yields 18539:is the 18460:is the 18420:of the 17784:moments 17699:moments 6075:Theorem 6048:moments 5983:moments 5977:of the 5608:is the 3155:where 2908:entropy 2480:As the 453:Problem 26213: 26178: 26150: 26093: 25897:, and 25192:, and 23921:, and 22423:where 22363:where 21961:Then, 21527:where 19774:where 18361:Note: 17944:SymDir 17903:switch 17881:× 8258:μ 7886:where 6804:i.i.d. 6265:. Let 5529:where 2977:Proofs 418:sample 26249:, by 26172:(PDF) 26148:S2CID 26130:arXiv 26009:arXiv 22295:as a 20502:Then 17893:with 17825:modes 14618:Gamma 13975:Gamma 13925:is a 10453:over 8265:Then 8023:Gamma 7829:Gamma 6914:Gamma 6164:with 6040:means 5889:gamma 5095:into 3469:with 2596:from 899:from 59:Prior 26211:ISBN 26189:2011 26176:ISBN 26102:2023 26091:SSRN 25636:and 25567:and 25484:and 25098:and 25042:and 22766:and 21720:for 18922:and 18920:mean 18877:and 18758:for 18183:Mult 17832:mean 17816:what 17790:and 17788:mean 17277:and 16999:and 16916:and 16833:and 14572:and 10449:and 10422:and 10149:and 8223:and 7486:The 7456:and 7242:and 7195:and 7139:The 6814:and 6812:mean 6754:and 6685:and 6239:and 6122:and 4686:and 4595:and 4518:and 4398:ELBO 2970:ELBO 2482:log- 1866:and 1042:and 341:and 329:and 26261:doi 26140:doi 26083:doi 26053:doi 25751:or 24770:exp 22333:Dir 20107:exp 19905:exp 18424:or 17836:not 17726:An 17194:not 15083:Var 6586:exp 6553:exp 6420:sup 6403:exp 6384:log 6289:on 4442:exp 4262:log 4199:exp 4051:exp 3857:log 3794:exp 3642:exp 3216:min 3209:arg 2910:of 2866:log 2769:log 2494:log 2383:log 2360:log 2285:log 2242:log 2206:log 2183:log 2080:log 2044:log 2021:log 1776:log 1709:log 1686:log 1627:log 1574:log 973:log 457:In 26311:: 26146:. 26138:. 26126:51 26124:. 26110:^ 26089:. 26081:. 26067:^ 26051:. 26041:16 26039:. 26035:. 26023:^ 25995:^ 25940:. 25859:, 25540:, 25455:, 25426:, 25154:, 25013:, 24984:, 24576:ln 24533:ln 24501:ln 24489:ln 24386:ln 24345:ln 23881:ln 23864:, 23836:ln 22648:ln 22557:ln 22505:ln 22217:ln 22143:ln 22051:ln 22010:ln 21976:ln 21752:. 21207:ln 21026:ln 20982:ln 20941:ln 20910:ln 20856:ln 20736:ln 20676:ln 20585:ln 20517:ln 20499:. 20131:Tr 17885:; 17581:ln 17509:ln 16862:EM 13723:ln 13701:ln 13663:ln 13605:ln 13575:ln 13540:ln 13487:ln 13096:. 10488:ln 10399:. 10220:ln 10122:, 9703:ln 9691:ln 9672:ln 9618:ln 9606:ln 9286:ln 9274:ln 9255:ln 9152:ln 9140:ln 8959:ln 8838:ln 8721:ln 8619:ln 8562:ln 8512:ln 8454:ln 8397:ln 8370:ln 8335:ln 8280:ln 7262:. 6466:KL 6034:. 5933:ln 5887:, 5796:ln 5715:ln 5701:. 5568:ln 5465:ln 5392:ln 5139:, 4809:. 2636:, 1399:. 883:. 779:. 541:, 61:÷ 57:× 53:= 26267:. 26263:: 26219:. 26191:. 26154:. 26142:: 26132:: 26104:. 26085:: 26061:. 26055:: 26047:: 26017:. 26011:: 25912:k 25907:S 25883:k 25872:x 25845:k 25841:N 25820:) 25816:X 25808:Z 25804:( 25801:p 25775:k 25772:n 25768:r 25729:k 25726:n 25722:r 25696:k 25693:n 25689:r 25672:. 25658:k 25622:k 25586:K 25580:1 25553:k 25526:k 25521:W 25497:k 25470:k 25465:W 25441:k 25436:m 25412:k 25385:k 25382:n 25378:r 25366:. 25352:k 25349:n 25345:r 25322:k 25318:N 25273:K 25267:1 25251:. 25237:k 25234:n 25230:r 25207:k 25202:S 25178:k 25167:x 25140:k 25136:N 25113:k 25084:k 25055:k 25028:k 25023:W 24999:k 24994:m 24970:k 24938:k 24914:} 24910:) 24905:k 24900:m 24890:n 24885:x 24880:( 24875:k 24870:W 24862:T 24857:) 24851:k 24846:m 24836:n 24831:x 24826:( 24821:2 24816:k 24798:k 24790:2 24786:D 24777:{ 24765:2 24761:/ 24757:1 24752:k 24733:k 24711:k 24708:n 24704:r 24672:) 24666:i 24656:K 24651:1 24648:= 24645:i 24636:( 24626:) 24621:k 24613:( 24607:= 24603:] 24598:| 24592:k 24583:| 24572:[ 24565:E 24553:k 24525:| 24519:k 24514:W 24508:| 24498:+ 24495:2 24486:D 24483:+ 24479:) 24474:2 24470:i 24464:1 24461:+ 24456:k 24445:( 24436:D 24431:1 24428:= 24425:i 24417:= 24414:] 24410:| 24404:k 24393:| 24383:[ 24377:E 24365:k 24338:) 24333:k 24328:m 24318:n 24313:x 24308:( 24303:k 24298:W 24290:T 24285:) 24279:k 24274:m 24264:n 24259:x 24254:( 24249:k 24241:+ 24236:1 24228:k 24220:D 24217:= 24210:] 24207:) 24202:k 24187:n 24182:x 24177:( 24172:k 24159:T 24154:) 24148:k 24133:n 24128:x 24123:( 24120:[ 24110:k 24100:, 24095:k 24084:E 24056:] 24053:) 24048:k 24033:n 24028:x 24023:( 24018:k 24005:T 24000:) 23994:k 23979:n 23974:x 23969:( 23966:[ 23956:k 23946:, 23941:k 23930:E 23909:] 23905:| 23899:k 23888:| 23878:[ 23872:E 23852:] 23847:k 23833:[ 23827:E 23805:k 23802:n 23775:k 23772:n 23768:r 23737:T 23732:) 23726:k 23715:x 23702:n 23697:x 23692:( 23689:) 23684:k 23673:x 23660:n 23655:x 23650:( 23645:k 23642:n 23638:r 23632:N 23627:1 23624:= 23621:n 23609:k 23605:N 23601:1 23596:= 23587:k 23582:S 23571:n 23566:x 23559:k 23556:n 23552:r 23546:N 23541:1 23538:= 23535:n 23523:k 23519:N 23515:1 23510:= 23501:k 23490:x 23476:k 23473:n 23469:r 23463:N 23458:1 23455:= 23452:n 23444:= 23435:k 23431:N 23421:k 23417:N 23413:+ 23408:0 23400:= 23391:k 23376:T 23371:) 23365:0 23350:k 23339:x 23331:( 23328:) 23323:0 23308:k 23297:x 23289:( 23281:k 23277:N 23273:+ 23268:0 23256:k 23252:N 23246:0 23235:+ 23230:k 23225:S 23218:k 23214:N 23210:+ 23205:1 23197:0 23192:W 23187:= 23178:1 23170:k 23165:W 23156:) 23151:k 23140:x 23130:k 23126:N 23122:+ 23117:0 23105:0 23097:( 23090:k 23082:1 23077:= 23068:k 23063:m 23052:k 23048:N 23044:+ 23039:0 23031:= 23022:k 22987:) 22982:k 22974:, 22969:k 22964:W 22954:k 22944:( 22939:W 22934:) 22929:1 22922:) 22916:k 22904:k 22896:( 22893:, 22888:k 22883:m 22873:k 22863:( 22858:N 22853:= 22850:) 22845:k 22835:, 22830:k 22820:( 22811:q 22781:k 22752:k 22717:+ 22714:) 22709:1 22701:k 22691:, 22686:k 22671:n 22666:x 22661:( 22656:N 22645:] 22640:k 22637:n 22633:z 22629:[ 22623:E 22618:N 22613:1 22610:= 22607:n 22599:+ 22596:) 22591:k 22581:, 22576:k 22566:( 22563:p 22554:= 22551:) 22546:k 22536:, 22531:k 22521:( 22512:q 22476:k 22473:n 22469:r 22463:N 22458:1 22455:= 22452:n 22444:= 22439:k 22435:N 22405:k 22401:N 22397:+ 22392:0 22384:= 22379:k 22347:) 22339:( 22327:) 22319:( 22310:q 22283:) 22275:( 22266:q 22233:+ 22228:k 22212:k 22209:n 22205:r 22199:K 22194:1 22191:= 22188:k 22178:N 22173:1 22170:= 22167:n 22159:+ 22154:k 22138:K 22133:1 22130:= 22127:k 22119:) 22116:1 22108:0 22100:( 22097:= 22082:+ 22079:] 22076:) 22064:Z 22060:( 22057:p 22048:[ 22039:Z 22034:E 22030:+ 22027:) 22019:( 22016:p 22007:= 22000:) 21992:( 21983:q 21946:) 21941:k 21931:, 21926:k 21916:( 21913:q 21908:K 21903:1 21900:= 21897:k 21889:) 21881:( 21878:q 21858:) 21850:, 21842:, 21834:( 21831:q 21802:k 21799:n 21795:r 21791:= 21788:] 21783:k 21780:n 21776:z 21772:[ 21766:E 21740:K 21734:1 21731:= 21728:k 21706:k 21703:n 21699:r 21676:n 21671:z 21645:) 21641:Z 21637:( 21628:q 21599:j 21596:n 21586:K 21581:1 21578:= 21575:j 21564:k 21561:n 21551:= 21546:k 21543:n 21539:r 21508:k 21505:n 21501:z 21495:k 21492:n 21488:r 21482:K 21477:1 21474:= 21471:k 21461:N 21456:1 21453:= 21450:n 21442:= 21439:) 21435:Z 21431:( 21422:q 21398:k 21376:k 21373:n 21341:k 21338:n 21334:z 21328:k 21325:n 21315:K 21310:1 21307:= 21304:k 21294:N 21289:1 21286:= 21283:n 21272:) 21268:Z 21264:( 21255:q 21231:) 21227:Z 21223:( 21214:q 21184:] 21181:) 21176:k 21161:n 21156:x 21151:( 21146:k 21133:T 21128:) 21122:k 21107:n 21102:x 21097:( 21094:[ 21084:k 21074:, 21069:k 21058:E 21052:2 21049:1 21041:) 21035:2 21032:( 21021:2 21018:D 21010:] 21006:| 21000:k 20989:| 20979:[ 20973:E 20968:2 20965:1 20960:+ 20957:] 20952:k 20938:[ 20932:E 20929:= 20924:k 20921:n 20875:+ 20870:k 20867:n 20851:k 20848:n 20844:z 20838:K 20833:1 20830:= 20827:k 20817:N 20812:1 20809:= 20806:n 20798:= 20783:+ 20780:] 20777:) 20769:, 20761:, 20757:Z 20749:X 20745:( 20742:p 20733:[ 20720:, 20711:E 20707:+ 20704:] 20701:) 20689:Z 20685:( 20682:p 20673:[ 20659:E 20655:= 20640:+ 20637:] 20634:) 20626:, 20618:, 20610:, 20606:Z 20602:, 20598:X 20594:( 20591:p 20582:[ 20569:, 20561:, 20552:E 20548:= 20541:) 20537:Z 20533:( 20524:q 20487:) 20479:, 20471:, 20463:( 20460:q 20457:) 20453:Z 20449:( 20446:q 20443:= 20440:) 20432:, 20424:, 20416:, 20412:Z 20408:( 20405:q 20373:= 20366:D 20357:1 20349:} 20344:) 20339:2 20335:i 20329:1 20326:+ 20317:( 20308:D 20303:1 20300:= 20297:i 20287:4 20283:/ 20279:) 20276:1 20270:D 20267:( 20264:D 20254:2 20250:/ 20246:D 20239:2 20234:{ 20227:2 20223:/ 20211:| 20205:W 20200:| 20196:= 20189:) 20183:, 20179:W 20175:( 20172:B 20164:) 20160:) 20150:1 20142:W 20137:( 20126:2 20123:1 20114:( 20102:2 20098:/ 20094:) 20091:1 20085:D 20076:( 20071:| 20060:| 20056:) 20050:, 20046:W 20042:( 20039:B 20036:= 20029:) 20023:, 20019:W 20007:( 20002:W 19992:} 19988:) 19976:x 19972:( 19967:1 19951:T 19946:) 19933:x 19929:( 19924:2 19921:1 19912:{ 19897:2 19893:/ 19889:1 19884:| 19873:| 19868:1 19858:2 19854:/ 19850:D 19846:) 19839:2 19836:( 19832:1 19827:= 19820:) 19812:, 19800:x 19796:( 19791:N 19755:) 19750:0 19742:, 19737:0 19732:W 19722:k 19712:( 19707:W 19700:K 19695:1 19692:= 19689:k 19681:= 19674:) 19666:( 19663:p 19656:) 19651:1 19644:) 19638:k 19626:0 19618:( 19615:, 19610:0 19595:k 19585:( 19580:N 19573:K 19568:1 19565:= 19562:k 19554:= 19547:) 19531:( 19528:p 19519:1 19511:0 19501:k 19491:K 19486:1 19483:= 19480:k 19467:K 19463:) 19457:0 19449:( 19441:) 19436:0 19428:K 19425:( 19416:= 19409:) 19401:( 19398:p 19387:k 19384:n 19380:z 19374:k 19364:K 19359:1 19356:= 19353:k 19343:N 19338:1 19335:= 19332:n 19324:= 19317:) 19305:Z 19301:( 19298:p 19287:k 19284:n 19280:z 19275:) 19269:1 19261:k 19251:, 19246:k 19231:n 19226:x 19221:( 19216:N 19209:K 19204:1 19201:= 19198:k 19188:N 19183:1 19180:= 19177:n 19169:= 19162:) 19154:, 19146:, 19142:Z 19134:X 19130:( 19127:p 19097:) 19089:( 19086:p 19083:) 19067:( 19064:p 19061:) 19053:( 19050:p 19047:) 19035:Z 19031:( 19028:p 19025:) 19017:, 19009:, 19005:Z 18997:X 18993:( 18990:p 18987:= 18984:) 18976:, 18968:, 18960:, 18956:Z 18952:, 18948:X 18944:( 18941:p 18904:K 18898:1 18895:= 18892:i 18863:K 18857:1 18854:= 18851:i 18822:K 18778:K 18772:1 18769:= 18766:k 18744:k 18741:n 18737:z 18716:} 18711:N 18706:z 18701:, 18695:, 18690:1 18685:z 18680:{ 18677:= 18673:Z 18662:. 18646:D 18626:N 18606:} 18601:N 18596:x 18591:, 18585:, 18580:1 18575:x 18570:{ 18567:= 18563:X 18547:. 18527:) 18524:( 18519:N 18495:K 18476:. 18448:) 18445:( 18440:W 18428:. 18402:0 18377:K 18337:= 18330:N 18318:= 18311:K 18304:) 18299:1 18287:i 18283:z 18270:, 18263:i 18259:z 18248:( 18243:N 18229:N 18223:1 18220:= 18217:i 18212:x 18203:) 18195:, 18192:1 18189:( 18173:] 18170:N 18164:1 18161:= 18158:i 18155:[ 18151:z 18143:) 18138:1 18131:) 18125:i 18113:0 18105:( 18102:, 18097:0 18087:( 18082:N 18068:K 18062:1 18059:= 18056:i 18042:) 18037:0 18029:, 18024:0 18019:W 18014:( 18009:W 17995:K 17989:1 17986:= 17983:i 17969:) 17964:0 17956:, 17953:K 17950:( 17907:K 17899:z 17895:K 17887:K 17883:D 17879:D 17875:K 17794:. 17683:j 17678:Z 17651:j 17646:Z 17629:. 17612:+ 17609:] 17606:) 17602:X 17598:, 17594:Z 17590:( 17587:p 17578:[ 17570:j 17564:i 17560:E 17556:= 17553:) 17549:X 17540:j 17535:Z 17530:( 17520:j 17516:q 17489:) 17485:X 17476:j 17471:Z 17466:( 17456:j 17452:q 17429:j 17424:Z 17411:. 17397:M 17392:Z 17387:, 17381:, 17376:1 17371:Z 17341:) 17337:X 17325:, 17321:Z 17317:( 17314:p 17289:Z 17239:X 17178:. 17164:N 17139:, 17134:N 17130:b 17118:. 17104:N 17100:b 17079:, 17074:N 17044:N 17017:. 17012:N 17008:a 16985:N 16960:. 16955:2 16950:n 16946:x 16940:N 16935:1 16932:= 16929:n 16902:n 16898:x 16892:N 16887:1 16884:= 16881:n 16846:N 16842:b 16819:N 16786:] 16780:2 16775:0 16765:0 16757:+ 16753:) 16747:2 16742:n 16738:x 16732:N 16727:1 16724:= 16721:n 16712:( 16708:+ 16703:N 16694:) 16688:n 16684:x 16678:N 16673:1 16670:= 16667:n 16659:+ 16654:0 16644:0 16635:( 16631:2 16624:) 16618:2 16613:N 16605:+ 16600:1 16592:N 16583:( 16579:) 16576:N 16573:+ 16568:0 16560:( 16556:[ 16550:2 16547:1 16542:+ 16537:0 16533:b 16529:= 16520:N 16516:b 16506:2 16502:1 16499:+ 16496:N 16490:+ 16485:0 16481:a 16477:= 16468:N 16464:a 16454:n 16450:x 16444:N 16439:1 16436:= 16433:n 16423:N 16420:1 16415:= 16402:x 16388:N 16384:b 16378:N 16374:a 16368:) 16365:N 16362:+ 16357:0 16349:( 16346:= 16337:N 16322:N 16319:+ 16314:0 16298:x 16292:N 16289:+ 16284:0 16274:0 16263:= 16254:N 16214:] 16208:2 16203:0 16193:0 16185:+ 16181:) 16175:2 16170:n 16166:x 16160:N 16155:1 16152:= 16149:n 16140:( 16136:+ 16131:N 16122:) 16116:n 16112:x 16106:N 16101:1 16098:= 16095:n 16087:+ 16082:0 16072:0 16063:( 16059:2 16052:) 16046:2 16041:N 16033:+ 16028:1 16020:N 16011:( 16007:) 16004:N 16001:+ 15996:0 15988:( 15984:[ 15978:2 15975:1 15970:+ 15965:0 15961:b 15957:= 15946:] 15940:2 15935:0 15925:0 15917:+ 15913:) 15907:2 15902:n 15898:x 15892:N 15887:1 15884:= 15881:n 15872:( 15868:+ 15865:] 15859:[ 15847:E 15842:) 15836:n 15832:x 15826:N 15821:1 15818:= 15815:n 15807:+ 15802:0 15792:0 15783:( 15779:2 15773:] 15768:2 15760:[ 15748:E 15744:) 15741:N 15738:+ 15733:0 15725:( 15721:[ 15715:2 15712:1 15707:+ 15702:0 15698:b 15694:= 15683:] 15677:2 15672:0 15662:0 15654:+ 15650:) 15644:2 15639:n 15635:x 15629:N 15624:1 15621:= 15618:n 15609:( 15605:+ 15598:) 15592:n 15588:x 15582:N 15577:1 15574:= 15571:n 15563:+ 15558:0 15548:0 15539:( 15535:2 15527:2 15519:) 15516:N 15513:+ 15508:0 15500:( 15496:[ 15483:E 15477:2 15474:1 15469:+ 15464:0 15460:b 15456:= 15445:] 15439:2 15435:) 15429:0 15415:( 15410:0 15402:+ 15397:2 15393:) 15381:n 15377:x 15373:( 15368:N 15363:1 15360:= 15357:n 15348:[ 15335:E 15329:2 15326:1 15321:+ 15316:0 15312:b 15308:= 15299:N 15295:b 15265:N 15261:b 15231:2 15226:N 15218:+ 15213:1 15205:N 15197:= 15189:] 15183:1 15175:N 15167:, 15162:N 15149:2 15140:[ 15133:E 15124:2 15120:) 15116:] 15113:X 15110:[ 15104:E 15101:( 15098:+ 15095:) 15092:X 15089:( 15080:= 15072:] 15067:2 15063:X 15059:[ 15052:E 15043:N 15035:= 15027:] 15021:1 15013:N 15005:, 15000:N 14985:[ 14978:E 14967:N 14963:b 14957:N 14953:a 14947:= 14940:] 14935:N 14931:b 14927:, 14922:N 14918:a 14908:[ 14902:E 14866:] 14860:2 14856:) 14850:0 14836:( 14831:0 14823:+ 14818:2 14814:) 14802:n 14798:x 14794:( 14789:N 14784:1 14781:= 14778:n 14769:[ 14756:E 14750:2 14747:1 14742:+ 14737:0 14733:b 14729:= 14720:N 14716:b 14706:2 14702:1 14699:+ 14696:N 14690:+ 14685:0 14681:a 14677:= 14668:N 14664:a 14656:) 14651:N 14647:b 14643:, 14638:N 14634:a 14624:( 14608:) 14602:( 14588:q 14551:n 14547:x 14541:N 14536:1 14533:= 14530:n 14520:N 14517:1 14512:= 14499:x 14489:] 14483:[ 14471:E 14467:) 14464:N 14461:+ 14456:0 14448:( 14445:= 14436:N 14421:N 14418:+ 14413:0 14397:x 14391:N 14388:+ 14383:0 14373:0 14362:= 14353:N 14341:) 14336:1 14328:N 14320:, 14315:N 14301:( 14296:N 14284:) 14278:( 14264:q 14223:] 14217:2 14213:) 14207:0 14193:( 14188:0 14180:+ 14175:2 14171:) 14159:n 14155:x 14151:( 14146:N 14141:1 14138:= 14135:n 14126:[ 14113:E 14107:2 14104:1 14099:+ 14094:0 14090:b 14086:= 14077:N 14073:b 14063:2 14059:1 14056:+ 14053:N 14047:+ 14042:0 14038:a 14034:= 14025:N 14021:a 14013:) 14008:N 14004:b 14000:, 13995:N 13991:a 13981:( 13965:) 13959:( 13945:q 13913:) 13907:( 13893:q 13860:+ 13856:] 13850:2 13846:) 13840:0 13826:( 13821:0 13813:+ 13808:2 13804:) 13792:n 13788:x 13784:( 13779:N 13774:1 13771:= 13768:n 13759:[ 13746:E 13740:2 13718:2 13715:N 13710:+ 13696:2 13693:1 13688:+ 13680:0 13676:b 13660:) 13657:1 13649:0 13645:a 13641:( 13638:= 13623:+ 13620:) 13614:( 13611:p 13602:+ 13599:] 13596:) 13584:( 13581:p 13572:+ 13569:) 13563:, 13553:X 13549:( 13546:p 13537:[ 13525:E 13521:= 13514:) 13508:( 13494:q 13460:) 13454:( 13440:q 13402:n 13398:x 13392:N 13387:1 13384:= 13381:n 13371:N 13368:1 13363:= 13350:x 13340:] 13334:[ 13322:E 13318:) 13315:N 13312:+ 13307:0 13299:( 13296:= 13287:N 13272:N 13269:+ 13264:0 13248:x 13242:N 13239:+ 13234:0 13224:0 13213:= 13204:N 13192:) 13187:1 13179:N 13171:, 13166:N 13152:( 13147:N 13135:) 13129:( 13115:q 13071:5 13067:C 13063:+ 13058:2 13053:) 13046:N 13043:+ 13038:0 13026:n 13022:x 13016:N 13011:1 13008:= 13005:n 12997:+ 12992:0 12982:0 12964:( 12959:] 12953:[ 12941:E 12937:) 12934:N 12931:+ 12926:0 12918:( 12913:2 12910:1 12902:= 12890:5 12886:C 12882:+ 12878:} 12872:2 12867:) 12860:N 12857:+ 12852:0 12840:n 12836:x 12830:N 12825:1 12822:= 12819:n 12811:+ 12806:0 12796:0 12778:( 12773:) 12770:N 12767:+ 12762:0 12754:( 12750:{ 12744:2 12740:] 12734:[ 12722:E 12712:= 12700:5 12696:C 12692:+ 12688:} 12683:) 12677:2 12672:) 12666:N 12663:+ 12658:0 12646:n 12642:x 12636:N 12631:1 12628:= 12625:n 12617:+ 12612:0 12602:0 12591:( 12586:+ 12579:) 12573:N 12570:+ 12565:0 12553:n 12549:x 12543:N 12538:1 12535:= 12532:n 12524:+ 12519:0 12509:0 12498:( 12494:2 12486:2 12477:( 12473:) 12470:N 12467:+ 12462:0 12454:( 12450:{ 12444:2 12440:] 12434:[ 12422:E 12412:= 12400:4 12396:C 12392:+ 12388:} 12383:) 12377:2 12372:) 12366:N 12363:+ 12358:0 12346:n 12342:x 12336:N 12331:1 12328:= 12325:n 12317:+ 12312:0 12302:0 12291:( 12281:2 12276:) 12270:N 12267:+ 12262:0 12250:n 12246:x 12240:N 12235:1 12232:= 12229:n 12221:+ 12216:0 12206:0 12195:( 12190:+ 12183:) 12177:N 12174:+ 12169:0 12157:n 12153:x 12147:N 12142:1 12139:= 12136:n 12128:+ 12123:0 12113:0 12102:( 12098:2 12090:2 12081:( 12077:) 12074:N 12071:+ 12066:0 12058:( 12054:{ 12048:2 12044:] 12038:[ 12026:E 12016:= 12004:4 12000:C 11996:+ 11992:} 11987:) 11979:) 11973:N 11970:+ 11965:0 11953:n 11949:x 11943:N 11938:1 11935:= 11932:n 11924:+ 11919:0 11909:0 11898:( 11894:2 11886:2 11877:( 11873:) 11870:N 11867:+ 11862:0 11854:( 11850:{ 11844:2 11840:] 11834:[ 11822:E 11812:= 11800:4 11796:C 11792:+ 11788:} 11781:) 11778:N 11775:+ 11770:0 11762:( 11758:) 11752:N 11749:+ 11744:0 11732:n 11728:x 11722:N 11717:1 11714:= 11711:n 11703:+ 11698:0 11688:0 11677:( 11673:2 11665:2 11657:) 11654:N 11651:+ 11646:0 11638:( 11634:{ 11628:2 11624:] 11618:[ 11606:E 11596:= 11584:4 11580:C 11576:+ 11572:} 11564:) 11558:n 11554:x 11548:N 11543:1 11540:= 11537:n 11529:+ 11524:0 11514:0 11505:( 11501:2 11493:2 11485:) 11482:N 11479:+ 11474:0 11466:( 11462:{ 11456:2 11452:] 11446:[ 11434:E 11424:= 11412:3 11408:C 11404:+ 11400:} 11394:2 11389:0 11379:0 11371:+ 11367:) 11361:2 11356:n 11352:x 11346:N 11341:1 11338:= 11335:n 11326:( 11322:+ 11315:) 11309:n 11305:x 11299:N 11294:1 11291:= 11288:n 11280:+ 11275:0 11265:0 11256:( 11252:2 11244:2 11236:) 11233:N 11230:+ 11225:0 11217:( 11213:{ 11207:2 11203:] 11197:[ 11185:E 11175:= 11163:3 11159:C 11155:+ 11151:} 11145:2 11140:0 11130:0 11122:+ 11114:0 11104:0 11096:2 11088:2 11078:0 11070:+ 11066:) 11060:2 11050:N 11045:1 11042:= 11039:n 11030:( 11026:+ 11019:) 11013:n 11009:x 11003:N 10998:1 10995:= 10992:n 10983:( 10979:2 10972:) 10966:2 10961:n 10957:x 10951:N 10946:1 10943:= 10940:n 10931:( 10926:{ 10920:2 10916:] 10910:[ 10898:E 10888:= 10876:3 10872:C 10868:+ 10864:} 10860:) 10855:2 10850:0 10842:+ 10834:0 10826:2 10818:2 10810:( 10805:0 10797:+ 10794:) 10789:2 10781:+ 10773:n 10769:x 10765:2 10757:2 10752:n 10748:x 10744:( 10739:N 10734:1 10731:= 10728:n 10719:{ 10713:2 10709:] 10703:[ 10691:E 10681:= 10669:3 10665:C 10661:+ 10657:} 10651:2 10647:) 10641:0 10627:( 10622:0 10614:+ 10609:2 10605:) 10593:n 10589:x 10585:( 10580:N 10575:1 10572:= 10569:n 10560:{ 10554:2 10550:] 10544:[ 10532:E 10522:= 10515:) 10509:( 10495:q 10435:2 10383:) 10377:( 10363:q 10342:) 10336:( 10322:q 10238:] 10235:) 10229:( 10226:p 10217:[ 10205:E 10162:3 10158:C 10135:2 10131:C 10110:C 10081:3 10077:C 10073:+ 10069:} 10063:2 10059:) 10053:0 10039:( 10034:0 10026:+ 10021:2 10017:) 10005:n 10001:x 9997:( 9992:N 9987:1 9984:= 9981:n 9972:{ 9966:2 9962:] 9956:[ 9944:E 9934:= 9922:3 9918:C 9914:+ 9910:] 9904:2 9895:0 9885:2 9881:) 9875:0 9861:( 9851:[ 9838:E 9834:+ 9830:] 9824:2 9815:2 9811:) 9799:n 9795:x 9791:( 9780:N 9775:1 9772:= 9769:n 9760:[ 9747:E 9743:= 9731:2 9727:C 9723:+ 9719:] 9715:) 9709:2 9688:+ 9683:0 9669:( 9664:2 9661:1 9655:[ 9642:E 9638:+ 9634:] 9630:) 9624:2 9603:( 9598:2 9595:1 9588:N 9583:1 9580:= 9577:n 9568:[ 9555:E 9551:+ 9547:] 9541:2 9532:0 9522:2 9518:) 9512:0 9498:( 9488:[ 9475:E 9471:+ 9467:] 9461:2 9452:2 9448:) 9436:n 9432:x 9428:( 9417:N 9412:1 9409:= 9406:n 9397:[ 9384:E 9380:= 9368:2 9364:C 9360:+ 9356:] 9350:2 9341:0 9331:2 9327:) 9321:0 9307:( 9298:) 9292:2 9271:+ 9266:0 9252:( 9247:2 9244:1 9238:[ 9225:E 9221:+ 9217:] 9212:) 9206:2 9197:2 9193:) 9181:n 9177:x 9173:( 9164:) 9158:2 9137:( 9132:2 9129:1 9123:( 9117:N 9112:1 9109:= 9106:n 9097:[ 9084:E 9080:= 9068:2 9064:C 9060:+ 9056:] 9048:2 9039:0 9029:2 9025:) 9019:0 9005:( 8995:e 8984:2 8974:0 8955:[ 8942:E 8938:+ 8934:] 8926:2 8917:2 8913:) 8901:n 8897:x 8893:( 8883:e 8872:2 8860:N 8855:1 8852:= 8849:n 8834:[ 8821:E 8817:= 8805:2 8801:C 8797:+ 8793:] 8788:) 8782:1 8775:) 8766:0 8758:( 8755:, 8750:0 8735:( 8729:N 8717:[ 8704:E 8700:+ 8696:] 8691:) 8685:1 8674:, 8663:n 8659:x 8654:( 8648:N 8641:N 8636:1 8633:= 8630:n 8615:[ 8602:E 8598:= 8588:C 8585:+ 8581:] 8577:) 8571:( 8568:p 8558:[ 8545:E 8541:+ 8537:] 8533:) 8521:( 8518:p 8508:[ 8495:E 8491:+ 8487:] 8483:) 8477:, 8467:X 8463:( 8460:p 8450:[ 8437:E 8433:= 8423:C 8420:+ 8416:] 8412:) 8406:( 8403:p 8394:+ 8391:) 8379:( 8376:p 8367:+ 8364:) 8358:, 8348:X 8344:( 8341:p 8331:[ 8318:E 8314:= 8307:) 8301:( 8287:q 8260:) 8256:( 8254:q 8191:) 8185:( 8182:q 8179:) 8173:( 8170:q 8167:= 8164:) 8158:, 8152:( 8149:q 8112:b 8105:e 8099:1 8093:a 8083:a 8079:b 8072:) 8069:a 8066:( 8059:1 8054:= 8047:) 8044:b 8041:, 8038:a 8029:( 8010:2 8002:2 7995:2 7991:) 7981:x 7978:( 7969:e 7960:2 7949:2 7945:1 7940:= 7933:) 7928:2 7920:, 7911:x 7908:( 7903:N 7867:) 7862:0 7858:b 7854:, 7849:0 7845:a 7835:( 7826:= 7819:) 7813:( 7810:p 7802:) 7796:1 7789:) 7780:0 7772:( 7769:, 7764:0 7749:( 7743:N 7738:= 7731:) 7719:( 7716:p 7709:) 7704:1 7693:, 7682:n 7678:x 7674:( 7669:N 7662:N 7657:1 7654:= 7651:n 7643:= 7636:) 7630:, 7620:X 7616:( 7613:p 7583:) 7577:( 7574:p 7571:) 7559:( 7556:p 7553:) 7547:, 7537:X 7533:( 7530:p 7527:= 7524:) 7518:, 7512:, 7508:X 7504:( 7501:p 7467:. 7424:) 7419:N 7415:x 7411:, 7405:, 7400:1 7396:x 7386:, 7380:( 7377:p 7374:= 7371:) 7365:, 7359:( 7356:q 7333:} 7328:N 7324:x 7320:, 7314:, 7309:1 7305:x 7301:{ 7298:= 7294:X 7273:N 7208:0 7204:b 7181:0 7177:a 7173:, 7168:0 7160:, 7155:0 7115:= 7108:N 7101:) 7096:1 7085:, 7079:( 7074:N 7062:} 7057:N 7053:x 7049:, 7043:, 7038:1 7034:x 7030:{ 7023:) 7018:1 7011:) 7002:0 6994:( 6991:, 6986:0 6978:( 6973:N 6957:| 6946:) 6941:0 6937:b 6933:, 6928:0 6924:a 6920:( 6762:Q 6742:P 6719:d 6715:/ 6711:Q 6708:d 6705:= 6702:) 6696:( 6693:q 6670:d 6666:/ 6662:P 6659:d 6656:= 6653:) 6647:( 6644:p 6624:Q 6601:, 6595:] 6592:h 6583:[ 6578:P 6574:E 6568:) 6562:( 6559:h 6547:= 6541:) 6535:( 6532:p 6527:) 6521:( 6518:q 6489:. 6486:} 6483:) 6480:P 6474:Q 6471:( 6462:D 6455:] 6452:h 6449:[ 6444:Q 6440:E 6436:{ 6431:P 6425:Q 6415:= 6412:] 6409:h 6400:[ 6395:P 6391:E 6361:) 6358:P 6355:( 6350:1 6346:L 6339:h 6319:) 6316:P 6313:, 6308:F 6303:, 6297:( 6273:h 6247:Q 6221:P 6178:P 6172:Q 6152:) 6149:Q 6146:, 6141:F 6136:, 6130:( 6110:) 6107:P 6104:, 6099:F 6094:, 6088:( 6004:j 5999:Z 5961:] 5958:) 5954:X 5950:, 5946:Z 5942:( 5939:p 5930:[ 5915:j 5908:q 5903:E 5864:j 5860:q 5827:+ 5824:] 5821:) 5817:X 5813:, 5809:Z 5805:( 5802:p 5793:[ 5778:j 5771:q 5766:E 5762:= 5759:) 5755:X 5746:j 5741:Z 5736:( 5726:j 5722:q 5689:) 5685:X 5676:j 5671:Z 5666:( 5656:j 5652:q 5625:q 5596:] 5593:) 5589:X 5585:, 5581:Z 5577:( 5574:p 5565:[ 5550:j 5543:q 5538:E 5509:j 5504:Z 5499:d 5493:] 5490:) 5486:X 5482:, 5478:Z 5474:( 5471:p 5462:[ 5447:j 5440:q 5435:E 5430:e 5420:] 5417:) 5413:X 5409:, 5405:Z 5401:( 5398:p 5389:[ 5374:j 5367:q 5362:E 5357:e 5351:= 5348:) 5344:X 5335:j 5330:Z 5325:( 5315:j 5311:q 5285:j 5281:q 5253:j 5249:q 5221:) 5217:X 5208:i 5203:Z 5198:( 5193:i 5189:q 5183:M 5178:1 5175:= 5172:i 5164:= 5161:) 5157:Z 5153:( 5150:Q 5125:M 5120:Z 5110:1 5105:Z 5082:Z 5057:) 5053:Z 5049:( 5046:Q 5018:, 5015:) 5010:2 5005:Z 5000:( 4991:q 4987:) 4982:1 4977:Z 4972:( 4963:q 4959:= 4956:) 4952:Z 4948:( 4939:Q 4918:, 4915:) 4909:1 4905:Z 4900:( 4891:q 4887:= 4884:) 4879:2 4874:Z 4864:1 4859:Z 4854:( 4845:q 4822:C 4797:) 4794:P 4788:Q 4785:( 4779:L 4776:K 4771:D 4744:Q 4723:, 4720:) 4716:X 4707:2 4702:Z 4697:( 4694:P 4674:) 4670:X 4661:1 4656:Z 4651:( 4648:P 4628:) 4623:2 4618:Z 4613:( 4604:q 4583:) 4578:1 4573:Z 4568:( 4559:q 4538:, 4533:2 4528:Z 4504:1 4499:Z 4474:) 4471:) 4462:Q 4458:( 4453:L 4448:( 4439:= 4436:) 4432:X 4428:( 4419:) 4415:X 4411:( 4408:P 4380:) 4376:X 4372:( 4346:. 4342:) 4335:) 4330:2 4325:Z 4315:1 4310:Z 4305:( 4296:q 4290:) 4286:X 4282:, 4278:Z 4274:( 4271:P 4258:( 4252:) 4247:2 4242:Z 4232:1 4227:Z 4222:( 4213:q 4207:E 4192:2 4187:Z 4177:= 4171:) 4168:) 4165:) 4161:X 4157:, 4152:2 4147:Z 4137:1 4132:Z 4127:( 4124:P 4118:) 4113:2 4108:Z 4098:1 4093:Z 4088:( 4079:q 4075:( 4069:L 4066:K 4061:D 4057:( 4046:) 4042:X 4033:2 4028:Z 4023:( 4020:P 4010:2 4005:Z 3995:) 3991:X 3987:( 3984:P 3981:= 3978:) 3974:X 3970:( 3941:, 3937:) 3930:) 3925:2 3920:Z 3910:1 3905:Z 3900:( 3891:q 3885:) 3881:X 3877:, 3873:Z 3869:( 3866:P 3853:( 3847:) 3842:2 3837:Z 3827:1 3822:Z 3817:( 3808:q 3802:E 3788:) 3784:X 3780:( 3773:1 3768:= 3762:) 3759:) 3756:) 3752:X 3748:, 3743:2 3738:Z 3728:1 3723:Z 3718:( 3715:P 3709:) 3704:2 3699:Z 3689:1 3684:Z 3679:( 3670:q 3666:( 3660:L 3657:K 3652:D 3648:( 3637:) 3633:X 3624:2 3619:Z 3614:( 3611:P 3602:) 3598:X 3594:( 3586:) 3582:X 3578:( 3575:P 3569:= 3566:) 3561:2 3556:Z 3551:( 3542:q 3518:, 3515:} 3509:2 3505:Z 3500:, 3494:1 3490:Z 3485:{ 3482:= 3478:Z 3457:, 3454:) 3449:1 3444:Z 3439:( 3430:q 3426:) 3421:1 3416:Z 3406:2 3401:Z 3396:( 3387:q 3383:= 3380:) 3375:2 3370:Z 3365:( 3356:q 3352:) 3347:2 3342:Z 3332:1 3327:Z 3322:( 3313:q 3309:= 3306:) 3302:Z 3298:( 3289:Q 3265:. 3262:) 3259:P 3253:Q 3250:( 3244:L 3241:K 3236:D 3228:C 3220:Q 3197:Q 3193:= 3190:Q 3165:C 3138:C 3124:Q 3117:, 3114:) 3111:P 3099:Q 3095:( 3089:L 3086:K 3081:D 3077:+ 3074:) 3065:Q 3058:Q 3055:( 3049:L 3046:K 3041:D 3034:) 3031:P 3025:Q 3022:( 3016:L 3013:K 3008:D 2951:) 2948:Q 2945:( 2940:L 2918:Q 2894:] 2891:) 2887:X 2883:, 2879:Z 2875:( 2872:P 2863:[ 2855:Q 2851:E 2822:) 2819:Q 2816:( 2811:L 2786:) 2782:X 2778:( 2775:P 2749:) 2746:Q 2743:( 2738:L 2716:) 2712:X 2704:Z 2700:( 2697:P 2677:Q 2657:) 2654:Q 2651:( 2646:L 2624:Q 2604:P 2584:Q 2564:) 2561:Q 2558:( 2553:L 2531:Q 2511:) 2507:X 2503:( 2500:P 2465:) 2462:Q 2459:( 2454:L 2449:+ 2446:) 2443:P 2437:Q 2434:( 2428:L 2425:K 2420:D 2416:= 2412:] 2408:) 2404:X 2400:, 2396:Z 2392:( 2389:P 2377:) 2373:Z 2369:( 2366:Q 2356:[ 2349:Q 2343:E 2335:) 2332:P 2326:Q 2323:( 2317:L 2314:K 2309:D 2305:= 2302:) 2298:X 2294:( 2291:P 2259:) 2255:X 2251:( 2248:P 2239:+ 2235:] 2231:) 2227:X 2223:, 2219:Z 2215:( 2212:P 2200:) 2196:Z 2192:( 2189:Q 2179:[ 2172:Q 2166:E 2161:= 2158:) 2155:P 2149:Q 2146:( 2140:L 2137:K 2132:D 2097:) 2093:X 2089:( 2086:P 2077:+ 2073:] 2069:) 2065:X 2061:, 2057:Z 2053:( 2050:P 2038:) 2034:Z 2030:( 2027:Q 2017:[ 2013:) 2009:Z 2005:( 2002:Q 1996:Z 1987:= 1984:) 1981:P 1975:Q 1972:( 1966:L 1963:K 1958:D 1934:) 1930:Z 1926:( 1923:Q 1903:1 1900:= 1897:) 1893:Z 1889:( 1886:Q 1880:Z 1853:Z 1832:) 1828:X 1824:( 1821:P 1797:] 1793:) 1789:X 1785:( 1782:P 1772:[ 1768:) 1764:Z 1760:( 1757:Q 1751:Z 1742:+ 1738:] 1734:) 1730:X 1726:, 1722:Z 1718:( 1715:P 1703:) 1699:Z 1695:( 1692:Q 1682:[ 1678:) 1674:Z 1670:( 1667:Q 1661:Z 1652:= 1648:] 1644:) 1640:X 1636:( 1633:P 1624:+ 1618:) 1614:X 1610:, 1606:Z 1602:( 1599:P 1594:) 1590:Z 1586:( 1583:Q 1570:[ 1566:) 1562:Z 1558:( 1555:Q 1549:Z 1540:= 1537:) 1534:P 1528:Q 1525:( 1519:L 1516:K 1511:D 1484:) 1480:X 1476:( 1473:P 1468:) 1464:Z 1460:, 1456:X 1452:( 1449:P 1443:= 1440:) 1436:X 1428:Z 1424:( 1421:P 1387:) 1383:X 1375:Z 1371:( 1368:P 1362:) 1358:Z 1354:( 1351:Q 1330:Z 1309:) 1305:X 1301:( 1298:P 1277:Z 1245:Z 1240:d 1236:) 1228:Z 1223:, 1219:X 1215:( 1212:P 1206:Z 1195:) 1191:Z 1187:( 1184:P 1181:) 1177:Z 1169:X 1165:( 1162:P 1156:= 1150:) 1146:X 1142:( 1139:P 1134:) 1130:Z 1126:( 1123:P 1120:) 1116:Z 1108:X 1104:( 1101:P 1095:= 1092:) 1088:X 1080:Z 1076:( 1073:P 1044:P 1040:Q 1023:. 1017:) 1013:X 1005:Z 1001:( 998:P 993:) 989:Z 985:( 982:Q 970:) 966:Z 962:( 959:Q 953:Z 941:) 938:P 932:Q 929:( 923:L 920:K 915:D 901:P 897:Q 871:) 868:P 865:; 862:Q 859:( 856:d 836:) 832:Z 828:( 825:Q 805:) 802:P 799:; 796:Q 793:( 790:d 767:) 763:X 755:Z 751:( 748:P 728:) 724:Z 720:( 717:Q 697:) 693:X 685:Z 681:( 678:P 658:) 654:Z 650:( 647:Q 624:. 621:) 617:Z 613:( 610:Q 604:) 600:X 592:Z 588:( 585:P 563:: 560:) 556:Z 552:( 549:Q 524:X 503:} 498:n 494:Z 485:1 481:Z 477:{ 474:= 470:Z 307:e 300:t 293:v 23:.

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.

Knowledge

Variational Bayesian methods

Index