Geir Evensen - Data Assimilation_ The Ensemble Kalman Filter-Spr...

Contents List of symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 Statistical definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1 Probability density function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Statistical moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.1 Expected value. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.2 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.3 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3 Working with samples from a distribution . . . . . . . . . . . . . . . . . . 9 2.3.1 Sample mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.2 Sample variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.3 Sample covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4 Statistics of random fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.1 Sample mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.2 Sample variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.3 Sample covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.4.4 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.5 Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.6 Central limit theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3 Analysis scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1 Scalar case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.1 State-space formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 Bayesian formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.2 Extension to spatial dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.1 Basic formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.2 Euler–Lagrange equation . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.3 Representer solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.2.4 Representer matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 x Contents 3.2.5 Error estimate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2.6 Uniqueness of the solution . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7 Minimization of the penalty function. . . . . . . . . . . . . . . . . 23 3.2.8 Prior and posterior value of the penalty function . . . . . . 24 3.3 Discrete form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4 Sequential data assimilation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.1 Linear Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.1.1 Kalman filter for a scalar case. . . . . . . . . . . . . . . . . . . . . . . 28 4.1.2 Kalman filter for a vector state . . . . . . . . . . . . . . . . . . . . . . 29 4.1.3 Kalman filter with a linear advection equation . . . . . . . . 29 4.2 Nonlinear dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2.1 Extended Kalman filter for the scalar case . . . . . . . . . . . . 32 4.2.2 Extended Kalman filter in matrix form. . . . . . . . . . . . . . . 33 4.2.3 Example using the extended Kalman filter . . . . . . . . . . . . 35 4.2.4 Extended Kalman filter for the mean . . . . . . . . . . . . . . . . 36 4.2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3 Ensemble Kalman filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.3.1 Representation of error statistics . . . . . . . . . . . . . . . . . . . . 38 4.3.2 Prediction of error statistics . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3.3 Analysis scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3.5 Example with a QG model . . . . . . . . . . . . . . . . . . . . . . . . . 44 5 Variational inverse problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.1 Simple illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.2 Linear inverse problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.1 Model and observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.2.2 Measurement functional . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.2.3 Comment on the measurement equation . . . . . . . . . . . . . . 51 5.2.4 Statistical hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 5.2.5 Weak constraint variational formulation . . . . . . . . . . . . . . 52 5.2.6 Extremum of the penalty function . . . . . . . . . . . . . . . . . . . 53 5.2.7 Euler–Lagrange equations . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.2.8 Strong constraint approximation . . . . . . . . . . . . . . . . . . . . 55 5.2.9 Solution by representer expansions. . . . . . . . . . . . . . . . . . . 56 5.3 Representer method with an Ekman model . . . . . . . . . . . . . . . . . 57 5.3.1 Inverse problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.3.2 Variational formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.3.3 Euler–Lagrange equations . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.3.4 Representer solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.3.5 Example experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.3.6 Assimilation of real measurements . . . . . . . . . . . . . . . . . . . 64 5.4 Comments on the representer method . . . . . . . . . . . . . . . . . . . . . . 67 Contents xi 6 Nonlinear variational inverse problems. . . . . . . . . . . . . . . . . . . . . 71 6.1 Extension to nonlinear dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.1.1 Generalized inverse for the Lorenz equations . . . . . . . . . . 72 6.1.2 Strong constraint assumption . . . . . . . . . . . . . . . . . . . . . . . 73 6.1.3 Solution of the weak constraint problem. . . . . . . . . . . . . . 76 6.1.4 Minimization by the gradient descent method . . . . . . . . . 77 6.1.5 Minimization by genetic algorithms . . . . . . . . . . . . . . . . . . 78 6.2 Example with the Lorenz equations . . . . . . . . . . . . . . . . . . . . . . . . 82 6.2.1 Estimating the model error covariance . . . . . . . . . . . . . . . 82 6.2.2 Time correlation of the model error covariance . . . . . . . . 83 6.2.3 Inversion experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 6.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 7 Probabilistic formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 7.1 Joint parameter and state estimation . . . . . . . . . . . . . . . . . . . . . . 95 7.2 Model equations and measurements . . . . . . . . . . . . . . . . . . . . . . . . 96 7.3 Bayesian formulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.3.1 Discrete formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 7.3.2 Sequential processing of measurements . . . . . . . . . . . . . . . 99 7.4 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 8 Generalized Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 8.1 Generalized inverse formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 8.1.1 Prior density for the poorly known parameters . . . . . . . . 103 8.1.2 Prior density for the initial conditions . . . . . . . . . . . . . . . . 104 8.1.3 Prior density for the boundary conditions . . . . . . . . . . . . 104 8.1.4 Prior density for the measurements . . . . . . . . . . . . . . . . . . 105 8.1.5 Prior density for the model errors . . . . . . . . . . . . . . . . . . . 105 8.1.6 Conditional joint density . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 8.2 Solution methods for the generalized inverse problem . . . . . . . . 108 8.2.1 Generalized inverse for a scalar model . . . . . . . . . . . . . . . . 108 8.2.2 Euler–Lagrange equations . . . . . . . . . . . . . . . . . . . . . . . . . . 109 8.2.3 Iteration in α . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 8.2.4 Strong constraint problem . . . . . . . . . . . . . . . . . . . . . . . . . . 111 8.3 Parameter estimation in the Ekman flow model . . . . . . . . . . . . . 113 8.4 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 9 Ensemble methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.1 Introductory remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.2 Linear ensemble analysis update . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 9.3 Ensemble representation of error statistics . . . . . . . . . . . . . . . . . . 122 9.4 Ensemble representation for measurements. . . . . . . . . . . . . . . . . . 124 9.5 Ensemble Smoother (ES) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 9.6 Ensemble Kalman Smoother (EnKS) . . . . . . . . . . . . . . . . . . . . . . . 126 9.7 Ensemble Kalman Filter (EnKF) . . . . . . . . . . . . . . . . . . . . . . . . . . 129 xii Contents 9.7.1 EnKF with linear noise free model . . . . . . . . . . . . . . . . . . . 129 9.7.2 EnKS using EnKF as a prior. . . . . . . . . . . . . . . . . . . . . . . . 130 9.8 Example with the Lorenz equations . . . . . . . . . . . . . . . . . . . . . . . . 131 9.8.1 Description of experiments . . . . . . . . . . . . . . . . . . . . . . . . . 131 9.8.2 Assimilation Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 9.9 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 10 Statistical optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 10.1 Definition of the minimization problem. . . . . . . . . . . . . . . . . . . . . 139 10.1.1 Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 10.1.2 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 10.1.3 Measurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 10.1.4 Cost function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 10.2 Bayesian formalism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 10.3 Solution by ensemble methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 10.3.1 Variance minimizing solution . . . . . . . . . . . . . . . . . . . . . . . 144 10.3.2 EnKS solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 10.4 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 11 Sampling strategies for the EnKF. . . . . . . . . . . . . . . . . . . . . . . . . . 157 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 11.2 Simulation of realizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 11.2.1 Inverse Fourier transform. . . . . . . . . . . . . . . . . . . . . . . . . . . 159 11.2.2 Definition of Fourier spectrum . . . . . . . . . . . . . . . . . . . . . . 159 11.2.3 Specification of covariance and variance . . . . . . . . . . . . . . 160 11.3 Simulating correlated fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 11.4 Improved sampling scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 11.5 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 11.5.1 Overview of experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 11.5.2 Impact from ensemble size . . . . . . . . . . . . . . . . . . . . . . . . . . 170 11.5.3 Impact of improved sampling for the initial ensemble . . 171 11.5.4 Improved sampling of measurement perturbations. . . . . . 171 11.5.5 Evolution of ensemble singular spectra . . . . . . . . . . . . . . . 173 11.5.6 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 12 Model errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 12.1 Simulation of model errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 12.1.1 Determination of ρ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 12.1.2 Physical model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 12.1.3 Variance growth due to the stochastic forcing.. . . . . . . . . 176 12.1.4 Updating model noise using measurements. . . . . . . . . . . . 180 12.2 Scalar model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 12.3 Variational inverse problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 12.3.1 Prior statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 Contents xiii 12.3.2 Penalty function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 12.3.3 Euler–Lagrange equations . . . . . . . . . . . . . . . . . . . . . . . . . . 182 12.3.4 Iteration of parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 12.3.5 Solution by representer expansions. . . . . . . . . . . . . . . . . . . 183 12.3.6 Variance growth due to model errors . . . . . . . . . . . . . . . . . 184 12.4 Formulation as a stochastic model . . . . . . . . . . . . . . . . . . . . . . . . . 185 12.5 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 12.5.1 Case A0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 12.5.2 Case A1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 12.5.3 Case B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 12.5.4 Case C. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 12.5.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 13 Square Root Analysis schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 13.1 Square root algorithm for the EnKF analysis . . . . . . . . . . . . . . . . 195 13.1.1 Updating the ensemble mean . . . . . . . . . . . . . . . . . . . . . . . 196 13.1.2 Updating the ensemble perturbations . . . . . . . . . . . . . . . . 196 13.1.3 Randomization of the analysis update . . . . . . . . . . . . . . . . 197 13.1.4 Final update equation in the square root algorithms . . . 200 13.2 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 13.2.1 Overview of experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 13.2.2 Impact of the square root analysis algorithm. . . . . . . . . . 203 14 Rank issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 14.1 Pseudo inverse of C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 14.1.1 Pseudo inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 14.1.2 Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 14.1.3 Analysis schemes using the pseudo inverse of C . . . . . . . 209 14.1.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 14.2 Efficient subspace pseudo inversion . . . . . . . . . . . . . . . . . . . . . . . . 212 14.2.1 Derivation of the subspace pseudo inverse . . . . . . . . . . . . 212 14.2.2 Analysis schemes based on the subspace pseudo inverse 216 14.2.3 An interpretation of the subspace pseudo inversion . . . . 217 14.3 Subspace inversion using a low-rank C . . . . . . . . . . . . . . . . . . . . 218 14.3.1 Derivation of the pseudo inverse . . . . . . . . . . . . . . . . . . . . . 218 14.3.2 Analysis schemes using a low-rank C . . . . . . . . . . . . . . . 219 14.4 Implementation of the analysis schemes . . . . . . . . . . . . . . . . . . . . 220 14.5 Rank issues related to the use of a low-rank C . . . . . . . . . . . . . 221 14.6 Experiments with m N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 14.7 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 xiv Contents 15 An ocean prediction system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 15.2 System configuration and EnKF implementation . . . . . . . . . . . . 232 15.3 Nested regional models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 15.4 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 16 Estimation in an oil reservoir simulator . . . . . . . . . . . . . . . . . . . . 239 16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 16.2 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 16.2.1 Parameterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 16.2.2 State vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 16.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 16.4 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 A Other EnKF issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 A.1 Local analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 A.2 Nonlinear measurements in the EnKF . . . . . . . . . . . . . . . . . . . . . . 251 A.3 Assimilation of non-synoptic measurements . . . . . . . . . . . . . . . . 253 A.4 Time difference data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 A.5 Ensemble Optimal Interpolation (EnOI) . . . . . . . . . . . . . . . . . . . . 255 A.6 Chronology of ensemble assimilation developments . . . . . . . . . . . 255 A.6.1 Applications of the EnKF . . . . . . . . . . . . . . . . . . . . . . . . . . 255 A.6.2 Other ensemble based filters . . . . . . . . . . . . . . . . . . . . . . . . 264 A.6.3 Ensemble smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 A.6.4 Ensemble methods for parameter estimation . . . . . . . . . . 264 A.6.5 Nonlinear filters and smoothers . . . . . . . . . . . . . . . . . . . . . 265 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .277