Probabilidades y Variables Aleatorias
Probabilidades y Variables Aleatorias Probabilidad que es? Estudia los promedios de fenómenos en masa que ocurren ya sea secuencialmente o en forma simultanea. Ej.: llamadas telefónicas, ruido, teoría de colas, tomas de decisión. Se lo representa mediante un numero entre 0 y 1. Por que? Se ha observado que ciertos promedios se aproximan a un valor constante, a medida que el numero de observaciones se incrementa. Propósito Descubrir y predecir estos promedios en términos de probabilidades de eventos. Evento  Ocurrencia de un suceso
Axiomas de Probabilidad Siendo A: un evento especifico de un espacio Muestral S. P{A} > 0 P{S} = 1 Si AB = { Ø } entonces P{A} + P{B} = P{A+B} Generalizando (3), Si eventos E 1 ,E 2 ,E 3 ,… tales que E i ∩E j ={ Ø } , para todo i ≠j entonces:
Espacio Muestral y Propiedades Espacio de Muestras: el conjunto de todos los resultados posibles dentro de un experimento. Propiedades  P { Ø } = 0 P(A) = 1- P( Ā) Si A y B tienen elementos comunes:  P(A+B) = P(A) + P(B) – P(AB)
Probabilidad Condicional Eventos conjuntos: Resultados que ocurren cuando realizamos dos o mas experimentos. Ejemplo: Lanzamiento de dos dados, experimento    {lanzar un dado y luego otro} o {lanzar dos dados al mismo tiempo}. Resultado: 36 “tuples” o combinaciones (i,j) siendo i,j=1,…,6 Probabilidad de cada evento puntual es de 1/36.
Probabilidad Condicional Si consideramos un experimento combinado tal que un evento ocurre con probabilidad P(AB) Supongamos que B ocurrió, cual es la probabilidad de que A ocurra? P(A|B) “probabilidad de A  dado que  B ocurrió” P(B)>0
Probabilidad Total y Regla de Bayes Tenemos un espacio S y lo particionamos en eventos tal que la unión de estos reconstruya dicho espacio. S = A 1  + A 2  + A 3  + …..+A n  , siendo A i  mutuamente excluyentes Si B es un evento arbitrario cual es P(B)?
Regla de Bayes En el anterior slide vimos que para hallar la P(B) necesitábamos P(B|A i ). Que pasaría si conocemos la probabilidad de B pero deseamos hallar P(A i |B). Este pregunta es muy común en problemas de toma de decisión. Significa: “si observo una señal B, cual es la probabilidad de que “la señal transmitida” fue A i ?”
Regla de Bayes
Probabilidades en Toma de Decisiones P(A i ) : probabilidad  “a priori”  (“conocida”) B: evento de recibir una señal que sea parte del conjunto de señales A i  mas una distorsión debido al ruido. P(A i  |B): probabilidad  “a posteriori”  de A i  dado que recibimos la señal B. P(B| A i ): función de  “verisimilitud”  (“likelihood”), quiere decir, si tengo una señal A i  cual es la probabilidad de que este “cerca de” B.
Variables Aleatorias Si el conjunto de eventos posibles S tiene varios elementos Variable Aleatoria es una función X(s) cuyo dominio es el espacio S y su rango es el conjunto de los números Reales. s4 s3 s2 s1 X(s2) X(s1) X(s3) X(s4) S
Funciones cdf y pdf CDF: Función de Distribución Acumulativa s4 s3 s2 s1 X(s2) X(s1) X(s3) X(s4) S x Fx(x) = P[X(s2)]+P[X(s1)]+P[X(s3)] V.A. Discreta V.A. Continua 1 x F x (x) 1 F x (x) x
PDF Función densidad de Probabilidad Para variables discretas se define la función de masas probabilística.
Ejemplos de Variables Aleatorias Bernoulli VA discreta, modela (1/0, “éxito”/”fracaso”) “ 1”  p y “0”  1-p, siendo p “probabilidad” Binomial VA discreta que resulta del conteo de “1” (“exitos”) que ocurren en  n  repeticiones independientes.
Ejemplos de Variables Aleatorias Uniforme VA continua, toma valores entre un rango (a,b) con igual probabilidad sobre intervalos de igual longitud. Gaussiana VA continua, muy común en comunicaciones  ruido termico.
VA. Gaussiana o Normal Función CDF de una V.A. Normal con   =0,   =1 es: Función Q: Normalización:  N (  ,  2 )    N (  ,  )
Tabla Q
Promedios Estadísticos Valor Esperado: Momento – n de variable x: Valor esperado para variables discretas:
Varianza Varianza es la medida de cuan dispersos están los datos recolectados. Mide la concentración de datos (elementos de un espacio muestral) alrededor de un valor promedio (media).
Procesos Estocásticos: Conceptos Básicos Primera realización Segunda realización N-esima realización Proceso Aleatorio o  Señales Aleatorias
Descripción Existen dos formas de “observar” este proceso: Funciones de tiempo o “realizaciones” de una muestra. Conjunto de variables aleatorias dentro de un tiempo fijo t k. t k
Descripción Estadística De las dos formas de “observar” un proceso, la segunda es la mas utilizada. Una descripción estadística completa de un proceso estocástico (o señal aleatoria) X(t) es conocida si para cualquier entero n y cualquier elección de tiempos (t 1 ,t 2 ,…,t n ), la funcion densidad conjunta de (X(t 1 ),X(t 2 ),…,X(t n )) es conocida. Esto en otras palabras define el proceso como una colección de variables aleatorias indexadas.
Promedios Estadísticos Del hecho anterior (descripción estadística) es posible entonces encontrar ciertos promedios. MEDIA O ESPERANZA X(t,s 2 ) X(t,s 1 ) X(t,s 3 ) m(t) t 1 t 2
Promedios Estadísticos AUTOCORRELACION Estadística de segundo orden Utilizada para describir la densidad espectral de una señal. Mide la existencia de ciertos patrones de la señal, consigo misma Determina la presencia de una señal que esta opacada por el ruido, cierta frecuencia o armónicas dentro de la señal. Medida del grado de similitud de la distribucion de muestras, es funcion de los desplazamientos en el tiempo. Definición:
Procesos Estacionarios En algunas mediciones de señales aleatorias reales, se encuentra que la caracterización estadística del proceso es  independiente del tiempo en que se inicia el proceso . Es decir si tenemos un proceso cuyas variables aleatorias X(t 1 ), X(t 2 ),..,X(t n ) tomadas a diferentes tiempos, entonces, el proceso será ESTRICTAMENTE ESTACIONARIO si cumple:
Procesos Ergodicos Un proceso es ergodico si los “promedios conjuntos” son iguales al “promedios de tiempo”. Interpretación: “ promedios de tiempo”    promedios a lo largo del proceso o a largo plazo. “ promedios conjuntos”    media o esperanza de una variable aleatoria X(t k ) en un tiempo fijo t k , basado en el conjunto de valores posibles que pueda tomar dicha variable aleatoria.
Procesos ergodicos Promedio de tiempo    nivel DC Promedio conjunto X es ergodico si Todo proceso ergodico es estacionario, sin embargo lo contrario puede no aplicarse. Sobre una “realizacion” especifica Sobre una i-esima “realizacion”
Densidad Espectral de Potencia Definición Si X(t) es un proceso aleatorio, y sea X(t,s i ) una i-esima realización o muestra de dicho proceso, entonces la DEP es: Donde se tiene una señal truncada Para así obtener la transformada de Fourier
Teorema de Wiener-Khintchine El método anterior para hallar la PSD es poco practico. Un método adecuado es usar la autocorrelación del proceso X(t). Solo Si este proceso es estacionario en sentido amplio (WSS): La media E[X(t)]    constante (no depende del tiempo) R x (t 1 ,t 2 ) = R x (  ), cuando   =t 2 -t 1 Por tanto la PSD puede encontrarse asi:
Aplicación de la PSD Para hallar la potencia promedio de una señal aleatoria. PSD medida en (W/Hz). Potencia se define: Si el proceso es ergodico entonces el promedio del tiempo es igual a los promedios conjuntos:
Aplicaciones DC: Voltímetro, Amperímetro miden valores promedios E[X(t)] AC: RMS Voltímetro, mide: Potencia promedio normalizada RF, mide un medidor de potencia (power meter o Analizador de Espectro) No olvidarse que la Señal aleatoria es medida en Voltios y para obtener varianza  Hay  que multiplicar la potencia medida por el valor de carga (50  para RF)
Procesos Ruido Blanco Se   usa para denotar procesos en que todas las componentes espectrales aparecen con igual potencia   ”luz blanca”.
Señales Aleatorias y Sistemas Lineales El análisis es similar a lo visto en Sistemas Lineales, el objetivo es que deseamos conocer lo siguiente: Media de la señal de salida Autocorrelación de la salida Varianza o Potencia de salida Correlación cruzada entre la entrada y salida. Sistema lineal X(t) Y(t) m x R x (  ) S x (f) m y R y (  ) S y (f)
Señales Aleatorias y Sistemas Lineales Media de señal de salida Autocorrelación de salida DEP A partir de aqui  usando  la transformada inversa de Fourier podemos obtener R y (  )
Ruido a través de un filtro paso bajo Características: El ruido blanco pasa a través de un filtro paso bajo (ancho de banda B). La DEP resultante esta limitada en banda. Para obtener la auto correlación, aplicamos TF inversa.
El proceso aleatorio Gaussiano X(t) es una señal aleatoria gaussiana si las variables aleatorias x 1 =x(t 1 ), x 2 =x(t 2 ),…x N =x(t N ), tienen una distribucion normal N-dimensional conjunta. Usando matrices: pdf covarianza promedio
Proceso Gaussiano Covarianza Si el proceso es WSS: Si los N elementos no están correlacionados, la matriz covarianza se reduce a:   = R x (0)-m 2

Probabilidad

  • 1.
  • 2.
    Probabilidades y VariablesAleatorias Probabilidad que es? Estudia los promedios de fenómenos en masa que ocurren ya sea secuencialmente o en forma simultanea. Ej.: llamadas telefónicas, ruido, teoría de colas, tomas de decisión. Se lo representa mediante un numero entre 0 y 1. Por que? Se ha observado que ciertos promedios se aproximan a un valor constante, a medida que el numero de observaciones se incrementa. Propósito Descubrir y predecir estos promedios en términos de probabilidades de eventos. Evento Ocurrencia de un suceso
  • 3.
    Axiomas de ProbabilidadSiendo A: un evento especifico de un espacio Muestral S. P{A} > 0 P{S} = 1 Si AB = { Ø } entonces P{A} + P{B} = P{A+B} Generalizando (3), Si eventos E 1 ,E 2 ,E 3 ,… tales que E i ∩E j ={ Ø } , para todo i ≠j entonces:
  • 4.
    Espacio Muestral yPropiedades Espacio de Muestras: el conjunto de todos los resultados posibles dentro de un experimento. Propiedades P { Ø } = 0 P(A) = 1- P( Ā) Si A y B tienen elementos comunes: P(A+B) = P(A) + P(B) – P(AB)
  • 5.
    Probabilidad Condicional Eventosconjuntos: Resultados que ocurren cuando realizamos dos o mas experimentos. Ejemplo: Lanzamiento de dos dados, experimento  {lanzar un dado y luego otro} o {lanzar dos dados al mismo tiempo}. Resultado: 36 “tuples” o combinaciones (i,j) siendo i,j=1,…,6 Probabilidad de cada evento puntual es de 1/36.
  • 6.
    Probabilidad Condicional Siconsideramos un experimento combinado tal que un evento ocurre con probabilidad P(AB) Supongamos que B ocurrió, cual es la probabilidad de que A ocurra? P(A|B) “probabilidad de A dado que B ocurrió” P(B)>0
  • 7.
    Probabilidad Total yRegla de Bayes Tenemos un espacio S y lo particionamos en eventos tal que la unión de estos reconstruya dicho espacio. S = A 1 + A 2 + A 3 + …..+A n , siendo A i mutuamente excluyentes Si B es un evento arbitrario cual es P(B)?
  • 8.
    Regla de BayesEn el anterior slide vimos que para hallar la P(B) necesitábamos P(B|A i ). Que pasaría si conocemos la probabilidad de B pero deseamos hallar P(A i |B). Este pregunta es muy común en problemas de toma de decisión. Significa: “si observo una señal B, cual es la probabilidad de que “la señal transmitida” fue A i ?”
  • 9.
  • 10.
    Probabilidades en Tomade Decisiones P(A i ) : probabilidad “a priori” (“conocida”) B: evento de recibir una señal que sea parte del conjunto de señales A i mas una distorsión debido al ruido. P(A i |B): probabilidad “a posteriori” de A i dado que recibimos la señal B. P(B| A i ): función de “verisimilitud” (“likelihood”), quiere decir, si tengo una señal A i cual es la probabilidad de que este “cerca de” B.
  • 11.
    Variables Aleatorias Siel conjunto de eventos posibles S tiene varios elementos Variable Aleatoria es una función X(s) cuyo dominio es el espacio S y su rango es el conjunto de los números Reales. s4 s3 s2 s1 X(s2) X(s1) X(s3) X(s4) S
  • 12.
    Funciones cdf ypdf CDF: Función de Distribución Acumulativa s4 s3 s2 s1 X(s2) X(s1) X(s3) X(s4) S x Fx(x) = P[X(s2)]+P[X(s1)]+P[X(s3)] V.A. Discreta V.A. Continua 1 x F x (x) 1 F x (x) x
  • 13.
    PDF Función densidadde Probabilidad Para variables discretas se define la función de masas probabilística.
  • 14.
    Ejemplos de VariablesAleatorias Bernoulli VA discreta, modela (1/0, “éxito”/”fracaso”) “ 1”  p y “0”  1-p, siendo p “probabilidad” Binomial VA discreta que resulta del conteo de “1” (“exitos”) que ocurren en n repeticiones independientes.
  • 15.
    Ejemplos de VariablesAleatorias Uniforme VA continua, toma valores entre un rango (a,b) con igual probabilidad sobre intervalos de igual longitud. Gaussiana VA continua, muy común en comunicaciones  ruido termico.
  • 16.
    VA. Gaussiana oNormal Función CDF de una V.A. Normal con  =0,  =1 es: Función Q: Normalización: N (  ,  2 )  N (  ,  )
  • 17.
  • 18.
    Promedios Estadísticos ValorEsperado: Momento – n de variable x: Valor esperado para variables discretas:
  • 19.
    Varianza Varianza esla medida de cuan dispersos están los datos recolectados. Mide la concentración de datos (elementos de un espacio muestral) alrededor de un valor promedio (media).
  • 20.
    Procesos Estocásticos: ConceptosBásicos Primera realización Segunda realización N-esima realización Proceso Aleatorio o Señales Aleatorias
  • 21.
    Descripción Existen dosformas de “observar” este proceso: Funciones de tiempo o “realizaciones” de una muestra. Conjunto de variables aleatorias dentro de un tiempo fijo t k. t k
  • 22.
    Descripción Estadística Delas dos formas de “observar” un proceso, la segunda es la mas utilizada. Una descripción estadística completa de un proceso estocástico (o señal aleatoria) X(t) es conocida si para cualquier entero n y cualquier elección de tiempos (t 1 ,t 2 ,…,t n ), la funcion densidad conjunta de (X(t 1 ),X(t 2 ),…,X(t n )) es conocida. Esto en otras palabras define el proceso como una colección de variables aleatorias indexadas.
  • 23.
    Promedios Estadísticos Delhecho anterior (descripción estadística) es posible entonces encontrar ciertos promedios. MEDIA O ESPERANZA X(t,s 2 ) X(t,s 1 ) X(t,s 3 ) m(t) t 1 t 2
  • 24.
    Promedios Estadísticos AUTOCORRELACIONEstadística de segundo orden Utilizada para describir la densidad espectral de una señal. Mide la existencia de ciertos patrones de la señal, consigo misma Determina la presencia de una señal que esta opacada por el ruido, cierta frecuencia o armónicas dentro de la señal. Medida del grado de similitud de la distribucion de muestras, es funcion de los desplazamientos en el tiempo. Definición:
  • 25.
    Procesos Estacionarios Enalgunas mediciones de señales aleatorias reales, se encuentra que la caracterización estadística del proceso es independiente del tiempo en que se inicia el proceso . Es decir si tenemos un proceso cuyas variables aleatorias X(t 1 ), X(t 2 ),..,X(t n ) tomadas a diferentes tiempos, entonces, el proceso será ESTRICTAMENTE ESTACIONARIO si cumple:
  • 26.
    Procesos Ergodicos Unproceso es ergodico si los “promedios conjuntos” son iguales al “promedios de tiempo”. Interpretación: “ promedios de tiempo”  promedios a lo largo del proceso o a largo plazo. “ promedios conjuntos”  media o esperanza de una variable aleatoria X(t k ) en un tiempo fijo t k , basado en el conjunto de valores posibles que pueda tomar dicha variable aleatoria.
  • 27.
    Procesos ergodicos Promediode tiempo  nivel DC Promedio conjunto X es ergodico si Todo proceso ergodico es estacionario, sin embargo lo contrario puede no aplicarse. Sobre una “realizacion” especifica Sobre una i-esima “realizacion”
  • 28.
    Densidad Espectral dePotencia Definición Si X(t) es un proceso aleatorio, y sea X(t,s i ) una i-esima realización o muestra de dicho proceso, entonces la DEP es: Donde se tiene una señal truncada Para así obtener la transformada de Fourier
  • 29.
    Teorema de Wiener-KhintchineEl método anterior para hallar la PSD es poco practico. Un método adecuado es usar la autocorrelación del proceso X(t). Solo Si este proceso es estacionario en sentido amplio (WSS): La media E[X(t)]  constante (no depende del tiempo) R x (t 1 ,t 2 ) = R x (  ), cuando  =t 2 -t 1 Por tanto la PSD puede encontrarse asi:
  • 30.
    Aplicación de laPSD Para hallar la potencia promedio de una señal aleatoria. PSD medida en (W/Hz). Potencia se define: Si el proceso es ergodico entonces el promedio del tiempo es igual a los promedios conjuntos:
  • 31.
    Aplicaciones DC: Voltímetro,Amperímetro miden valores promedios E[X(t)] AC: RMS Voltímetro, mide: Potencia promedio normalizada RF, mide un medidor de potencia (power meter o Analizador de Espectro) No olvidarse que la Señal aleatoria es medida en Voltios y para obtener varianza Hay que multiplicar la potencia medida por el valor de carga (50  para RF)
  • 32.
    Procesos Ruido BlancoSe usa para denotar procesos en que todas las componentes espectrales aparecen con igual potencia  ”luz blanca”.
  • 33.
    Señales Aleatorias ySistemas Lineales El análisis es similar a lo visto en Sistemas Lineales, el objetivo es que deseamos conocer lo siguiente: Media de la señal de salida Autocorrelación de la salida Varianza o Potencia de salida Correlación cruzada entre la entrada y salida. Sistema lineal X(t) Y(t) m x R x (  ) S x (f) m y R y (  ) S y (f)
  • 34.
    Señales Aleatorias ySistemas Lineales Media de señal de salida Autocorrelación de salida DEP A partir de aqui usando la transformada inversa de Fourier podemos obtener R y (  )
  • 35.
    Ruido a travésde un filtro paso bajo Características: El ruido blanco pasa a través de un filtro paso bajo (ancho de banda B). La DEP resultante esta limitada en banda. Para obtener la auto correlación, aplicamos TF inversa.
  • 36.
    El proceso aleatorioGaussiano X(t) es una señal aleatoria gaussiana si las variables aleatorias x 1 =x(t 1 ), x 2 =x(t 2 ),…x N =x(t N ), tienen una distribucion normal N-dimensional conjunta. Usando matrices: pdf covarianza promedio
  • 37.
    Proceso Gaussiano CovarianzaSi el proceso es WSS: Si los N elementos no están correlacionados, la matriz covarianza se reduce a:   = R x (0)-m 2