Wiki Metodosnumericos
Registrarse
Advertisement



Indice[]

1. ¿CUÁNDO EXISTE REGRESIÓN?..............................................................................................................1 2. TIPOS DE REGRESIÓN............................................................................................................................2 3. REPRESENTATIVIDAD DE LA CURVA DE REGRESIÓN.............................................................................3 3.1. Poder explicativo del modelo....................................................................................................................3 3.2. Poder explicativo frente a poder predictivo.................................................................................................3 3.3. Causalidad.............................................................................................................................................4 3.4. Extrapolación.........................................................................................................................................4 4. REGRESIÓN NO LINEAL E INFERENCIA...................................................................................................4 5. LINEALIZACIÓN........................................................................................................................................5 6. MÍNIMOS CUADRADOS ORDINARIOS Y PONDERADOS............................................................................5 7. ESTIMACIÓN DE LOS PARÁMETROS CON EL MÉTODO MONTE CARLO...................................................5 8. ALGORITMO DE GAUSS–NEWTON...........................................................................................................5 8.1. El problema............................................................................................................................................6 8.2. El algoritmo............................................................................................................................................6 8.3. Otros algoritmos.....................................................................................................................................6 9. REGRESIÓN NO LINEAL...........................................................................................................................7 9.1. Parábola de regresión.............................................................................................................................7 9.2. Regresión hiperbólica..............................................................................................................................8 9.3. Función exponencial, potencial, y logarítmica...........................................................................................8 10. EJEMPLOS DE REGRESIÓN NO LINEAL...............................................................................................10 10.1. Ajuste de una función parabólica: .................................................................................... 10

10.2. Ajuste de una función potencial:........................................................................................... 11

10.3. Ajuste de una función exponencial:...................................................................................... 12

¿Cuándo existe regresión? []

De una forma general, lo primero que suele hacerse para ver si dos variables aleatorias están relacionadas o no (de ahora en adelante se denominarán X e Y , siendo Y la variable dependiente, y X la variable independiente o regresora), consiste en tomar una muestra aleatoria. Sobre cada individuo de la muestra se analizan las dos características en estudio, de modo que para cada individuo se tenga un par de valores … . Seguidamente, se representan dichos valores en unos ejes cartesianos, dando lugar a un diagrama de dispersión o nube de puntos. Así, cada individuo vendrá representado por un punto en el gráfico, de coordenadas . De esa forma, se podrá obtener una primera idea acerca de la forma y de la dispersión de la nube de puntos. Al dibujar la nube de puntos, se encontrará, entre otros, casos como los que hace referencia la figura 1. En primer lugar deberá distinguirse entre dependencia funcional y dependencia estocástica. En el primer caso la relación es perfecta: (figura 1d y 1e); es decir, los puntos del diagrama de dispersión correspondiente aparecen sobre la función . Por ejemplo, en 1d sería . Sin embargo, suele ocurrir que no existe una dependencia funcional perfecta, sino otra dependencia o relación menos rigurosa o dependencia estocástica (figura 1b y 1c). Entonces, la relación entre X e Y , se escribiría (en el caso de la figura 1b) de la forma , donde e es un error (o residual), debido por ejemplo, a no incluir variables en el modelo que sean importantes a la hora de explicar el comportamiento de Y , y cuyos efectos sean diferentes a los de X ; errores aleatorios o de medida, o simplemente a que se ha especificando mal el modelo (por ejemplo, en lugar de ser una recta, sea una parábola).

Fig1





D








El caso de la figura 1a se corresponde con el de ausencia de relación, o independencia. En la dependencia estocástica, se distinguen dos tipos de técnicas: (a) Análisis de regresión; (b) Análisis de correlación. El análisis de correlación, tiene como fin dar respuesta a las preguntas: • ¿Existe dependencia estocástica entre las variables?; • ¿Cuál es el grado de dicha dependencia? En el análisis de regresión las cuestiones son: • ¿Cuál es el tipo de dependencia entre las dos variables?; • ¿Pueden estimarse los valores de Y a partir de los de X ? y ¿Con qué precisión?. De modo general, se dirá que existe regresión de los valores de una variable con respecto a los de otra, cuando hay alguna línea, llamada línea de regresión que se ajusta más o menos claramente a la nube de puntos. Si existe regresión, se denominará ecuación de regresión a la ecuación que describe la relación entre las dos variables. Por ejemplo:


En general, la variable X se conoce como variable independiente, y la Y como variable dependiente. Evidentemente puede ser arbitrario el determinar la existencia de regresión así como el tipo de la misma, ya que depende del autor o del estado de ánimo de la persona en un momento determinado. Por lo tanto, se hacen necesarios métodos estadísticos objetivos, independientes del investigador, para determinar la existencia o no de relación y el tipo de la misma.

Tipos de regresión []

Si las dos variables X e Y se relacionan según un modelo de línea recta, se habla de regresión lineal simple:

Cuando las variables X e Y se relacionan según una línea curva, se habla de regresión no lineal o curvilínea. Aquí se puede distinguir entre regresión parabólica, exponencial, potencial, etc. Cuando hay más de una variable independiente , y una sola variable dependienteY , se habla de regresión múltiple. Las variables i X se denominan, regresoras, predictoras o independientes.


Representatividad de la curva de regresión[]

3.1. Poder explicativo del modelo

La curva de regresión, tiene carácter de línea media que trata de resumir o sintetizar la información suministrada por los datos. Si tiene carácter de línea media (de promedio, en definitiva), deberá ir acompañada siempre de una medida que exprese su representatividad, es decir, de lo buena que es la curva, ya que el haber obtenido la mejor de todas no da garantías de que sea buena. Se necesita, por tanto, una medida de dispersión, que tenga en cuenta la dispersión de cada observación con respecto a la curva, es decir, lo alejado que se encuentra cada punto de la curva. Es decir, se debe evaluar esas distancias verticales a la curva, es decir, los errores o residuales. Si las dispersiones son pequeñas, la curva será un buen representante de la nube de puntos, o lo que es lo mismo, la bondad de ajuste del modelo será alta. Si la dispersión es grande, la bondad de ajuste será baja. Una forma de medir dicha bondad de ajuste es precisamente evaluando la suma de los cuadrados de los errores. Por tanto, se llamará varianza residual a la expresión: 

Si las dispersiones son pequeñas, la curva será un buen representante de la nube de puntos, o lo que es lo mismo, la bondad de ajuste del modelo será alta. Si la dispersión es grande, la bondad de ajuste será baja. Una forma de medir dicha bondad de ajuste es precisamente evaluando la suma de los cuadrados de los errores. Por tanto, se llamará varianza residual a la expresión:

Si la varianza residual es grande, el modelo será malo, es decir, la curva no explicará el comportamiento general de la nube. La cota máxima de la varianza residual es la varianza que se trata de explicar mediante el modelo de regresión, es decir, la varianza de la variable dependiente. Por tanto, sin más que hacer relativa la varianza residual respecto de su máximo valor, y multiplicando por 100, se obtiene el porcentaje de variación no explicado por el modelo: 

% de variaciones sin explicar 

En el que es fácil obtener una medida   o coeficiente de determinación que indique el porcentaje de variación controlada o explicada mediante el modelo. Expresado en tantos por 1, será:

Como puede observarse, a partir de la expresión anterior: . Por tanto:

• Si no hay residuos: habrá una dependencia funcional. Cuanto más se acerque dicho valor a la unidad, mayor poder explicativo tendrá el modelo de regresión. Cuanto más cercano a 0 esté dicho valor, menor poder explicativo; • Si entonces X no explica en absoluto ninguna de las variaciones de la variable Y , de modo que o bien el modelo es inadecuado, o bien las variables son independientes.


3.2. Poder explicativo frente a poder predictivo

Un modelo de regresión con un alto porcentaje de variaciones explicado, puede no ser bueno para predecir, ya que el que la mayoría de los puntos se encuentren cercanos a la recta de regresión, no implica que todos



lo estén, y puede ocurrir, que justamente para aquel rango de valores en el que el investigador está interesado, se alejen de la recta, y por tanto, el valor predictivo puede alejarse mucho de la realidad. La única forma de poder evaluar el poder predictivo del modelo es tras la observación y el análisis de los gráficos de residuales, es decir, de diagramas de dispersión, en los que en el eje de ordenadas se colocan los residuales, y en el eje de abscisas se colocan o bien . Sólo si la banda de residuales es homogénea, y se encuentran todos los puntos no demasiado alejados del 0 (aunque depende de la escala de medida), diremos, que un modelo con un alto poder explicativo, también es bueno para predecir.


3.3. Causalidad

Es muy importante resaltar el hecho, de que un modelo sea capaz de explicar de manera adecuada las variaciones de la variable dependiente en función de la independiente, no implica que la primera sea causa de la segunda. Es un error muy común confundir causalidad con casualidad. El hecho de que las variables estén relacionadas no implica que una sea causa de la otra, ya que puede ocurrir el hecho de que se esté dando una variación concomitante, por el simple hecho de que las dos son causa de una tercera. Por ejemplo, si se realiza un estudio en el que se analiza el número de canas ( ) X y la presión arterial () Y podría encontrarse una relación lineal casi perfecta. Eso no significa que el tener canas aumente la presión arterial, lo que verdaderamente está ocurriendo es que es la edad, la causante, de que se tengan más canas y una tendencia a tener más alta la presión arterial.


3.4. Extrapolación

Es importante resaltar el hecho de que al hacer predicciones, no deben extrapolarse los resultados más allá del rango de la variable X utilizado para ajustar el modelo, ya que más allá de ese rango se desconoce qué puede estar ocurriendo. De todos es conocido que las plantas necesitan abono para poder crecer y que hay que abonarlas, de modo que en principio, cuanto más abono se les suministre más crecerán. Pero ¿qué ocurriría si se abonase demasiado el suelo? Obviamente, moriría la planta. Esto se traduce en que conforme aumenta la cantidad de abono, el crecimiento es más notable, pero a partir de un punto, la planta deja de crecer y muere, como refleja la figura 2 que ilustra el peligro de extrapolar los resultados.

Fig2







.

Regresión no lineal e inferencia[]

En estadística, la regresión no lineal es un problema de inferencia para un modelo tipo: 


basado en datos multidimensionales , donde es alguna función no lineal respecto a algunos parámetros desconocidos . Como mínimo, se pretende obtener los valores de los parámetros asociados con la mejor curva de ajuste (habitualmente, con el método de los mínimos cuadrados). Con el fin de determinar si el modelo es adecuado, puede ser necesario utilizar conceptos de inferencia estadística tales como intervalos de confianza para los parámetros así como pruebas de bondad de ajuste.

Linealización[]

Algunos problemas de regresión no lineal pueden linealizarse mediante una transformación en la formulación del modelo. Por ejemplo, considérese el problema de regresión no lineal (ignorando el término de error):

Aplicando logaritmos a ambos lados de la ecuación, se obtiene:

lo cual sugiere una estimación de los parámetros desconocidos a través de un modelo de regresión lineal de y con respecto a , un cálculo que no requiere procedimientos de optimización iterativa. De todas formas, la linealización debe usarse con cuidado ya que la influencia de los datos en el modelo cambia, así como la estructura del error del modelo y la interpretación e inferencia de los resultados, cosa que puede ser un inconvenientes. Hay que distinguir entre la "linealización" usada en los párrafos anteriores y la "linealización local" que se adopta para algoritmos clásicos como el de Gauss-Newton.

Mínimos cuadrados ordinarios y ponderados[]

Se considera la mejor curva de ajuste aquella que minimiza la suma de las desviaciones (residuales) al cuadrado (SRC). Esta es la aproximación por el método de mínimos cuadrados (MMC). Sin embargo, en aquellos casos donde se tienen diferentes varianzas de error para diferentes errores, es necesario minimizar la suma de los residuales al cuadrado ponderados (SRCP) (método de mínimos cuadrados ponderados). En la practica, la varianza puede depender del valor promedio ajustado. Así que las ponderaciones son recalculadas para cada iteración en un algoritmo de mínimos cuadrados ponderados iterativo. En general, no hay una expresión de forma cerrada para los parámetros de mejor ajuste, como sucede en el caso de la regresión lineal. Métodos numéricos de optimización son aplicados con el fin de determinar los parámetros de mejor ajuste. Otra vez, en contraste con la regresión lineal, podría haber varios máximos locales de la función a ser optimizada. En la práctica se suponen algunos valores iniciales los cuales junto con el algoritmo de optimización conducen a encontrar el máximo global.


Estimación de los parámetros con el método Monte Carlo[]

Si el error de cada observación es conocido, entonces la precisión y confiabilidad de los parámetros puede ser estimada mediante simulación Monte Carlo. Cada observación es aleatorizada de acuerdo a su media y su desviación estándar. Con el nuevo conjunto de datos, una nueva curva es ajustada y las estimaciones de los parámetros registradas. Las observaciones son entonces aleatorizadas y nuevos valores de los parámetros son obtenidos. Al final, se generan varios conjuntos de parámetros y pueden ser calculadas la media y desviación típica.


Algoritmo de Gauss–Newton []

En matemáticas, el algoritmo de Gauss–Newton se utiliza para resolver problemas no lineales de mínimos cuadrados. Es una modificación debida a CF Gauss del método de optimización de Newton que no usa segundas derivadas.

8.1. El problema

Dadas funciones de n parámetros con , se desea minimizar la suma:

Suma

Sumatoria





donde p se refiere al vector (  ).

8.2. El algoritmo

El algoritmo de Gauss–Newton es un procedimiento iterativo. Esto significa que se debe proporcionar una estimación inicial del parámetro vector denominado . Estimaciones posteriores para el vector parámetro son producidas por la relación recurrente:

Form2

Formula2





donde y es el Jacobiano de f en p (nótese que no es necesario que sea cuadrada). En la práctica nunca se computa explícitamente la matriz inversa, en su lugar se utiliza: y se computa la actualización de resolviendo el sistema lineal:

Form3

Formula3





Una buena implementación del algoritmo de Gauss-Newton utiliza también un algoritmo de búsqueda lineal: en lugar de la fórmula anterior para , se utiliza:

Form4

Formula4





donde es de algún modo un número óptimo.

8.3. Otros algoritmos

La relación de recurrencia del método de Newton para minimizar la función S es:

Form5

Formula5





donde S J y () HS son respectivamente el Jacobiano y Hessiano de S .

Utilizando el método de Newton para la función:


Form6

Formula6






se obtiene la relación recurrente:

Form7

Formula7






Se puede concluir que el método de Gauss–Newton es el mismo que el método de Newton ignorando el término ∑fH(f) .

Otros algoritmos utilizados para resolver el problema de los mínimos cuadrados incluyen el algoritmo de Levenberg–Marquardt y el de descenso de gradiente.

Regresión no lineal[]

Supóngase que al representar gráficamente la correspondiente la distribución bidimensional, se obtiene la figura 1c. Se observa una clara relación entre las dos variables, pero claramente no lineal. Por tanto, deberá buscar la función que ha de describir la dependencia entre las dos variables. Estas notas se limitarán al estudio de las más utilizadas: las funciones parabólica, hiperbólica, logarítmica, exponencial y potencial.


9.1. Parábola de regresión

Fig3





En muchos casos, es una función de segundo grado la que se ajusta lo suficiente a la situación real dada. La expresión general de un polinomio de segundo grado es: 

Ec1

 donde a, b y c son los parámetros. El problema consiste, por tanto, en determinar dichos parámetros para una distribución dada. Se seguirá para ello, un razonamiento similar al que se hace en el caso del modelo de regresión lineal simple, utilizando el procedimiento de ajuste de los mínimos cuadrados, es decir, haciendo que la suma de los cuadrados de las desviaciones con respecto a la curva de regresión sea mínima:

Ec2

donde: son los valores observados de la variable dependiente y

son los valores estimados según el modelo;


Por tanto, D se puede escribir de la forma:

Ec3



Para encontrar los valores de a, b y c que hacen mínima la expresión anterior, se igualarán las derivadas parciales de D con respecto a dichos parámetros a cero y se resolverá el sistema resultante. Las ecuaciones que forman dicho sistema se conocen, igual que en el caso de la regresión lineal simple, como ecuaciones normales de Gauss.

Ec4

[]

9.2. Regresión hiperbólica

Cuando la dependencia entre las variables e es de forma hiperbólica, interesa ajustar a la nube de puntos una función del tipo:

La función a minimizar será

Ec5





Ec6




por tanto,

Ec7





Para minimizar la expresión, se calculan las derivadas parciales respecto a los parámetros a y b , igualando a cero:

Ec8




En consecuencia, las ecuaciones normales serán:

Ec9














9.3. Función exponencial, potencial, y logarítmica

El problema de ajustar un modelo potencial, de la forma uno exponencial se reduce al de la función lineal, con solo tomar logaritmos.


Fig4







Modelo potencial Si en la expresión de la función potencial se toman logaritmos, se obtiene: 

que es la ecuación de una recta , donde ahora . El problema se reduce a transformar en y en y ajustar una recta a los valores transformados. El parámetro b del modelo potencial coincide con el coeficiente de regresión de la recta ajustada a los datos transformados y se obtiene mediante antilog(a).

Modelo exponencial En determinados experimentos, en su mayoría biológicos, la dependencia entre las variables e es de forma exponencial, en cuyo caso interesa ajustar a la nube de puntos una función del tipo: y=exp(a+bx). Mediante una transformación lineal, tomando logaritmos neperianos, se convierte el problema en una cuestión de regresión lineal. Es decir, tomando logaritmos neperianos: ln(y)=a bx

Y llamando Y=ln(y) = se tiene Y=a+bx (regresión lineal).

Para simplificar, descartando multiplicidades y suponiendo que cada par se repite una sola vez, las ecuaciones normales serán:

Ec10


Calculando los parámetros a y b se tiene la ecuación de la función exponencial: y=exp(a+bx).



Modelo logarítmico

Fig5








La curva logarítmica y=a+blog(x) es también una recta, pero en lugar de estar referida a las variables originales X e Y , está referida a log(X) y a Y .

Ejemplos de regresión no lineal[]

10.1. Ajuste de una función parabólica:

Ec11






Aplicando el método de los mínimos cuadrados se obtiene el siguiente sistema de ecuaciones:

Ec12










Bondad del ajuste

Coeficiente de determinación:

Ec13







10.2. Ajuste de una función potencial: Y* = a Xb

Ec16



10.3. Ajuste de una función exponencial: Y* = a bX

Ec17


Advertisement