Причинами нарушения предпосылок мнк могут являться

Выполнение 5-го условия МНК (нормальность остатков)

Выполнение 4-го условия МНК (отсутствие автокорреляции остатков)

Выполнение третьей предпосылки МНК (гомоскедастичность остатков)

Выполнение первой предпосылки МНК (случайный характер остатков)

Общие положения МНК

Остатки или так называемую случайную компоненту определяют как = — . Оценки параметров регрессии получили из уравнения:

Согласно, чтобы можно было применять МНК, необходимо, чтобы полученные оценки были «хорошими».

Такого рода задача равносильна следующей, исследование остатков предполагает наличие следующих 5-ти предпосылок МНК.

1. Случайный характер остатков

2. Нулевая средняя величина остатков , не зависящая от :

3. Гомоскедастичность остатков, то есть дисперсия каждого отклонения одинаковы для всех значений (нет роста дисперсии ) : Д ( ) = const=

4. Отсутствие автокорреляции остатков . Значение остатков распределены независимо друг от друга, то есть cov ( ; ) = 0, .

5. Остатки подчиняются нормальному распределению.

Чтобы проверить случайный характер Ei, строится график зависимости остатков Ei от расчетных значений зависимой переменной

Ei

Если на графике нет направленности в расположении т-к Ei , то остатки Ei– случайные величины и отсюда следует, что первая предпосылка МНК выполняется.

1.3.3.Выполнение второй предпосылки МНК (M( εi)=0)

Математическое ожидание случайного отклонения равно нулю: для всех наблюдений.

2ая предпосылка МНК М (Еi) = 0 означает, что

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении может быть либо положительным, либо отрицательным, но он не должен иметь систематического смещения. Если она равна 0, то 2ая предпосылка МНК выполняется.

3 предпосылка МНК – проверка гомоскедастичности остатков (независимости дисперсии остатков от хi)

При проверке гомоскедастичности используют критерии Гольфельда-Квандта, Спирмена и др.

Критерий Спирмена для проверки гомоскедастичности

Тест ранговой корреляции Спирмена использует наиболее общие предположения о зависимости дисперсий ошибок регрессии от значений регрессоров.

Тест Голдфелда—Квандта применяется в том случае, если ошибки регрессии можно считать нормально распределенными случайными величинами.

Тест ранговой корреляции Спирмена и тест Голдфелда—Квандта позволяют обнаружить лишь само наличие гетероскедастичности, но они не дают возможности проследить количественный характер зависимости дисперсий ошибок регрессии от значений регрессоров и, следовательно, не представляют каких-либо способов устранения гетероскедастичности.

Определение. Нарушение независимости между ошибками для разных наблюдений называется автокорреляцией остатков. Т е Ɛi и Ɛj зависит друг от друга.

Нарушение этого условия делает модель неприемлемой для прогноза и аналитических целях. Невозможно использование таких моделей вызвано тем, что при наличии автокорреляции остатков, стандартизованные ошибки модели (как и в случае гетероскедостичности) будут неоценённые и отсюда следует, что проверка значимости коэффициентов регрессии будет ненадежность (т.е нарушение эффективности оценок).

Например, допустим, что остаток Ɛi находится под тест х2табл<x2расч, то автокорреляция в остатках есть, причем автокорреляционный процесс 4-го порядка.

Эта предпосылка говорит о том, что если случайная компонента распределена нормально, то и коэффициенты регрессии будут также распределены. Эта предпосылка в полной мере относится к предпосылкам метода максимального правдоподобия (ММП), и поэтому при проверке условий выполнения МНК, данное требование часто опускают.

Данное требование основано на центральной предельной теореме вероятности:

Если случайная величина является общим результатом взаимодействия большого числа случайных величин, то она приближённо имеет нормальное распределение. Случайная компонента Ɛi в неявном виде определяется несколькими факторами, следовательно, можно предполагать нормальность остатков.

Ɛi ~ N (0; 2)

Тесты на проверку нормальности – тест Пирсона, Колмогорова-Смирнова, Бера-Жарка.

— Автокорреляция остатков.

Одна из причин присутствия автокорреляции в остатках – неправильный выбор вида зависимости между переменными, т.е. необходимо изменить зависимость.

Еще один способ устранения автокорреляции остатков – введение лаговых переменных.

— Гетероскедастичность остатков

Существует несколько подходов к решению данного нарушения:

1. Преобразование исходных данных

2. Применение другого метода оценивания

3. Включение изменяющейся дисперсии в модели (актуально для временных рядов)

— Метод максимального правдоподобия

Применяется для оценки коэффициентов регрессии. Одна из важных предпосылок ММП – известность знака распределения зависимой переменной.

Метод наименьших квадратов (МНК) позволяетпостроить уравнение регрессии на основе минимизации суммы квадратов отклонений: , или .

Поэтому важно исследовать поведение остаточных величин регрессии – ε. Они должны отвечать определенным критериям:

1. Несмещенность – означает, что математическое ожидание остатков равно нулю: , т.е. при большом числе наблюдений остатки не будут накапливаться и найденный параметр регрессии b можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным выборкам.

2. Эффективность – оценки считаются эффективными, если они характеризуются наименьшей дисперсией.

3. Состоятельность – характеризует увеличение точности оценок с увеличением объема выборки.

Условия, необходимые для получения несмещенных, эффективных и состоятельных оценок, представляют собой предпосылки МНК (условия Гаусса-Маркова), соблюдение которых желательно для получения достоверных результатов регрессии.

Выделяют пять предпосылок МНК:

ü случайный характер остатков;

ü нулевая средняя величина остатков, не зависящая от х;

ü гомоскедастичность;

ü отсутствие автокорреляции остатков;

ü нормальное распределение остатков.

I предпосылка МНК. Прежде всего проверяется случайный характер остатков ε. С этой целью строится график их зависимости от теоретических значений результативного признака :

Рис. 2.1. Зависимость случайных остатков от теоретическихзначений

Если на графике нет направленности в расположении точек, то остатки представляют собой случайные величины и МНК оправдан.

Возможны следующие случаи, если зависит от , то:

1) остатки не случайны

2) остатки не имеют постоянной дисперсии

3) остатки носят систематический характер

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

II предпосылка МНК.Нулевая средняя величина остатков, не зависящая от х, т.е. . С целью проверки выполнения этой предпосылки строится график зависимости случайных остатков от факторов , включенных в регрессию (рис. 2.3).

Рис. 2.3. Зависимость величины остатков от величины фактора .

Если расположение остатков на графике не имеет направленности, то они независимы от значений . Если же график показывает наличие зависимости и , то модель неадекватна.

III предпосылка МНК.Гомоскедастичность – это однородность относительно дисперсии, т.е. дисперсия остатков одинакова для каждого значения х. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность (неоднородность относительно дисперсии).

Примеры гетероскедастичности:

а– дисперсия остатков растет

по мере увеличения б– дисперсия остатков достигает

максимальной величины при средних

значениях переменной и уменьшается

при минимальных и максимальных значениях

в– максимальная дисперсия остатков при малых значениях и дисперсия остатков однородна по мере увеличения значений

Для проверки выполнения предпосылки МНК о гомоскедастичности остатков используются различные методы:

1. Тест Гольдфельда-Квандта.Процедура применения теста Гольдфелда-Квандта состоит из следующих шагов:

1) наблюдения упорядочиваются по возрастанию фактора хi;

2) из рассмотрения исключаются С центральных наблюдений. При этом должно выполняться условие (n-С)/2 > р, где p – число оцениваемых параметров (авторами метода рекомендовано для случая одного фактора при n=30 принимать С=8, а при n=60 принимать С=16);

3) совокупность из n-C наблюдений разделяется на две группы (соответственно с большими и малыми значениями фактора х) и по каждой группе определяется уравнение регрессии;

4) определяются остаточные суммы квадратов для первой ( ) и второй ( ) групп и находится их отношение: R = , где S2 >S1;

5) нулевая гипотеза о гомоскедастичности остатков отвергается, если выполнено условие R>F, где F– табличное значение F-критерия Фишера на уровне значимости α при числе степеней свободы (n-С-2р)/2.

2. Тест ранговой корреляции Спирмена.Суть теста заключается в том, что в случае гетероскедастичности остатки ε коррелированы со значениями фактора х. Эту корреляцию можно измерить с помощью коэффициента ранговой корреляции Спирмена:

,

где d – абсолютная разность между рангами значений х и ε.

Статистическая значимость данного коэффициента оценивается с помощью t-критерия:

Если (табличное значение t-критерия Стьюдента на уровне значимости α и при числе степеней свободы (n–2)), то корреляция между х и ε статистически значима, т.е. имеет место гетероскедастичность остатков. В противном случае принимается гипотеза об отсутствии гетероскедастичности.

3. Рассмотренные методы не дают количественной оценки зависимости дисперсии ошибок регрессии от соответствующих значений факторов. Они лишь позволяют определить наличие или отсутствие гетероскедастичности остатков. Поэтому если гетероскедастичность остатков установлена, можно количественно оценить зависимость дисперсии ошибок регрессии от значений факторов. Для этого используются тесты Уайта, Парка, Глейзера и др.

IV предпосылка МНК. Отсутствие автокорреляции остатков.

Под автокорреляцией остатков понимают зависимость распределения значений остатков друг от друга. Это означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Оценить эту зависимость можно, вычислив коэффициент корреляции между этими остатками по формуле линейного коэффициента корреляции:

Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированны.

V предпосылка МНК о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью критериев Фишера и Стьюдента. Вместе с тем, оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки МНК.

При нарушении гомоскедастичности и наличии автокорреляции рекомендуется заменять традиционный МНК обобщенным методом.

1. Тема3. Нарушения предпосылок МНК

1. Мультиколлинеарность
2. Гетероскедастичность
3. Автокрреляция

2. Мультиколлинеарность (МТК) – это явление высокой взаимной коррелированности НП.

Два вида МТК:
1) совершенная (строгая, полная)
2) несовершенная (частичная)
Полная МТК при наличии функциональных
связей между НП.
Это нарушение требования к рангу матрицы:
1)
rank X p 1
2)
det X X 0
‘
B X’ X X’ Y
1

3. Частичная (реальная ) МТК при сильных корреляционных связях между НП (высокие коэффициенты парной корреляции). Если значения коэффициентов

корреляции
по абсолютной величине близки к 1, то
почти совершенная МТК

4. Последствия МТК:

Оценки коэффициентов УМР ненадежны
и неустойчивы (увеличиваются
стандартные ошибки оценок и
уменьшаются t-статистики МНК-оценок)
МНК-оценки коэффициентов
неустойчивы (чувствительны к
изменениям данных и размерности
выборки)
Возможность получения неверного
знака у коэффициентов регрессии

5. Последствия МТК:

Оценки коэффициентов УМР становятся
очень чувствительными к ошибкам спец.
Осложнение процесса определения
наиболее существенных факторов
Затрудняет экономическую интерпретацию
коэффициентов УМР (выделение
характеристик влияния факторов на ЗП в
чистом виде)
ОДНАКО:
Оценки коэффициентов остаются
несмещенными
Оценки коэффициентов немультикол.
факторов не ухудшаются

6. Практические рекомендации по выявлению МТК:

1.
2.
Плохая обусловленность матрицы (X’X),
т.е. det(X’X)≈0
Близость к нулю минимального
собственного числа min матрицы (X’X).
X X I p 1 0
‘

7. Практические рекомендации по выявлению МТК:

4.
Анализ матрицы парных коэффициентов
корреляции между НП (матрицы
межфакторной корреляции)
Присутствие в матрице парных
коэффициентов корреляции значений
коэффициентов интеркорреляции,
превосходящих по абсолютной величине
0,7 – 0,80
Результаты анализа надежны лишь в случае
двух НП

8. Практические рекомендации по выявлению МТК:

6. Анализ показателей частной корреляции
Коэффициент корреляции между двумя
переменными, очищенный от влияния
других переменных, наз. частным коэф.
корреляции (ЧКК)

9. Методы устранения мультиколлинеарности

5. Переход к смещенным методам оценивания
«Ридж – регрессия» («гребневая регрессия»)
B X’ X I p 1 X’ Y
0 0.1 0.4
1

10. 2. Гетероскедастичность

11.

Гомоскедастичность
1)
D( i ) D( j ) для
любых
iи j
Гетероскедастичность
2)
D( i ) D( j ) для
любых
iи j

12.

Методы обнаружения гетероскедастичности:
1.
2.
3.
4.
5.
6.
7.
Графический анализ остатков
Тест ранговой корреляции Спирмена
Тест Голдфелда-Квандта
Тест Глейзера
Тест Парка
Тест Бреуша-Пагана
Тест Уайта

13.

Статистики
1. Тест Бреуша-Пагана
BP ESS /[2( RSS / n)
1. Тест Уайта
nR
2
2
2

14.

Обобщенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не
выполняется предпосылка о гомоскедастичности и
некорелированности случайных возмущений, то
наилучшей линейной процедурой оценки
параметров модели является:
b X P X X P Y
T
1
1
T
1
Р — матрица ковариаций случайных возмущений
(положительно определенная матрица)

15.

Взвешенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не
выполняется предпосылка о гомоскедастичности
случайных возмущений, то наилучшей линейной
процедурой оценки параметров модели является:
b X P X X P Y
T
1
1
T
1
Р — матрица ковариаций случайных возмущений :
2
e1

P
…


e
2
2
…

…
0
…
…
2
… en
…

16. 3. Автокорреляция

17. Понятие автокорреляции

Модель называется
автокоррелированной, если не
выполняется третья предпосылка
теоремы Гаусса-Маркова:
Cov( i , j ) 0 при i≠j.
Автокорреляция чаще всего появляется в
моделях временных рядов и
моделировании циклических
процессов.

18.

Причины АК :
1) неправильный выбор спецификации
модели
2) Наличие ошибок измерения ЗП
3) Цикличность значений экономических
показателей
4) Запаздывание изменений значений
экономических показателей по
отношению к изменениям
экономических условий
5) Сглаживание данных

19. Понятие автокорреляции

Диаграмма рассеяния с положительной автокорреляцией.
Тренд
1

20. Понятие автокорреляции

Пример отрицательной автокорреляции случайных возмущений.
1

21.

Последствия автокорреляции при применении
МНК:
1) оценки коэффициентов теряют
эффективность
но остаются линейными и несмещенными
2) дисперсии оценок являются смещенными
(часто занижены)
3) оценка остаточной дисперсии регрессии
является смещенной (часто заниженной)
4) выводы по критериям Стьюдента и
Фишера могут оказаться неверными. Это
ухудшает прогнозные качества РМ.

22.

Основные методы обнаружение АК:
1) Графический метод
2) Тест Дарбина-Уотсона
3) Метод рядов

23. Тест Дарбина-Уотсона

1. Предпосылки теста.
Случайные возмущения распределены по
нормальному закону.
Имеет место авторегрессия первого порядка:
t t 1 ut
М(ut)=0;
σ(ut)=Const
2. Статистика для проверки гипотезы:
n
DW
e
t 2
t
et 1
2
n
e
t 1
2
t

24. Тест Дарбина-Уотсона

Для статистики DW не возможно найти
критическое значение, т.к. оно зависит не
только от Рдов и степеней свободы p и n-1,
но и от абсолютных значений регрессоров.
Возможно определить границы интервала DL
и Du внутри которого критическое значение
DWкр находится:
DL ≤ DWкр ≤ Du
Значения Du и DL находятся по таблицам.

25. Тест Дарбина-Уотсона

положительная
автокорреляция

нет
автокорреляции
dL dcrit dU
2
Нет автокорреляции
Положительная автокорреляция
отрицательная
автокорреляция
dcrit
4
DW 2
DW 0
Отрицательная автокорреляция DW 4
Интервалы (DL, Du) и (4-DL, 4-Du) зоны неопределенности.

26.

Обобщенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не
выполняется предпосылка о гомоскедастичности и
некорелированности случайных возмущений, то
наилучшей линейной процедурой оценки
параметров модели является:
b X P X X P Y
T
1
1
T
1
Р — матрица ковариаций случайных возмущений
(положительно определенная матрица)