От Alexandre Putt
К Дмитрий Кропотов
Дата 28.04.2006 17:33:56
Рубрики Россия-СССР; Теоремы, доктрины;

Докажите (-)
От Дмитрий Кропотов
К Alexandre Putt (28.04.2006 17:33:56)
Дата 02.05.2006 06:49:14

Данные

Привет!

Добавил еще колонку "0" с индексом промышленного производства 1955-2002, взятого отсюда
http://www.census.gov/statab/hist/02HS0040.xls

Коэф. корреляции индекса пром.производства с пр-вом э-энергии 0.94

Дмитрий Кропотов, www.avn-chel.nm.ru
От Дмитрий Кропотов
К Alexandre Putt (28.04.2006 17:33:56)
Дата 02.05.2006 06:29:01

См. копилку

Привет!

https://vif2ne.org/nvz/forum/files/Dim/02HS0045.xls

Для США приведены данные
No. HS--45. Production Indicators for Agricultural, Fishery, Mineral, and Manufactured Products: 1900 to 2002
В строке 116 я просчитал коэф.корреляции для каждого индикатора с пр-вом э-энергии.
Во всех случаях, кроме пр-ва табака и хлопка, коэф.корреляции - весьма близок к 1 (от 0.7 до 1)


Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 06:29:01)
Дата 02.05.2006 12:41:29

Если бы так просто

>В строке 116 я просчитал коэф.корреляции для каждого индикатора с пр-вом э-энергии.
>Во всех случаях, кроме пр-ва табака и хлопка, коэф.корреляции - весьма близок к 1 (от 0.7 до 1)

Все процессы нестационарные (по крайней мере производство, остальные я не смотрел, но это так). Поэтому коэффициент корреляции по этим сериям может только ввести в заблуждение. Соответственно, нестационарность надо исправлять и обсчитывать правильно.
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 12:41:29)
Дата 02.05.2006 14:24:09

Уже обсчитано

Привет!
>>В строке 116 я просчитал коэф.корреляции для каждого индикатора с пр-вом э-энергии.
>>Во всех случаях, кроме пр-ва табака и хлопка, коэф.корреляции - весьма близок к 1 (от 0.7 до 1)
>
>Все процессы нестационарные (по крайней мере производство, остальные я не смотрел, но это так). Поэтому коэффициент корреляции по этим сериям может только ввести в заблуждение. Соответственно, нестационарность надо исправлять и обсчитывать правильно.
Сразу под рукой не было агрегированного индекса пром. производства - потом я его нашел и посчитал корреляцию по нему - 0.994.
Если предыдущая моя гипотеза о том, что по индексу пр-ва э-энергии можно делать вывод об индексе ВВП не подтвердилась, то с пром.производством - полностью подтверждается.
Я, конечно, не утверждаю, что причина пром.роста - рост пр-ва э-энергии, а лишь указываю, что это - хороший индикаторный показатель, т.к. подделать его довольно трудно, а подсчитать, наоборот, довольно легко.
Грубо говоря, оценивая динамику пр-ва э-энергии мы можем делать содержательные выводы о динамике пром. производства.

Т.е., скажем, если в СССР удвоение пр-ва э-энергии было достигнуто за 15 лет, тогда как в США - за 10 - то это соотношение справедливо и для пром.производства в целом.

Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 14:24:09)
Дата 02.05.2006 14:46:21

Да хоть 100%, нельзя корреляцию по нестационарным процессам считать

>Сразу под рукой не было агрегированного индекса пром. производства - потом я его нашел и посчитал корреляцию по нему - 0.994.
>Если предыдущая моя гипотеза о том, что по индексу пр-ва э-энергии можно делать вывод об индексе ВВП не подтвердилась, то с пром.производством - полностью подтверждается.

В большинстве экономических индексов наблюдается, условно, тренд (так как они выражают аккумуляцию во времени). Обычные методы статистики здесь не применимы, так как они базируются на ряде жестких допущений. Применение их даёт "мнимые" результаты. Правильные методы разрабатываются в эконометрике.
Поэтому экономические серии надо преобразовывать и формулировать адекватную модель (как минимум, брать разницу или вычитать тренд, здесь необходимы тесты). Правильная спецификация модели может быть весьма и весьма сложной.

>Я, конечно, не утверждаю, что причина пром.роста - рост пр-ва э-энергии, а лишь указываю, что это - хороший индикаторный показатель, т.к. подделать его довольно трудно, а подсчитать, наоборот, довольно легко.

С таким же успехом можно "найти" корреляцию выпадения осадков или солнечной активности и ВВП. Соответствующие результаты опубликованы.

>Грубо говоря, оценивая динамику пр-ва э-энергии мы можем делать содержательные выводы о динамике пром. производства.

Не можем.

>Т.е., скажем, если в СССР удвоение пр-ва э-энергии было достигнуто за 15 лет, тогда как в США - за 10 - то это соотношение справедливо и для пром.производства в целом.

И теоретически тоже не можем: рост и доминирование сектора услуг.
От Дм. Ниткин
К Alexandre Putt (02.05.2006 14:46:21)
Дата 02.05.2006 16:36:50

Я диву даюсь

>В большинстве экономических индексов наблюдается, условно, тренд (так как они выражают аккумуляцию во времени). Обычные методы статистики здесь не применимы, так как они базируются на ряде жестких допущений. Применение их даёт "мнимые" результаты. Правильные методы разрабатываются в эконометрике.
>Поэтому экономические серии надо преобразовывать и формулировать адекватную модель (как минимум, брать разницу или вычитать тренд, здесь необходимы тесты). Правильная спецификация модели может быть весьма и весьма сложной.

То же самое я уже однажды Дмитрию пытался объяснить, и по похожему поводу.

https://vif2ne.org/nvz/forum/2/archive/140/140831.htm

Увы, кажется, втуне :(
От Дмитрий Кропотов
К Дм. Ниткин (02.05.2006 16:36:50)
Дата 02.05.2006 16:48:23

Почему же втуне?

Привет!

Тогда вы

>>В большинстве экономических индексов наблюдается, условно, тренд (так как они выражают аккумуляцию во времени). Обычные методы статистики здесь не применимы, так как они базируются на ряде жестких допущений. Применение их даёт "мнимые" результаты. Правильные методы разрабатываются в эконометрике.
>>Поэтому экономические серии надо преобразовывать и формулировать адекватную модель (как минимум, брать разницу или вычитать тренд, здесь необходимы тесты). Правильная спецификация модели может быть весьма и весьма сложной.
>
>То же самое я уже однажды Дмитрию пытался объяснить, и по похожему поводу.

> https://vif2ne.org/nvz/forum/2/archive/140/140831.htm

>Увы, кажется, втуне :(
Я тогда признал вашу правоту и снял гипотезу о корреляции между пр-вом э-энергии и ВВП.
Здесь же у нас с Путтом зашла речь о более узкой гипотезе - вместо ВВП - индекс промпроизводства.

Тем не менее, признаю, что был неправ - гипотезу снимаю.

Все же, динамика пр-ва э-энергии остается одним из важнейших показателей продуктивности пром. производства, хотя по ее динамике взятой в отдельности и нельзя судить о динамике промпроизводства.


Дмитрий Кропотов, www.avn-chel.nm.ru
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 14:46:21)
Дата 02.05.2006 14:59:06

Вы просто не поняли

Привет!
>С таким же успехом можно "найти" корреляцию выпадения осадков или солнечной активности и ВВП. Соответствующие результаты опубликованы.
Перечитайте еще раз мое сообщение. Если на протяжении длительного статистического ряда наблюдается корреляция между двумя переменными, это не означает, в общем случае, причинно-следственной связи между ними. Я на этом и не настаиваю. Но, раз связ наблюдается, раз одна переменная в точности следует за изменениями другой - вполне можно по известной динамике первой делать содержательные выводы о неизвестной динамике второй.
Скажем, советская статистика не считает/искажает данные по индексу пром.производства. Но у нас есть более достоверные данные по индексу пр-ва э-энергии и есть доказанная тенденция, что динамика этих индексов коррелирует между собой с большой точностью.
Следовательно, по динамике индекса пр-ва э-энергии можно делать выводы о динамике пром. пр-ва в целом.

Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 14:59:06)
Дата 02.05.2006 15:17:59

Это Вы не поняли

>Перечитайте еще раз мое сообщение. Если на протяжении длительного статистического ряда наблюдается корреляция между двумя переменными,

Там нет корреляции, потому что Вы опираетесь на spurious regression. Полистайте конец учебника по теории вероятности (про эргодичность, стационарность и тд), там это объясняется. Или любой учебник по эконометрике.

> это не означает, в общем случае, причинно-следственной связи между ними.

Статистика не устанавливает причинно-следственные связи, это невозможно.

> Я на этом и не настаиваю. Но, раз связ наблюдается, раз одна переменная в точности следует за изменениями другой - вполне можно по известной динамике первой делать содержательные выводы о неизвестной динамике второй.

Это невозможно, потому что выбрана неправильная спецификация модели. В Вашем случае дисперсии случайных величин (производство энергии, пром.производство, ВВП) бесконечно растут, базовые инструменты статистики не работают (центральные предельные теоремы). А на них основан Ваш обсчёт коэф. корреляции.

>Следовательно, по динамике индекса пр-ва э-энергии можно делать выводы о динамике пром. пр-ва в целом.

Для этого её необходимо правильно обсчитать.
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 15:17:59)
Дата 02.05.2006 15:35:24

Нет, это вы не поняли

Привет!

>>Перечитайте еще раз мое сообщение. Если на протяжении длительного статистического ряда наблюдается корреляция между двумя переменными,
>
>Там нет корреляции, потому что Вы опираетесь на spurious regression. Полистайте конец учебника по теории вероятности (про эргодичность, стационарность и тд), там это объясняется. Или любой учебник по эконометрике.
Корреляция есть, т.к. успешно считается. Т.е. по изменениям одной величины можно судить об изменениях другой величины.
Этого достаточно.

>Для этого её необходимо правильно обсчитать.
Она правильно обсчитана.


Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 15:35:24)
Дата 02.05.2006 15:52:41

Re: Нет, это...

>Корреляция есть, т.к. успешно считается.

То, что считается не говорит о том, что она имеет смысл. Смысл она не имеет, потому что процессы нестационарные. Ксли рассмотреть приращения наблюдений (т.е. отнять от каждого наблюдения предыдущее значение) и тем самым превратить процессы в стационарные, то (опуская сомнительность спецификации), квадрат коэф. корреляции равен 0,25. Т.е. значительно меньше, чем Вы хотели бы думать.
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 15:52:41)
Дата 02.05.2006 16:27:53

Re: Нет, это...

Привет!
>>Корреляция есть, т.к. успешно считается.
>
>То, что считается не говорит о том, что она имеет смысл. Смысл она не имеет, потому что процессы нестационарные. Ксли рассмотреть приращения наблюдений (т.е. отнять от каждого наблюдения предыдущее значение) и тем самым превратить процессы в стационарные, то (опуская сомнительность спецификации), квадрат коэф. корреляции равен 0,25. Т.е. значительно меньше, чем Вы хотели бы думать.

Я посчитал, и так, как вы предложили, но коэф. получается 0.41, а не 0.25.


Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 16:27:53)
Дата 02.05.2006 16:36:02

Я дал R^2

>Я посчитал, и так, как вы предложили, но коэф. получается 0.41, а не 0.25.

Для наипростейшей линейной регрессии. Соответственно, коэф. = корень из R^2. + я считал после логарифмического преобразования, которое стандартно применяется.

(пробелы потеряны)

Dependent Variable is D1Log_PROD
Observations 2-47 used for estimation.
Estimation Method: Ordinary Least Squares
Estimate Std. Err. t Ratio p-Value
Intercept 0.01323 0.00757 1.748 0.087
D1Log_ELECTR 0.53291 0.12423 4.289 0
Log Likelihood = 85.3097
Schwarz Criterion = 81.4811
Hannan-Quinn Criterion = 82.6247
Akaike Criterion = 83.3097
Sum of Squares = 0.0659
R-Squared = 0.25
Residual SD = 0.0387
Residual skewness = -1.0271
Residual kurtosis = 4.225
Jarque-Bera Test = 10.9639 {0.004}
Box-Pierce (residuals): Q(12) = 3.8548 {0.985}
Box-Pierce (squared residuals): Q(12) = 7.0429 {0.854}

Covariance matrix from robust formula.
...Run completed in 0.49
От Дмитрий Кропотов
К Дмитрий Кропотов (02.05.2006 15:35:24)
Дата 02.05.2006 15:40:06

еще поясню

Привет!
так как вижу, что вы не понимаете.

Скажем, возьмем два ряда - ряд натуральных чисел и ряд их квадратов и посчитаем коэф.корреляции, который для ряда из 20 чисел будет 0.97.

Теперь представим, что второй ряд нам неизвестен, а известен лишь первый. Но, на основании известного и высокого коэф.корреляции, динамику изменения второго ряда мы можем надежно экстраполировать по динамике изменения первого ряда.


Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 15:40:06)
Дата 02.05.2006 16:13:10

Для предсказания всё это актуально тем более

>Скажем, возьмем два ряда - ряд натуральных чисел и ряд их квадратов и посчитаем коэф.корреляции, который для ряда из 20 чисел будет 0.97.

Вы будете использовать регрессию одной серии на другую, чтобы получить оценки параметров. Так вот, это абсолютная анафема для нестационарных процессов. Оценки параметров сходятся по вероятности к истинным только при соблюдении пресловутых допущений (например, классическое iid - независимо и идентично (пост. дисперсия) распределённая случайная величина, в реальной экономике никогда не встречается). В Вашем случае никакой сходимости и подавно нет, а обсчитанные параметы начнут немедленно врать (давать неверное предсказание) за пределами наблюдений, которые использовались для оценки.
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 16:13:10)
Дата 02.05.2006 16:33:34

Я веду речь не о предсказании

Привет!
>>Скажем, возьмем два ряда - ряд натуральных чисел и ряд их квадратов и посчитаем коэф.корреляции, который для ряда из 20 чисел будет 0.97.
>
>Вы будете использовать регрессию одной серии на другую, чтобы получить оценки параметров. Так вот, это абсолютная анафема для нестационарных процессов. Оценки параметров сходятся по вероятности к истинным только при соблюдении пресловутых допущений (например, классическое iid - независимо и идентично (пост. дисперсия) распределённая случайная величина, в реальной экономике никогда не встречается). В Вашем случае никакой сходимости и подавно нет, а обсчитанные параметы начнут немедленно врать (давать неверное предсказание) за пределами наблюдений, которые использовались для оценки.

А как раз для экстраполяции внутри ряда наблюдений, который использовался для оценки.

Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 16:33:34)
Дата 02.05.2006 16:37:01

Одно и тоже (-)
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 15:40:06)
Дата 02.05.2006 16:04:15

О допущениях

>Скажем, возьмем два ряда - ряд натуральных чисел и ряд их квадратов и посчитаем коэф.корреляции, который для ряда из 20 чисел будет 0.97.

>Теперь представим, что второй ряд нам неизвестен, а известен лишь первый. Но, на основании известного и высокого коэф.корреляции, динамику изменения второго ряда мы можем надежно экстраполировать по динамике изменения первого ряда.

Это всё к статистике отношения не имеет, потому что она работает не с натуральными числами, а опытными данными.
Соответствующий результат широко известен. Поясняю:
если процессы нестационарные, то, даже если они не имеют ничего общего между собой, регрессия одно на другой даёт высокий коэффициент корреляции. Этот результат известен с 20-ых гг прошлого века (или даже раньше). Если не верите, могу продемонстрировать.

Вывод из этого: любые стат. манипуляции с данными должны соответствовать ряду допущений (например, стационарность) либо вводить коррекцию на нарушения. Тесты на нестационарность давно разработаны и популяризованы. Если нестационарность имеет место (а это так почти во всех экономических сериях), то необходимо преобразовать данные: вычесть тренд (если имеет место) либо взять разницу процесса (если имеет место unit root (единичный корень)). Это в общих чертах.
От Дмитрий Кропотов
К Alexandre Putt (02.05.2006 16:04:15)
Дата 02.05.2006 16:22:26

Тут не о статистике речь

Привет!

Вы опять не поняли.
Попробую еще упростить. Известен индекс производства э-энергии. Из эмпирических соображений очевидно, что рост пр-ва э-энергии связан с ростом пром. производства. Вопрос - насколько мы можем, зная динамику пр-ва э-энергии достоверно судить о динамике пром. пр-ва? Ответ - если коэф. корреляции этих рядов высок, т.е. они согласованно меняются (абстрагируясь от трендов, причинно-следственных связей и т.д.) - следовательно, по динамике одного можно делать обоснованные предположения о динамике другого.
Вы же все пытаетесь обратить мое внимание, что для выявления причинно-следственной связи простого вычисления коэф. корреляции недостаточно. Я с этим и не спорю, моя задача сейчас другая.



Дмитрий Кропотов, www.avn-chel.nm.ru
От Alexandre Putt
К Дмитрий Кропотов (02.05.2006 16:22:26)
Дата 02.05.2006 16:30:51

Именно о статистике. И как раз я Вас отлично понимаю

> Вопрос - насколько мы можем, зная динамику пр-ва э-энергии достоверно судить о динамике пром. пр-ва? Ответ - если коэф. корреляции этих рядов высок, т.е. они согласованно меняются (абстрагируясь от трендов, причинно-следственных связей и т.д.) - следовательно, по динамике одного можно делать обоснованные предположения о динамике другого.

Так не меняются они согласованно. Коэф. корреляции максимум 0,5. Электроэнергия объясняет только 25% вариации в пром.производстве. Это если правильно считать.

>Вы же все пытаетесь обратить мое внимание, что для выявления причинно-следственной связи простого вычисления коэф. корреляции недостаточно. Я с этим и не спорю, моя задача сейчас другая.

Статистика не выявляет причинно-следственные связи. Это делает теория. Статистика тестирует теорию, оценивает параметры моделей и позволяет делать предсказания значений.
От Дмитрий Кропотов
К Дмитрий Кропотов (02.05.2006 14:24:09)
Дата 02.05.2006 14:24:45

Опечатка: вместо 0.994 читать 0.944 (-)