От Дм. Ниткин
К Вячеслав
Дата 21.04.2010 00:03:04
Рубрики Семинар;

Да, это ключевая ошибка.

>Итак, есть некоторый временной ряд с реальными данными, для них нам надо задать функцию.

Что значит "надо"? Начальник приказал?

>Для этого мы считаем, что есть некая истинная функция, которую мы аппроксимируем по имеющимся данным и другой аналитической информации, известной об этой истинной функции и делаем это так, чтобы погрешность нас удовлетворяла.

Весь фокус в том, что "истинной функции" нет. Или она есть, но очень сложна и имеет аргументом не только время, но еще несколько сотен параметров, не считая нескольких тысяч параметров, которыми можно пренебречь.

Это не значит, что нельзя временной ряд аппроксимировать какой-то гладкой функцией. Можно, никто не мешает. В конце концов, полиномом соответствующей степени Вы любой конечный ряд аппроксимируете, хоть с точностью до нуля. Вопрос - зачем?

Ответов чаще всего два. Первое - чтобы понять тенденцию. Второе - чтобы построить прогноз. И вот здесь уже начинаются интересности.

Первым делом, выясняется, что важна не столько точность приближения, сколько простота модели. Потому что чем сложнее формула - тем труднее понять, а что же, собственно, происходит?

Далее, мы обсуждаем ОПЖ, не так ли? Ну что же, в истории достаточно часто бывают случаи достаточно мощных природных или социальных катализмов, в ходе которых резко меняется и значение ОПЖ, и показатели его динамики. И получается, что для понимания тенденций надо, допустим, для периода с 1970 по 1990 год аппроксимировать одной функцией, с 1991 по 1999 - другой, а с 2000 года - третьей. А вопроса о гладкости - негладкости функции в этой ситуации нет вообще.

Что-то похожее и с прогнозом. Аппроксимирующую функцию можно использовать для прогнозирования в предположении о неизменности существующих условий и тенденций. А если ты уже имеешь информацию, что условия изменились, то аппроксимация становится бессмысленной.

Например, тот же ядерный взрыв в столице. Могу предположить, что когда выжившие демографы возобновят расчет ОПЖ, они сделают примерно следующее:
1. "Закроют" ряд наблюдений за годы, предшествующие взрыву.
2. С года, следующего за взрывом, начнут новый ряд, в котором учтут новые показатели смертности и рождаемости.
3. Для года взрыва ОПЖ вообще определять не будут, поскольку год был аномальным. Или вычислят, но в качестве казуса, непригодного для аналитики.

В общем, нет никакой "истинной функции". Просто есть желание людей работать не с длинными рядами многомерных реальных данных, а с парой-другой как можно более простых формул. Желание математически смоделировать действительность, иначе говоря.

>Так вот в ходе аппроксимации теоретически может встать проблема, а какую брать функцию - непрерывную или с разрывами. Вопрос - когда какую брать?

Это вообще не вопрос. В моделировании стараются использовать гладкие функции, потому что их легче анализировать. Но если они не дают нужной степени точности, например, из-за слома тенденции - значит, надо брать ту, которая лучше подходит.
От Вячеслав
К Дм. Ниткин (21.04.2010 00:03:04)
Дата 23.04.2010 14:12:12

Re: Да, это...

>>Итак, есть некоторый временной ряд с реальными данными, для них нам надо задать функцию.
>
>Что значит "надо"? Начальник приказал?
Просто надо, а возможные причины Вы ниже прекрасно сформулировали.

>>Для этого мы считаем, что есть некая истинная функция, которую мы аппроксимируем по имеющимся данным и другой аналитической информации, известной об этой истинной функции и делаем это так, чтобы погрешность нас удовлетворяла.
>
>Весь фокус в том, что "истинной функции" нет. Или она есть, но очень сложна и имеет аргументом не только время, но еще несколько сотен параметров, не считая нескольких тысяч параметров, которыми можно пренебречь.
Нет, тогда уж истинных функций вообще нет, однако динамика показателя есть, соответственно есть некое точное соответствие значений отдельным моментам времени.

> Это не значит, что нельзя временной ряд аппроксимировать какой-то гладкой функцией. Можно, никто не мешает. В конце концов, полиномом соответствующей степени Вы любой конечный ряд аппроксимируете, хоть с точностью до нуля. Вопрос - зачем?

>Ответов чаще всего два. Первое - чтобы понять тенденцию. Второе - чтобы построить прогноз. И вот здесь уже начинаются интересности.
Вариантов обычно больше: чтобы наладить обратную связь для управления, чтобы исследовать методами матанализа , чтобы оценить значимость влияния нового фактора и т.п..

>Первым делом, выясняется, что важна не столько точность приближения, сколько простота модели. Потому что чем сложнее формула - тем труднее понять, а что же, собственно, происходит?
Вот это верно. В нашем примере шумы от ежедневных перепадов температур и сквозняков нафиг не нужны.

> Далее, мы обсуждаем ОПЖ, не так ли? Ну что же, в истории достаточно часто бывают случаи достаточно мощных природных или социальных катализмов, в ходе которых резко меняется и значение ОПЖ, и показатели его динамики. И получается, что для понимания тенденций надо, допустим, для периода с 1970 по 1990 год аппроксимировать одной функцией, с 1991 по 1999 - другой, а с 2000 года - третьей. А вопроса о гладкости - негладкости функции в этой ситуации нет вообще.
Конечно, все так, но раз оппонент настаивал что функция ОПЖ всенепременно дискретная, то вот мне и хотелось, чтобы он указал моменты, когда без дискретности принципиально не обойтись.

> Что-то похожее и с прогнозом. Аппроксимирующую функцию можно использовать для прогнозирования в предположении о неизменности существующих условий и тенденций. А если ты уже имеешь информацию, что условия изменились, то аппроксимация становится бессмысленной.
Не совсем, для корректировки прогноза вполне может потребоваться, тут конечно куча своих тонкостей, но все же.

>Например, тот же ядерный взрыв в столице. Могу предположить, что когда выжившие демографы возобновят расчет ОПЖ, они сделают примерно следующее:
>1. "Закроют" ряд наблюдений за годы, предшествующие взрыву.
>2. С года, следующего за взрывом, начнут новый ряд, в котором учтут новые показатели смертности и рождаемости.
>3. Для года взрыва ОПЖ вообще определять не будут, поскольку год был аномальным. Или вычислят, но в качестве казуса, непригодного для аналитики.
Да конечно, как вариант сделают разрыв.

> В общем, нет никакой "истинной функции". Просто есть желание людей работать не с длинными рядами многомерных реальных данных, а с парой-другой как можно более простых формул. Желание математически смоделировать действительность, иначе говоря.
Разумеется. Причем не обязательно речь о формулах, можно работать и с рядами усредненных данных.

>>Так вот в ходе аппроксимации теоретически может встать проблема, а какую брать функцию - непрерывную или с разрывами. Вопрос - когда какую брать?
>
>Это вообще не вопрос. В моделировании стараются использовать гладкие функции, потому что их легче анализировать.
В общем, конечно, не вопрос, берем что нам удобнее, но оппонент настаивал на всенепременной дискретности
> Но если они не дают нужной степени точности, например, из-за слома тенденции - значит, надо брать ту, которая лучше подходит.
Конечно, вот я и пытался сформулировать те условия, когда больше подходит разрывная функция, столь дорогая для оппонента.
От Alexandre Putt
К Вячеслав (23.04.2010 14:12:12)
Дата 24.04.2010 23:20:44

Давайте всё-таки про функции не передёргивать

Вы назвали некую последовательность наблюдений "функцией". Функцией её действительно можно считать (никаких ограничений в математике тут нет), вот такой

для x=1965, f=69.5 (к примеру)
для x=1966, f=68.6 (к примеру)
...

Это действительно функция. Смысла её определять, конечно, нет. И она действительно разрывная.

Никаких других функций Вы тут построить не сможете в принципе. То, до чего договорились Вы (ввести интерполяцию гладкой функцией, проходящей через эти точки), вообще не является допустимым подходом в данном случае. Почему? Потому что он полностью произволен и не отражает реальные данные ни в какой мере. (Ваша выдумка)

В конечном итоге использование интерполяции здесь привело бы к неверному анализу динамики рассматриваемой переменной.
От Вячеслав
К Alexandre Putt (24.04.2010 23:20:44)
Дата 26.04.2010 01:28:02

Re: Давайте всё-таки...

>Вы назвали некую последовательность наблюдений "функцией". Функцией её действительно можно считать (никаких ограничений в математике тут нет), вот такой

>для x=1965, f=69.5 (к примеру)
>для x=1966, f=68.6 (к примеру)
>...

>Это действительно функция. Смысла её определять, конечно, нет. И она действительно разрывная.
А точки разрыва приходятся на 01.01?

>Никаких других функций Вы тут построить не сможете в принципе. То, до чего договорились Вы (ввести интерполяцию гладкой функцией, проходящей через эти точки), вообще не является допустимым подходом в данном случае. Почему? Потому что он полностью произволен и не отражает реальные данные ни в какой мере. (Ваша выдумка)
Еще как отражает, это всяко более точная аппроксимация чем годовые ступеньки.

>В конечном итоге использование интерполяции здесь привело бы к неверному анализу динамики рассматриваемой переменной.
Это Вы просто хотите охватить динамику по всем частотам, а нам этого не надо. А для годовых и более длительных проявлений самое то.
От Alexandre Putt
К Вячеслав (26.04.2010 01:28:02)
Дата 26.04.2010 10:09:23

Re: Давайте всё-таки...

> А точки разрыва приходятся на 01.01?

Такого аргумента эта функция не знает. А уж где у статслужб начинается год, где заканчивается - не столь важно.

> Еще как отражает, это всяко более точная аппроксимация чем годовые ступеньки.

А большую точность Вячеслав как определил, как Сепулька, в ходе телемоста Вячеслав-Бог?

Да с какой стати Вы решили, что из всего множества кривых, которые проходят через данные точки, выбранная Вами хоть в минимальной мере отражает реальную ненаблюдаемую динамику?

> Это Вы просто хотите охватить динамику по всем частотам, а нам этого не надо. А для годовых и более длительных проявлений самое то.

Я уже не совсем понимаю, как и что Вы собираетесь таким макаром анализировать.

Информацию в статистике несут возмущения (т.е. ошибки, отклонения). Если Вы делаете интерполяцию, то кол-во доступной Вам информации не увеличивается. Если Вы делаете её так, как предлагаете Вы, Вы даже уменьшаете кол-во информации в данных, так как снижаете относительное число наблюдений, которые её несут, и вносите посторонние искажения в сигнал.

То, что Вы этого не понимаете, конечно, говорит за себя.
От Вячеслав
К Alexandre Putt (26.04.2010 10:09:23)
Дата 26.04.2010 10:41:13

Re: Давайте всё-таки...

>> А точки разрыва приходятся на 01.01?
>
>Такого аргумента эта функция не знает. А уж где у статслужб начинается год, где заканчивается - не столь важно.
Потому что Патт-Господь Бог никак не хочет таковою задать? Это да.

>> Еще как отражает, это всяко более точная аппроксимация чем годовые ступеньки.
>
>А большую точность Вячеслав как определил, как Сепулька, в ходе телемоста Вячеслав-Бог?
Большая точность аппроксимации наклонными, нежели ступеньками, определяется динамикой соседних лет.

>Да с какой стати Вы решили, что из всего множества кривых, которые проходят через данные точки, выбранная Вами хоть в минимальной мере отражает реальную ненаблюдаемую динамику?
А с какой стати Вы решили, это точки, а не ступеньки?

>> Это Вы просто хотите охватить динамику по всем частотам, а нам этого не надо. А для годовых и более длительных проявлений самое то.
>
>Я уже не совсем понимаю, как и что Вы собираетесь таким макаром анализировать.
А я и не удивляюсь.

>Информацию в статистике несут возмущения (т.е. ошибки, отклонения). Если Вы делаете интерполяцию, то кол-во доступной Вам информации не увеличивается. Если Вы делаете её так, как предлагаете Вы, Вы даже уменьшаете кол-во информации в данных, так как снижаете относительное число наблюдений, которые её несут, и вносите посторонние искажения в сигнал.
Это нормально, если нас не интересуют высокочастотные шумы. А нас интересуют годовые и многолетние тенденции.

>То, что Вы этого не понимаете, конечно, говорит за себя.
Я уже понял, что с моделированием явлений, как процессов, Вы не знакомы в принципе.
От Alexandre Putt
К Вячеслав (26.04.2010 10:41:13)
Дата 26.04.2010 10:49:40

У меня начинают закладываться сомнения

по поводу Вашей адекватности.

>>Такого аргумента эта функция не знает. А уж где у статслужб начинается год, где заканчивается - не столь важно.
>Потому что Патт-Господь Бог никак не хочет таковою задать? Это да.

Нет, потому что наблюдений с такой периодичностью у нас нет.

>>А большую точность Вячеслав как определил, как Сепулька, в ходе телемоста Вячеслав-Бог?
>Большая точность аппроксимации наклонными, нежели ступеньками, определяется динамикой соседних лет.

Чтобы определить точность, нужно сравнить с действительными данными, которых в принципе нет для этой частоты наблюдений.

>А с какой стати Вы решили, это точки, а не ступеньки?

Из практики, Вячеслав, из практики. Как там успехи с интерполяцией годовых значений ВВП "ступеньками"?

>Это нормально, если нас не интересуют высокочастотные шумы. А нас интересуют годовые и многолетние тенденции.

Угу, и для этого Вы что предлагаете делать? И вообще что Вы тут несёте?

Вы утверждаете, что будете делать интерполяцию данной последовательности некой функцией (допустим, многочленом), только для того, чтобы использовать потом годовые значения, которые и так известны. Для чего тогда интерполяция?

По-моему, Вы слегка запутались в своём невежестве.

>Я уже понял, что с моделированием явлений, как процессов, Вы не знакомы в принципе.

Вы просто неадекватны. На это Вам несколько раз тактично указали.
От Вячеслав
К Alexandre Putt (26.04.2010 10:49:40)
Дата 26.04.2010 13:55:35

Зато у меня по поводу Вас сомненй уже не осталось

>по поводу Вашей адекватности.

>>>Такого аргумента эта функция не знает. А уж где у статслужб начинается год, где заканчивается - не столь важно.
>>Потому что Патт-Господь Бог никак не хочет таковою задать? Это да.
>
>Нет, потому что наблюдений с такой периодичностью у нас нет.
А какие наблюдения в годовых показателях суммировались?

>>>А большую точность Вячеслав как определил, как Сепулька, в ходе телемоста Вячеслав-Бог?
>>Большая точность аппроксимации наклонными, нежели ступеньками, определяется динамикой соседних лет.
>
>Чтобы определить точность, нужно сравнить с действительными данными, которых в принципе нет для этой частоты наблюдений.
У нас есть данные усредненные за весь год, с ними и сравниваем.

>>А с какой стати Вы решили, это точки, а не ступеньки?
>
>Из практики, Вячеслав, из практики. Как там успехи с интерполяцией годовых значений ВВП "ступеньками"?
С какой интерполяций? У нас аппроксимация. Аппроксимация величины ОПЖ усредненными годовыми ступеньками.

>>Это нормально, если нас не интересуют высокочастотные шумы. А нас интересуют годовые и многолетние тенденции.
>
>Угу, и для этого Вы что предлагаете делать?
Представить среднегодовые значения ОПЖ функцией времени, что позволит провести анализ долгосрочной динамики.
> И вообще что Вы тут несёте?
Сам дурак.

>Вы утверждаете, что будете делать интерполяцию данной последовательности некой функцией (допустим, многочленом), только для того, чтобы использовать потом годовые значения, которые и так известны. Для чего тогда интерполяция?
Да не нужен тут многочлен, тут нужна всего лишь непрерывность годовых значений, да и то формально, чисто для Вас, потому как численные производные можно было бы определить и для ступенек.

>По-моему, Вы слегка запутались в своём невежестве.
Сам дурак.

>>Я уже понял, что с моделированием явлений, как процессов, Вы не знакомы в принципе.
>
>Вы просто неадекватны. На это Вам несколько раз тактично указали.
Сам дурак
От Alexandre Putt
К Вячеслав (26.04.2010 13:55:35)
Дата 26.04.2010 16:52:08

"Сам дурак" - это Ваш предельный уровень

>>Нет, потому что наблюдений с такой периодичностью у нас нет.
>А какие наблюдения в годовых показателях суммировались?

Квартальные, доступа к которым у нас в принципе нет. Кстати, в принципе их может и не существовать в конечном виде.

>>Чтобы определить точность, нужно сравнить с действительными данными, которых в принципе нет для этой частоты наблюдений.
>У нас есть данные усредненные за весь год, с ними и сравниваем.

Что сравниваем? Вашу интерполяцию для периода, за который нет наблюдений? Вы в своём уме?

>>Из практики, Вячеслав, из практики. Как там успехи с интерполяцией годовых значений ВВП "ступеньками"?
>С какой интерполяций? У нас аппроксимация. Аппроксимация величины ОПЖ усредненными годовыми ступеньками.

Вот и "аппроксимируйте" мне годовые значения ступеньками, а затем сравните "точность" с реальными квартальными значениями, благо они публикуются.

>>Угу, и для этого Вы что предлагаете делать?
>Представить среднегодовые значения ОПЖ функцией времени, что позволит провести анализ долгосрочной динамики.

Ну это клиника пошла. Чтобы, значит, употребить безграмотный оборот речи Вячеслав будет "ступеньками" интерполировать несуществующие данные. Не проще изменение показателя за год назвать разницей, чем оно и является?

Вы, помнится, в начале дискуссии написали

"Вы обычно в таких ситуациях начинаете яростно спорить и ставить себя в действительно неловкое положение."

Вот как раз получилось, что это про Вас слова. И уж особенно неловко получилось с разрывными функциями. На этом позвольте, наконец, закончить. Даже моей доброжелательности и просветительству есть предел.
От Вячеслав
К Alexandre Putt (26.04.2010 16:52:08)
Дата 26.04.2010 17:57:18

Нет, это просто адекватный ответ

>>>Нет, потому что наблюдений с такой периодичностью у нас нет.
>>А какие наблюдения в годовых показателях суммировались?
>
>Квартальные, доступа к которым у нас в принципе нет.
Кстати, в принципе их может и не существовать в конечном виде.
;) А в квартальных какие наблюдения суммировались? Или не суммировались?

Но в общем все наблюдения у нас есть, пусть и в суммированном виде, но нам более подробная разбивка и не нужна.

>>>Чтобы определить точность, нужно сравнить с действительными данными, которых в принципе нет для этой частоты наблюдений.
>>У нас есть данные усредненные за весь год, с ними и сравниваем.
>
>Что сравниваем? Вашу интерполяцию для периода, за который нет наблюдений? Вы в своём уме?
Я то в своем. Правда я не понимаю, почему Вы не понимаете , что у нас в нашем показателе представлены непрерывные наблюдения.

>>>Из практики, Вячеслав, из практики. Как там успехи с интерполяцией годовых значений ВВП "ступеньками"?
>>С какой интерполяций? У нас аппроксимация. Аппроксимация величины ОПЖ усредненными годовыми ступеньками.
>
>Вот и "аппроксимируйте" мне годовые значения ступеньками, а затем сравните "точность" с реальными квартальными значениями, благо они публикуются.
Да нафига мне реальные квартальные значения, если мне интересна динамика значений усредненных за год?

>>>Угу, и для этого Вы что предлагаете делать?
>>Представить среднегодовые значения ОПЖ функцией времени, что позволит провести анализ долгосрочной динамики.
>
>Ну это клиника пошла.
Сам дурак.

> Чтобы, значит, употребить безграмотный оборот речи Вячеслав будет "ступеньками" интерполировать несуществующие данные.
Совсем мозги разжижились? Ступеньками ничего интерполировать не надо, ступеньки у нас и так есть.

> Не проще изменение показателя за год назвать разницей, чем оно и является?
Разница - величина не связанная со временем, а меня интересует скорость, т.е. изменение величины в единицу времени.
>Вы, помнится, в начале дискуссии написали

>"Вы обычно в таких ситуациях начинаете яростно спорить и ставить себя в действительно неловкое положение."
Ну, так святая правда. Я, конечно тоже хорош, и мне искренне неудобно по поводу той ереси, что пришлось наговорить в пылу формализации очевидных и не требующих формализации вещей, но тут уж как говорится с кем поведешься - сам дураком станешь.
>Вот как раз получилось, что это про Вас слова. И уж особенно неловко получилось с разрывными функциями.
Все нормально получилось.
> На этом позвольте, наконец, закончить. Даже моей доброжелательности и просветительству есть предел.
Зато Вашему тупизму предела нет.