От C.КАРА-МУРЗА
К All
Дата 15.04.2002 12:13:58
Рубрики Прочее;

Срочный вопрос к тем, кто разбирается в обработке данных

Задача такая. Есть динамика сбора зерна за 1945-2001 гг. Т.к. колебания урожайности осень велики, получается кривая с частоколом зубьев. Хорошо бы наложить на нее линию тренда, чтобы легые было видеть тенденцию. Эта линия может быть биномиальной (она сглаживает все и дает идеализированную кривую) или линией "скользящей средней" - скажем, из 5-6 точек. Вопрос: какой тип линии тренда выбрать? Какие нарекания вызывает тот или иной тип?
От Привалов
К C.КАРА-МУРЗА (15.04.2002 12:13:58)
Дата 16.04.2002 08:40:27

Усреднение, по-моему, подойдёт

Я, правда, со с\х статистикой дела не имел, и вообще, теоретик в этом вопросе: вёл несколько лет мат. статистику и статистику случайных процессов для специальности "Прикладная математика" Самарского аэрокосмического университета.

Я бы взял усреднение по периоду времени, примерно равному времени между двумя последовательными заметными неурожаями (или наоборот, большими урожаями). Думаю, что это что-то вроде тех 5 лет, про которые тут говорили.

Тогда можно надеятся, что колебания уйдут, и понятней станет тренд. А вот какой это тренд - тут нужно более глубокие исследования с перебором возможных вариантов, оценкой параметов предполагаемых зависимостей и последующей проверкой гипотез относительно случайного характера отклонений от предполагаемой зависимости.
Но думаю, что в данном случае, это не требуется.
От Лом
К C.КАРА-МУРЗА (15.04.2002 12:13:58)
Дата 15.04.2002 17:21:49

Кашу маслом...

Я предпочту бином, но сглаживание может тоже красивую картинку дать, осбенно для долговременного тренда.

А вы попробуйте дать все пучком, на одном графике, у критиков челюсти отвалятся:

Дайте ежегодную гистограмму бледным цветом, поверх яркие бином и сглаживающую, и скажем пунктирами сглаживающие по пятилеткам и по годам правления (Сталин, Хрущев, Брежнев ...) Это очень красиво втиснется в один график, а эстеты от статистики только поапплодируют.
От И.Пыхалов
К Лом (15.04.2002 17:21:49)
Дата 15.04.2002 17:49:06

Бином там совершенно не в тему

>Я предпочту бином, но сглаживание может тоже красивую картинку дать, осбенно для долговременного тренда.

По жизни это скорее синусоида (причем этому можно даже придумать какое-нибудь теоретическое обоснование - циклы солнечной активности и т.п.), наложенная на восходящий (или нисходящий - спасибо либералам) график.
От Лом
К И.Пыхалов (15.04.2002 17:49:06)
Дата 15.04.2002 18:11:37

Сглаживание иногда подрезает любопытное


>>Я предпочту бином, но сглаживание может тоже красивую картинку дать, осбенно для долговременного тренда.

>По жизни это скорее синусоида (причем этому можно даже придумать какое-нибудь теоретическое обоснование - циклы солнечной активности и т.п.), наложенная на восходящий (или нисходящий - спасибо либералам) график.

Так не нужно брать по предложению ниткина степень за каждый год, а то там такое выйдет... Понятно, что может быть неурожай, так усреднить за 3-5 лет и бином по трех-пятилеткам. А про сглаживание, я так и сказал - для долговременного тренда. Понятно же, что либералы только на биноме и выезжают, но совсем отбрасывать не стоит. Все надо комплексно.
От И.Пыхалов
К Лом (15.04.2002 18:11:37)
Дата 15.04.2002 18:26:58

А чем плоха ломанная

>>По жизни это скорее синусоида (причем этому можно даже придумать какое-нибудь теоретическое обоснование - циклы солнечной активности и т.п.), наложенная на восходящий (или нисходящий - спасибо либералам) график.

>Так не нужно брать по предложению ниткина степень за каждый год, а то там такое выйдет... Понятно, что может быть неурожай, так усреднить за 3-5 лет и бином по трех-пятилеткам. А про сглаживание, я так и сказал - для долговременного тренда. Понятно же, что либералы только на биноме и выезжают, но совсем отбрасывать не стоит. Все надо комплексно.

Чтобы продемонстрировать картину в целом, на мой взгляд, надо привести сразу два графика (или таблицы): 1) средние урожаи по пятилеткам, 2) ежегодные урожаи. 1-й покажет, какова тенденция, а 2-й - что разброс от года к году весьма велик (кстати, на этот факт - неустойчивость российских урожаев - тоже надо обратить внимание читателей, чтобы не строили иллюзий насчет того, что заведем фермеров и будет как на Западе).

Что же касается среднепятилеточных показателей, то их можно изобразить в виде ломанной, или в виде столбцов. Аппроксимация их какой-нибудь кривой совершенно не обязательна.
От И.Пыхалов
К C.КАРА-МУРЗА (15.04.2002 12:13:58)
Дата 15.04.2002 14:42:44

В дореволюционных работах по статистике с/х

для выявления "тенденции" использовали такой показатель, как средний урожай за пять лет
От C.КАРА-МУРЗА
К И.Пыхалов (15.04.2002 14:42:44)
Дата 15.04.2002 15:04:15

Спасибо

Как я понял, можно и бином, и сглаживание по средней за 5-6 лет. Все равно, конечно, дается и фактическая "грязная" кривая, так что тренду можно и не верить, если не хочется.
От Виктор
К C.КАРА-МУРЗА (15.04.2002 12:13:58)
Дата 15.04.2002 14:23:31

Приведите "грязные" данные.

Ежели они достоверные , то и "шум" содержит много дополнительных интересных сведений.

Когда мне довелось участвовать в обработке результатов "очень зашумленных" измерений , то мы делали так.

1. Говорили , что измеренное- это гладкая кривая , на которую наложен "шум". "Шум" был неизвестной природы , потому его описывали несколькими разными моделями.

2. Затем решали кучу уравнений, чтобы определить параметры гладкой кривой.

3. Затем выделяли "шум" и его исследовали. Коли "шум" получался очень случайным, как и положено ему быть , то тогда была радость - кажется , гладкую кривулю угадали. Ежели в "шуме" было чего-то неправильное , то тогда плевались , меняли модель шума , вид и параметры кривой , все по-новой считали и не раз.

4. Когда "гладкая" кривая напоминала походку матроса после кабака , то все наши уравнения становились даже для компьютера непонятными. Он помирал на вычислениях и давал ну очень абстрактные результаты, которые были никому не нужны. Ну , какой-то полином. А какая физика за этим стоит , так математики плевались и говорили , что вам надо , вы и думайте, а нам работать надо.

---------------

Я бы привел обязательно сырые данные. А потом сказал , например , что на мой взгляд , на участке-1 оно растет , на участке-2 оно втоит на месте , а на участке-3 оно опять растет. А отчего и почему - хрен ее , маму знает . Данных мало , модель явления - непонятна , чего на нее больше всего влияет и как - тоже надо выяснить. Вот мои предполагаемые качественные зависимости. Когда поднимется шум , крик и обвинения в тенднциозности , то , возможно , найдется хороший критик с более-менее достоверными данными и точными моделями.

Вы же помните, как "вражьи голоса" глушили. Надо было долго слушать , чтобы хоть что-то понять из передачи. Это когда оно монотонно хрипело и выло - один тип шума. И совсем ничего понять нельзя было , когда оно булькало и как Соловей-разбойник свмстело - полный паралич систем шумоподавления нашего организма.
От Баювар
К Виктор (15.04.2002 14:23:31)
Дата 15.04.2002 14:26:40

вражьи голоса

>Вы же помните, как "вражьи голоса" глушили. Надо было долго слушать , чтобы хоть что-то понять из передачи.

Вы помните, и приписываете Гуру внимательное слушанье, причем автоматом. Обращаю внимание на слово "надо". Это, стало быть, всем -- "было надо"?
От Виктор
К Баювар (15.04.2002 14:26:40)
Дата 15.04.2002 18:29:19

Я не про "вражьи голоса" , а про глушилки.

У человека есть хороший шумодав - его мозги. Спустя какое-то время при внимательном слушании некоторые виды шумов мозгами уже не воспринимаются. Так никакие бабские визги и монологи не могут помешать просмотру футбола. Мозг приспосабливается к работе в условиях сильных помех. Потому следует крик:
-Ты меня что ,не совсем слышишь?
В этом заключается великая сила HOMO SAPIENS.

Но то , до чего не сможет додуматься баба , было решено творческими научными коллективами. Был найден такой тип помех , против которого физиология мозга оказалась бессильна.

А что касается "вражьих голосов", то тут так. Кто-то - наивный - хотел услышать правду. Кто-то был просто любопытный. А кому-то очень хотелось слышать события в таком изложении. Как бальзам на раны. В этом отношении интересен анализ популярности многосерийных дебильников. Там герои как раз говорят словами и представлениями завороженной бабской аудитории. А мужики плюются и уходят от этого мерзкого зрелища куда подальше. Или гонят теток ко всем чертям от Ящика.
От Дмитрий Ниткин
К C.КАРА-МУРЗА (15.04.2002 12:13:58)
Дата 15.04.2002 12:34:19

Конечно, бином!

>Задача такая. Есть динамика сбора зерна за 1945-2001 гг. Т.к. колебания урожайности осень велики, получается кривая с частоколом зубьев. Хорошо бы наложить на нее линию тренда, чтобы легые было видеть тенденцию. Эта линия может быть биномиальной (она сглаживает все и дает идеализированную кривую) или линией "скользящей средней" - скажем, из 5-6 точек. Вопрос: какой тип линии тренда выбрать? Какие нарекания вызывает тот или иной тип?

Той же степени, что и число наблюдений! Тогда отклонений не будет. Правда, прогноз будет очень странный :)

А если серьезно, то усреднять ничего не надо, по виду выборки делаете гипотезу о характере тренда (линейный, экспоненциальный, логарифмический etc) и применяете регрессионный анализ. Если однородная зависимость на всем периоде не просматривается - делите ряд на временнЫе отрезки.

А велосипеды конструировать не пробовали?
От константин
К Дмитрий Ниткин (15.04.2002 12:34:19)
Дата 15.04.2002 13:06:40

Логарифмический умник нашелся


>А если серьезно, то усреднять ничего не надо, по виду выборки делаете гипотезу о характере тренда (линейный, экспоненциальный, логарифмический etc) и применяете регрессионный анализ. Если однородная зависимость на всем периоде не просматривается - делите ряд на временнЫе отрезки.
>

График немонотонный, какие тут "линейный, экспоненциальный, логарифмический" тренды.

IMHO разумно сглаженное распределение с окном несколько лет (вероятно есть какие-то оценки переодичности плохих и хороших годов) - это дать линией, а на этот график наложить точками точные значения по годам.
Хотя конечно каждая статистика имеет свои приемы, лучше у профи по с/х статистике взглянуть , они тут есть.
От Дмитрий Ниткин
К константин (15.04.2002 13:06:40)
Дата 15.04.2002 13:17:07

Re: Логарифмический умник...

>График немонотонный, какие тут "линейный, экспоненциальный, логарифмический" тренды.

А что такое тренд, по Вашему?

>IMHO разумно сглаженное распределение с окном несколько лет (вероятно есть какие-то оценки переодичности плохих и хороших годов) - это дать линией, а на этот график наложить точками точные значения по годам.

Тут есть еще один вопрос - а для чего нужен анализ? Если для сравнения урожая по периодам - никакого тренда не надо. Если для прогнозирования, в т.ч. ретроспективного - чем тут сглаживание поможет?

>Хотя конечно каждая статистика имеет свои приемы, лучше у профи по с/х статистике взглянуть , они тут есть.

Найдутся, не сомневайтесь
От константин
К Дмитрий Ниткин (15.04.2002 13:17:07)
Дата 15.04.2002 13:36:09

Фильтруй базар и высокочастотную часть

>>График немонотонный, какие тут "линейный, экспоненциальный, логарифмический" тренды.
>
>А что такое тренд, по Вашему?

Это монотонные зависимости. Их потом ставят, когда явно видны характерные участки роста или падения. (Вы и курс NASDAQ будете экспонентой интерполировать? )
>>IMHO разумно сглаженное распределение с окном несколько лет (вероятно есть какие-то оценки переодичности плохих и хороших годов) - это дать линией, а на этот график наложить точками точные значения по годам.
>
>Тут есть еще один вопрос - а для чего нужен анализ? Если для сравнения урожая по периодам - никакого тренда не надо. Если для прогнозирования, в т.ч. ретроспективного - чем тут сглаживание поможет?
Сглаживание, что бы отделить кратковременные вариации,связанные с погодой. Сглаживание более информативно и наглядно, чем просто разбиение на периоды. В геофизике тенденция переходить от таблиц к графикам, а как в с/х статистике не знаю.

От Дмитрий Ниткин
К константин (15.04.2002 13:36:09)
Дата 15.04.2002 14:51:55

Re: Фильтруй базар

>Это монотонные зависимости. Их потом ставят, когда явно видны характерные участки роста или падения. (Вы и курс NASDAQ будете экспонентой интерполировать? )

На 20-летнем участке - не исключено.

>Сглаживание, что бы отделить кратковременные вариации,связанные с погодой.
Спасибо, а то не знал :)

>Сглаживание более информативно и наглядно, чем просто разбиение на периоды. В геофизике тенденция переходить от таблиц к графикам, а как в с/х статистике не знаю.

Переходить от сглаживания к трендам :)
Кстати, специалист по с/х статистике нашелся. Аж с дореволюционным опытом:
http://vif2ne.ru/nvz/forum/0/co/52547.htm