От Alexandre Putt
К Игорь С.
Дата 28.01.2006 23:11:38
Рубрики Россия-СССР; Образы будущего;

Ну так тесты есть. Берешь таблицу и определяешь (-)
От Игорь С.
К Alexandre Putt (28.01.2006 23:11:38)
Дата 29.01.2006 22:35:57

Пример

Вы меня не понимаете.

Вы говорите о критериях проверки гипотез которые в большинстве случаев практики работают. Я прекрасно это знаю, посколько одним из рабочих инструментов у меня является метод Монте-Карло. Соответственно рассказывать про всякие "хи-квадрат" мне не обязательно.

Однако первое, что пишут грамотные авторы программы: 100% гарантий результатов не существует.

В качестве пример приведу известный пример, называется расчет эффективного коэффициента размножения Земли. Это отношение количества родившихся нейтронов к поглощенным. В атомном реакторе, где идет стационарная ядерная реакция, эта величина равна единице. Поскольку на Земле есть ядерные реакторы, то для всей Земли в целом эта величина равна тоже единице. Теперь начинаем статистическое моделирование.

Запускаем нейтрон. С вероятностью 100% мы не попадем в реактор, соответственно количество родившихся нейтронов - ноль и коэффициент размножения равен нулю. Запустим 30, 240, миллион - будет то же самое.

При этом ВСЕ статистические критерии будут удоволетворены и подтвердят достоверность результата "ноль". Хотя он очевидно ошибочный.

Т.е. Для некоего круга практических задач конечно можно указать "240 (или 30_ - достаточно". Но общего способа проверки - не существует.

Соответственно, если ваше распределение не гауссовское, а "гауссовское + эффективный коэфициент размножение Земли", то никакой критерий вам не укажет отличие. Это означает, что отсутствие добавок типа "редко встречающее событие с большим вкладом" вы должны указать априори, до исследования.

Речь - об этом, и многих других похожих вещах.
От Alexandre Putt
К Игорь С. (29.01.2006 22:35:57)
Дата 30.01.2006 01:57:29

Re: Пример

>Запускаем нейтрон. С вероятностью 100% мы не попадем в реактор, соответственно количество родившихся нейтронов - ноль и коэффициент размножения равен нулю.

Не понял. Почему 100%? Для статистики это бессмысленно. Это из конструкции эксперимента? Вы уверены, что здесь вероятностное событие?

> Запустим 30, 240, миллион - будет то же самое.

Ещё не понял, почему будет тоже самое. Вероятность прохождения настолько мала?

>При этом ВСЕ статистические критерии будут удоволетворены и подтвердят достоверность результата "ноль". Хотя он очевидно ошибочный.

А какие тут могут быть критерии. Ведь у нас вырожденное распределение (точка).

>Т.е. Для некоего круга практических задач конечно можно указать "240 (или 30_ - достаточно". Но общего способа проверки - не существует.

Способа проверки чего? Дело тут вот в чём: сходимость тех или иных статистик к некоему закону зависит, конечно, от сути процесса, а также от самого предполагаемого закона распределения. Для классического случая - 30 наблюдений (эвристически) достаточно, чтобы можно было делать правдоподобные выводы. Если же, например, у Вас сложная динамическая модель, то требуется намного больше наблюдений. И общего правила здесь, конечно, нет и быть не может. Но я этого никогда и не утверждал.

>Соответственно, если ваше распределение не гауссовское, а "гауссовское + эффективный коэфициент размножение Земли", то никакой критерий вам не укажет отличие.

Отличие чего? Закона распределения?

> Это означает, что отсутствие добавок типа "редко встречающее событие с большим вкладом" вы должны указать априори, до исследования.

ИМХО, ИМХО, дело не в допущении гауссовых ошибок (которое я подразумевал), а в конкретике моделируемого процесса. Из-за отсутствия конкретики очень сложно делать какие-то вразумительные выводы, тем более для области науки, в которой я не разбираюсь (физика). Например, процессы броуновского движения при их моделировании (точнее, при использовании броуновского распределения) требуют тысячи наблюдений или даже десятки тысяч, чтобы соответствующие результаты можно было рассматривать. Экономическое применение: процессы с единичным корнем (для оценки требуются, если не ошибаюсь, сотни, а лучше под тысячу наблюдений). Но гауссово распределение к этому не имеет отношения , речь идёт о возможности оценки параметров модели. Возможно, что в Вашей физической модели схожая ситуация (не знаю деталей), но это ни коим образом не означает, что это также верно для множества остальных применений. Всё зависит от специфики моделируемого процесса, от конкретного применения.
От Игорь С.
К Alexandre Putt (30.01.2006 01:57:29)
Дата 30.01.2006 21:17:14

Объяснение

Ох, Александр, Вы иногда задаете странные вопросы..

>>Запускаем нейтрон. С вероятностью 100% мы не попадем в реактор, соответственно количество родившихся нейтронов - ноль и коэффициент размножения равен нулю.

>Не понял. Почему 100%?

Объем реактора - грубо говоря несколько кубических метров. Подчитайте объем рассматриваемого поверхностного слоя земного шара и вероятность, что при сотне испытаний вы попадете в реактор.

Далее, учтите, что количество псевдослучайных чисел в датчиках ограничено длинной слова. Вы, кстати, знаете как это реализовано на практике?

>Для статистики это бессмысленно.

Александр, этот пример придумали профессионалы по статистике. Есть более практические примеры, связанные с хранилищами отработанного ядерного топлива, то есть это - абсолютно практическая задача вычислительной математики. А вы пишите "бессмысленно".

>Это из конструкции эксперимента? Вы уверены, что здесь вероятностное событие?

А вы что, не уверены?

>> Запустим 30, 240, миллион - будет то же самое.

>Ещё не понял, почему будет тоже самое. Вероятность прохождения настолько мала?

Да.

>>При этом ВСЕ статистические критерии будут удоволетворены и подтвердят достоверность результата "ноль". Хотя он очевидно ошибочный.

>А какие тут могут быть критерии. Ведь у нас вырожденное распределение (точка).

Ну, во-первых, не совсем точка. А во вторых, откуда вы знаете, что исследуемое на практике распределение не является близким к вырожденному?

А критерии - нормальные. Те самые, что в ваших таблицах.

>>Т.е. Для некоего круга практических задач конечно можно указать "240 (или 30_ - достаточно". Но общего способа проверки - не существует.

>Способа проверки чего?

Проверки, что данного количества испытаний достаточно для утверждения что реализуется именно данное статистическое распределение.


>Дело тут вот в чём: сходимость тех или иных статистик к некоему закону зависит, конечно, от сути процесса, а также от самого предполагаемого закона распределения. Для классического случая - 30 наблюдений (эвристически) достаточно, чтобы можно было делать правдоподобные выводы.

Вот именно - правдоподобные. А не правильные.

>Если же, например, у Вас сложная динамическая модель, то требуется намного больше наблюдений. И общего правила здесь, конечно, нет и быть не может. Но я этого никогда и не утверждал.

Ну и отлично.

>>Соответственно, если ваше распределение не гауссовское, а "гауссовское + эффективный коэфициент размножение Земли", то никакой критерий вам не укажет отличие.

>Отличие чего? Закона распределения?

Да.

>> Это означает, что отсутствие добавок типа "редко встречающее событие с большим вкладом" вы должны указать априори, до исследования.

>ИМХО, ИМХО, дело не в допущении гауссовых ошибок (которое я подразумевал), а в конкретике моделируемого процесса.

Вот именно.

>Экономическое применение: процессы с единичным корнем (для оценки требуются, если не ошибаюсь, сотни, а лучше под тысячу наблюдений).

Вот. А мне трубуются миллиарды, а лучше десятки миллиардов. Вы считаете, что экономика проще, чем физика? В ней более простые процессы?

> Возможно, что в Вашей физической модели схожая ситуация (не знаю деталей), но это ни коим образом не означает, что это также верно для множества остальных применений.

Да как вам сказать. Мне так кажется что
1. Чем сложнее процесс, тем труднее его моделировать, в частности тем больше нужно статистических испытаний для корректной проверки.
2. Экономические процесы сложнее ядерно-физических.
3. Для моделирования ядерно-физических процессов с высокой надежностью требуются многие миллионы имиллиарды испытаний ( хотя правдоподобные результаты во многих случаях можно получить очень быстро.
4. Соответствено роль статитстического моделирования для экономики должна бы ограничиваться получением правдоподобных результатов.
5. Которые никак не являются строгими.

Так годится?

> зависит от специфики моделируемого процесса,

Которого мы, увы, не знаем.
От Alexandre Putt
К Игорь С. (30.01.2006 21:17:14)
Дата 30.01.2006 23:54:11

Re: Объяснение

>Объем реактора - грубо говоря несколько кубических метров. Подчитайте объем рассматриваемого поверхностного слоя земного шара и вероятность, что при сотне испытаний вы попадете в реактор.

Понятно. А нет ли способа повысить чувствительность аппаратуры? Кроме того, не понятно, что требуется от статистики? Что за отправной набор измерений? Вы пишете о трудностях с получением измерений, но ведь если получен соответствующий набор данных, то его дальнейшее препарирование не вызывает проблем - в зависимости от поставленной задачи. Быть может, в этом эксперименте само определение события неудачное?
Допустим, Вы наковыряли нужные данные. Какие могут быть проблемы для их дальнейшей статистической обработки?

>Далее, учтите, что количество псевдослучайных чисел в датчиках ограничено длинной слова. Вы, кстати, знаете как это реализовано на практике?

Что именно? Случайные числа на ЭВМ? Эксперимент? Эксперимент я только примерно представляю.

>А вы что, не уверены?

Если у Вас вырожденное распределение, то далеко на нём не уедешь.

>Ну, во-первых, не совсем точка. А во вторых, откуда вы знаете, что исследуемое на практике распределение не является близким к вырожденному?

Очень просто: Var[x(t)] -> 0 при увеличении t

>Проверки, что данного количества испытаний достаточно для утверждения что реализуется именно данное статистическое распределение.

Дело тут вот в чём: в большинстве статистических применений Вас интересует прежде всего сходимость Вашей оценки параметров к их истинному значению. Большинство методов (вроде регресии МНК) базируются на ряде допущений, например, нарушения в модель (y = E(x'b|I) ) не обладают серийной корреляцией, второй момент постоянен и т.д, короче, "белый шум". Частным случаем белого шума будет распределение по закону Гаусса. Так вот, нарушение этого допущения покрывается использованием методов, нечувствительнных к этой проблеме, либо немного более изощренными методами оценки параметров (зависит от проблемы). Сюда же относятся все динамические модели. К этому добавляется также то, что на практике часто используется метод наибольшего правдоподобия (maximum likelihood), который, хоть и требует явного задания закона распределения нарушений, не подвержен значительному влиянию в условии других законов.

Т.е. на практике Вы редко заботитесь законом распределения нарушений, если речь не идёт о специфических приложениях.

>Вот. А мне трубуются миллиарды, а лучше десятки миллиардов. Вы считаете, что экономика проще, чем физика? В ней более простые процессы?

В экономике процессы проще чем тот, о котором пишете Вы. Впрочем, сложность моделируемых процессов определяется аппаратными возможностями. Большинство экономических работ используют поквартальные серии макроэкономических показателей. В ряде случаев - ежедневные (или даже ежеминутные) финансовые серии.

>Да как вам сказать. Мне так кажется что
>1. Чем сложнее процесс, тем труднее его моделировать, в частности тем больше нужно статистических испытаний для корректной проверки.

В экономике обычно используются агрегированные серии.

>2. Экономические процесы сложнее ядерно-физических.

Не факт.

>3. Для моделирования ядерно-физических процессов с высокой надежностью требуются многие миллионы имиллиарды испытаний ( хотя правдоподобные результаты во многих случаях можно получить очень быстро.

Всё упирается в суть процессов и в суть проблемы. Чтобы определить, имеет ли влияние экспорт на экономичесикй рост, не нужно моделировать миллионы фирм. Достаточно правильно построить регрессию из нескольких переменных.

>4. Соответствено роль статитстического моделирования для экономики должна бы ограничиваться получением правдоподобных результатов.

А что будем считать критерием правдоподобности?

>5. Которые никак не являются строгими.

Опять же, что такое строгость?

>> зависит от специфики моделируемого процесса,
>Которого мы, увы, не знаем.

Не знаем и не узнаем, но зато конкретную модель сами формулируем. А объясняет ли она явление - на этот счёт соответствующие индикаторы имеются.