От Keilformation
К All
Дата 19.12.2023 17:41:51
Рубрики Современность; Спецслужбы; Искусство и творчество;

Big Data в ГРУ

Согласится ли уважаемое сообщество что здесь впервые описывается принцип работы с большими данными?

Когда мы такие прогнозы выдаем, операторы улыбаются: хорошо «тот парень» работает! Им, операторам, знать не положено, откуда дровишки к нам поступают. Но операторы - тоже люди, и тоже шпионские истории читают, и оттого они уверены, что у Кравцова есть супершпион в каком-то натовском штабе. Супершпиона они между собой называют «тем парнем». Хвалят «того парня» и довольны им офицеры боевого планирования. Действительно, есть у Кравцова люди завербованные. Каждый военный округ вербует иностранцев и для получения информации, и для диверсий. Но только в данном случае «тот парень» ни при чем. Информацию, поступающую от секретной агентуры, Кравцов в сейфе держит и мало кому показывает. А то, чем мы боевое планирование питаем, имеет куда более прозаическое происхождение. Называется этот источник информации графиками активности, а способ добывания такой информации сводится к внимательному слежению за активностью радиостанций и радаров противника. На каждую радиостанцию, на каждый радар дело заводится: тип, назначение, расположение, кому принадлежит, на каких частотах работает. Очень много сообщений расшифровывается нашим пятым отделом. Но есть радиостанции, сообщения которых расшифровать не удается годами. И именно они представляют главный интерес, ибо это и есть самые важные радиостанции. Понятны нам сообщения или нет, на станцию заводится график активности и каждый ее выход в эфир фиксируется. Каждая станция имеет свой характер, свой почерк. Одни станции днем работают, другие - ночью, третьи имеют выходные дни, четвертые не имеют. Если каждый выход станции в эфир фиксировать и анализировать, то скоро становится возможным предсказывать ее поведение.
А кроме того, активность радиостанций в эфире сопоставляется с деятельностью войск противника. Для нас бесценны сведения, поступающие от водителей советских грузовиков за рубежом, от проводников советских поездов, от экипажей «Аэрофлота», от наших спортсменов и, конечно, от агентуры. Сведения эти отрывочны и не связаны друг с другом: дивизия поднята по тревоге, ракетная батарея ушла в неизвестном направлении, массовый взлет всех самолетов. Эти кусочки сопоставляются с активностью в эфире, замечаются закономерности, учитываются особые случаи и исключения из правил. И вот однажды после многолетнего анализа мы можем утверждать наверняка: если в эфир вышла станция РБ-7665-1, значит, через четыре дня произойдет массовый взлет военных самолетов с авиабазы Рамштайн. Это нерушимый закон. А если вдруг заработает станция, которую мы называем Ц-1000, тут и ребенку ясно, что боеготовность американских войск в Европе будет повышена. А если, к примеру...
- Слушай, Витя, мы, конечно, понимаем, что нельзя об этом говорить, но вы уж... того... Как бы сказать понятнее. .. В общем, вы берегите того парня.
От zero1975
К Keilformation (19.12.2023 17:41:51)
Дата 20.12.2023 01:05:37

Re: Big Data...

Это обычная история про то, какие мы умные, и какие они дебилы.
Радиоразведка и сопоставление её результатов с разрозненными наблюдениями - это первая мировая. И противодействие ей с кардинальным изменением радиосети непосредственно перед "Der Tag" было выполнено немцами уже перед Ютландом.
От СанитарЖеня
К Keilformation (19.12.2023 17:41:51)
Дата 19.12.2023 19:32:59

Братья Стругацкие. "Коллектор Рассеянной Информации" (19600

И не думаю, что они первые.
От Keilformation
К СанитарЖеня (19.12.2023 19:32:59)
Дата 19.12.2023 19:58:46

Re: Братья Стругацкие....

Спасибо, название красивое, но
ИМХО, это не дотягивает, выход на поиск закономерностей не объяснен.
От СанитарЖеня
К Keilformation (19.12.2023 19:58:46)
Дата 19.12.2023 20:12:14

Ну так в "бигдате" он тоже не объясняется.

Тем и похоже на "КРИ"
А то, на что Вы ссылаетесь - стандартная методика научной работы. Сбор статистики, установление зависимостей, прогноз.
От Keilformation
К СанитарЖеня (19.12.2023 20:12:14)
Дата 19.12.2023 20:28:18

Э-э-э-э а кто сказал что бигдата не научна? (-)
От СанитарЖеня
К Keilformation (19.12.2023 20:28:18)
Дата 20.12.2023 12:40:06

Потому, что "дата сатанизм" - род магии.

А магия иногда "неотличима от науки", но не наука.
От dap
К СанитарЖеня (20.12.2023 12:40:06)
Дата 20.12.2023 13:56:45

Нет конечно. Это нормальная наука.(+)

>А магия иногда "неотличима от науки", но не наука.
Магия да, а дата сайнс - вполне себе наука.
Потому что дает воспроизводимые результаты.
От СанитарЖеня
К dap (20.12.2023 13:56:45)
Дата 20.12.2023 14:36:54

Наука это прежде всего понимание, не только воспроизводимость.

Традиционное сельское хозяйство вполне воспроизводимо, но не наука.
От digger
К СанитарЖеня (20.12.2023 14:36:54)
Дата 24.12.2023 12:27:41

Re: Наука это...

>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.

Все, кто с этим работает, это хорошо знают.Поиск решения, похожего на существуюущие, используя ограниченный набор характеристик, самая первая и классическая нейросеть - распознавание букв.Кто в шляпе и в плаще, тот шпион, применительно к теме.Если спалить вагон угля и использовать кучу петабайт, то более хитрые признаки, но по сути - то же самое.МЛ не может понять суть явления по своей природе, так как пользуется характеристиками, которые ей человек задаст.
От fenix~mou
К СанитарЖеня (20.12.2023 14:36:54)
Дата 24.12.2023 06:44:38

Нейронные сети тогда тоже разновидность магии.

Здравствуйте.
>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.

Никто не понимает как последние 2 уровня свёртки работают, найдено эмпирически.
От Вася Куролесов
К СанитарЖеня (20.12.2023 14:36:54)
Дата 21.12.2023 12:25:56

Мы до сих пор не понимаем, как именно работает гравитация

...что совершенно не мешает науке физике корректно учитывать её в своих расчётах.
От Alexeich
К Вася Куролесов (21.12.2023 12:25:56)
Дата 21.12.2023 15:10:55

Re: Мы до...

>...что совершенно не мешает науке физике корректно учитывать её в своих расчётах.

А что значит "понимать"? Вопрос не в области физики.
От Вася Куролесов
К Alexeich (21.12.2023 15:10:55)
Дата 21.12.2023 23:41:24

Re: Мы до...

>>...что совершенно не мешает науке физике корректно учитывать её в своих расчётах.
>
>А что значит "понимать"? Вопрос не в области физики.

А это как, например, с двигателем внутреннего сгорания. "Сюда подаётся топливо, тут оно испаряется, тут искра, тут взрыв, тут поршень поехал, совершая работу" и т.д. С гравитацией мы не знаем, что там и где поехало, чтобы совершилась работа в ситуации "Луна поворачивает, вместо того, чтобы прямолинейно улететь к чертям собачим".
От Alexeich
К Вася Куролесов (21.12.2023 23:41:24)
Дата 22.12.2023 18:39:02

Re: Мы до...

>>А что значит "понимать"? Вопрос не в области физики.
>
>А это как, например, с двигателем внутреннего сгорания. "Сюда подаётся топливо, тут оно испаряется, тут искра, тут взрыв, тут поршень поехал, совершая работу" и т.д. С гравитацией мы не знаем, что там и где поехало, чтобы совершилась работа в ситуации "Луна поворачивает, вместо того, чтобы прямолинейно улететь к чертям собачим".

"Понимание" это всего лишь сведение задачи к "интуитивно понятно", когда нам начинает помогать в работе подсознание. Интуиция же есть не что иное как сумма наработанных навыков вида "если делать то-то, получится то-то" в оном подсознании твердо укрепившихся. Если Вы долго будете работать с задачами в области гравитации, они станут Вам интуитивно понятны и вопросы, подобные озвученному, вряд ли будут возникать. С моей точки зрения с "двигателем внутреннего сгорания" (ака минуя механику теорией теплоты, стаитстической физикой и далее по ступенькам) дело олстоит значительно сложнее. Там мозги вывихнуть можно.
Если камень летит по геодезической - это закон природы, если нагретый пар цилиндре расширяется - это тоже закон природы. И вся недолга :)
От Вася Куролесов
К Alexeich (22.12.2023 18:39:02)
Дата 22.12.2023 21:51:45

Re: Мы до...

>"Понимание" это всего лишь сведение задачи к "интуитивно понятно", когда нам начинает помогать в работе подсознание.

Да ну. Чтобы понять, как работает ДВС, нужна не интуиция, а внятное описание принципа его действия или видео, да и всё. Вопроса "почему поршень движется" более не возникает ("газ взорвался и надавил"). Удачи объяснить, почему конкретно Луна поворачивает.
От Alexeich
К Вася Куролесов (22.12.2023 21:51:45)
Дата 22.12.2023 23:25:41

Re: Мы до...

> Чтобы понять, как работает ДВС, нужна не интуиция, а внятное описание принципа его действия или видео, да и всё.

И что это Вам даст - красивую картинку? За каждым этапом работы ДВС - сложный процесс. Можно воспринимать его как должное, а можно на каждом этапе "копать в глубину".

==Вопроса "почему поршень движется" более не возникает ("газ взорвался и надавил").==

Минуточку, не все так просто. Что значит "взорвался"? Почему собственно "взорвался", и что значит "надавил"?

== Удачи объяснить, почему конкретно Луна поворачивает.==

Ну это как раз просто. В рамках ОТО она никуда не "поворачивает", а просто движется по геодезической, как и положено. Т.е. совершает некоторый аналог движения по прямой в плоском пространстве. В рамках ньютоновского объяснения - на нее действует сила тяготения.
От Anvar
К Вася Куролесов (21.12.2023 23:41:24)
Дата 22.12.2023 06:52:55

Неправильное сравнение

>>>...что совершенно не мешает науке физике корректно учитывать её в своих расчётах.
>>
>>А что значит "понимать"? Вопрос не в области физики.
>
>А это как, например, с двигателем внутреннего сгорания. "Сюда подаётся топливо, тут оно испаряется, тут искра, тут взрыв, тут поршень поехал, совершая работу" и т.д. С гравитацией мы не знаем, что там и где поехало, чтобы совершилась работа в ситуации "Луна поворачивает, вместо того, чтобы прямолинейно улететь к чертям собачим".

В целом, задача создания и совершенствования ДВС считается одним из примеров работы методом "тыка". Благодаря большим инвестициям в отрасль сделаны совершенные физические модели, при практически отсутствующих математических.

В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?
От Вася Куролесов
К Anvar (22.12.2023 06:52:55)
Дата 22.12.2023 12:40:31

Это почему же?

>В целом, задача создания и совершенствования ДВС считается одним из примеров работы методом "тыка".

Я не про совершенствование, я про понимание, как это работает. Мы понимаем, как работает ДВС.

>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?

Мы не понимаем, как именно, посредством чего совершается взаимодействие. Но измерить, учесть и предсказать мы, безусловно, можем.
От Anvar
К Вася Куролесов (22.12.2023 12:40:31)
Дата 22.12.2023 15:16:05

Re: Это почему...

>>В целом, задача создания и совершенствования ДВС считается одним из примеров работы методом "тыка".
>
>Я не про совершенствование, я про понимание, как это работает. Мы понимаем, как работает ДВС.

Т.е., например, вы знаете как и какие параметры надо поменять, чтобы увеличить мощность двигателя в два раза? Вот поверьте, хрен у вас получится. Без стендовых испытаний не обойдетесь. Вам "кажется" что вы понимаете.
А вот для реактивных движков ИМХО разработаны на порядок лучшие модели. Там стендовые испытания сильно сокращены.


>>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?
>
>Мы не понимаем, как именно, посредством чего совершается взаимодействие. Но измерить, учесть и предсказать мы, безусловно, можем.
От Вася Куролесов
К Anvar (22.12.2023 15:16:05)
Дата 22.12.2023 21:48:09

Re: Это почему...

>Т.е., например, вы знаете как и какие параметры надо поменять, чтобы увеличить мощность двигателя в два раза?

Нет. Но я знаю, как ДВС совершает работу. Вопроса "почему движется поршень" не возникает.
От Robert
К Вася Куролесов (22.12.2023 21:48:09)
Дата 22.12.2023 22:02:28

Ре: Это почему...


>Нет. Но я знаю, как ДВС совершает работу. Вопроса "почему движется поршень" не возникает.

Да паровая машина же к тому времени - существовала же сотню лет. Вопросов, почему в ней движется поршень - ни у кого не возникало (и не могло возникнуть).

А тут - просто газ а не пар. Делов то для старого инженера.
От tarasv
К Anvar (22.12.2023 06:52:55)
Дата 22.12.2023 07:39:55

Re: Неправильное сравнение

>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?

Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.

Орфографический словарь читал - не помогает :)
От fenix~mou
К tarasv (22.12.2023 07:39:55)
Дата 24.12.2023 06:48:35

Механизм вохникновения ЭМ-взаимодействия известен?

Здравствуйте.
>>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?
>
> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.

Сильного, слабого?
Что вы понимаете под "известен"?:)

Напомню что любая физическая модель это приближение и на абсолютное знание ни одна из естественных дисциплин не претендует.

Вполне возможно что всё это содержимое памяти компьютера - обьектам задали соответствующие параметры и функции.
От Anvar
К tarasv (22.12.2023 07:39:55)
Дата 22.12.2023 15:11:52

Re: Неправильное сравнение

>>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?
>
> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.

Вроде хорошо объясняется искривлением пространства?
>Орфографический словарь читал - не помогает :)
От tarasv
К Anvar (22.12.2023 15:11:52)
Дата 23.12.2023 08:39:51

Re: Неправильное сравнение

>> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.
>
>Вроде хорошо объясняется искривлением пространства?

ОТО это безусловно отлично работающая теория, но она про то как проявляется гравитация и не объясняет почему она вообще есть. В этом отличие от остальных взаимодействий переносчики которых были обнаружены или предсказаны, а потом обнаружены.

Орфографический словарь читал - не помогает :)
От fenix~mou
К tarasv (23.12.2023 08:39:51)
Дата 24.12.2023 06:49:39

Где ОТО работает?

Здравствуйте.
>>> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.
>>
>>Вроде хорошо объясняется искривлением пространства?
>
> ОТО это безусловно отлично работающая теория, но она про то как проявляется гравитация и не объясняет почему она вообще есть. В этом отличие от остальных взаимодействий переносчики которых были обнаружены или предсказаны, а потом обнаружены.

Какие практические результаты получены?
От dap
К fenix~mou (24.12.2023 06:49:39)
Дата 24.12.2023 21:12:24

В Радиоастроне например. Если хочется посконного и домотканного. (-)
От Alexeich
К fenix~mou (24.12.2023 06:49:39)
Дата 24.12.2023 19:48:56

Re: Где ОТО...

>Какие практические результаты получены?

Везде. У Вас в кармане мобильный телефон. В нем GPS-навигатор. Вот там и работает. Перед Вам (например) ноутбук, работа сетей в большой степени зависит от качественной работы национальных стандартов частоты и времени и их согласования. Там тоже работает.
От tarasv
К fenix~mou (24.12.2023 06:49:39)
Дата 24.12.2023 07:26:49

Re: Везде до горизонта событий

>Какие практические результаты получены?

Объяснено смещение перигелия Меркурия которое невозможно объяснить в ньютоновской теории гравитации.

Орфографический словарь читал - не помогает :)
От Anvar
К tarasv (23.12.2023 08:39:51)
Дата 23.12.2023 08:57:38

Re: Неправильное сравнение

>>> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.
>>
>>Вроде хорошо объясняется искривлением пространства?
>
> ОТО это безусловно отлично работающая теория, но она про то как проявляется гравитация и не объясняет почему она вообще есть. В этом отличие от остальных взаимодействий переносчики которых были обнаружены или предсказаны, а потом обнаружены.

ИМХО По теории для ее переносчиков пока нет средств измерения, слишком малые энергии. Или надо "йопнуть", что видимо в конце концов в Церне и сделают.

>Орфографический словарь читал - не помогает :)
От Паршев
К tarasv (22.12.2023 07:39:55)
Дата 22.12.2023 12:41:51

Re: Неправильное сравнение

>>В гравитации математика достаточно разработана, но видимо под непониманием вы имеете ввиду задачу трех тел?
>
> Под непониманием обычно имеют в виду то что механизм возникновения силы гравитации не известен в отличии от других взаимодействий.

по-моему, и там понимание того же уровня
От tarasv
К СанитарЖеня (20.12.2023 14:36:54)
Дата 21.12.2023 01:22:24

Re: Теория автоматического управления не наука?

>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.

Никакого понимания кроме того "как делать" ТАУ не дает. Data science занимается проблемами методов обработки данных и опять же отвечает на вопрос "как делать". По общепринятой классификации это прикладные научно-техничекие дисциплины.

Орфографический словарь читал - не помогает :)
От Паршев
К СанитарЖеня (20.12.2023 14:36:54)
Дата 21.12.2023 00:04:02

Под черепную крышку не залезешь, чтобы выявить понимание

только решением задач


>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.
От park~er
К СанитарЖеня (20.12.2023 14:36:54)
Дата 20.12.2023 21:55:33

Re: Наука это...

>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.

"Фьючерсы на концентрат апельсинового сока предсказывают погоду лучше всего"
От selioa
К park~er (20.12.2023 21:55:33)
Дата 21.12.2023 05:40:12

не надо путать божий дар с яишницей.

В 2017 г. Нобелевская премия по экономике также присуждена за изучение экономического поведения и за понимание того, какую роль психология играет в экономике. Лауреатом стал американец Ричард Талер. Ему 72 года, он профессор, специалист по поведенческой экономике в Booth School of Business при Чикагском университете. Талер был советником президента США Барака Обамы, а также снялся в фильме «Игра на понижение» об ипотечном кризисе 2007–2008 гг.
https://www.vedomosti.ru/economics/articles/2017/10/09/737100-nobelevskaya-ekonomike?ysclid=lqeld5502e567948913
От Anvar
К СанитарЖеня (20.12.2023 14:36:54)
Дата 20.12.2023 15:35:54

Re: Наука это...

>Традиционное сельское хозяйство вполне воспроизводимо, но не наука.
Только не просто понимание, а предсказание на основе понимания.
И строго говоря традиционное сельское хозяйство тоже в какой-то степени наука. Календарь и астрономия это во многом оттуда
От dap
К СанитарЖеня (20.12.2023 14:36:54)
Дата 20.12.2023 15:11:57

Что такое понимание?(+)

Квантовая механика это про понимание? Можно ее вообще понять в вашем понимании этого слова?
Или квантовая механика не наука?

Тут тоже самое. Вы берете много данных и находите закономерности.
Дальше вы можете с ними (закономерностями) работать. И получать предсказуемые результаты.
От Slick
К Keilformation (19.12.2023 20:28:18)
Дата 19.12.2023 21:37:59

Re: Э-э-э-э а...

Биг дата про количество. Когда не влезает в xls. Вторая версия - когда можно хранить и обрабатывать всю выборку, а не случайные наблюдения из генеральной совокупности.