От K
К Игорь
Дата 25.04.2013 10:52:35
Рубрики Россия-СССР; Идеология;

Re: Имею право...

> Однако длина сообщения говорит, например, о том, что если в нем содержится
> таки полезная информация - то количество этой информации весьма
> коррелирует с длинной сообщения.

Не коррелирует, никак, пока не одинаковы методы упаковки информации. У более
продвинутых технологий методы упаковки могут отличаться даже не в разы, а на
порядки порядков. Например, сложная биологическая система и куча песка, в
них количество атомов одинаково, но совершенно разная их упаковка.

> Однако существуют математически доказанные пределы такой упаковки
> информации.

Не существуют. Как и энтропия, так и информация, выводятся из некой
исключительно примитивной модели. Если эта модель хоть на йоту отличается,
то все оказывается далеко не так, в том числе и прямо противоположным.
Пример для энтропии. Предположим, что вокруг реальное физическое
пространство с реальными физическими свойствами. Энтропии каюк. Пример для
информации. Возьмем реальный пример, когда передается не <абстрактная
информация>, а ключи к информации (слова человеческого языка), которые
являются ключами к другой информации (к человеческим представлениям). Теория
информации кряк. Например, в отличии от <абстрактной информации> в реальной
информации в сообщении из трех слов может быть передана бездна информации,
что в личной жизни, что в жизни целых стран и народов (<Мы начнем войну>,
<Мы заключим мир>).

>> Третий пример, при сжатии фотографий через фракталы не только
>>достигается огромная степень сжатия по сравнению с другими методами, но и
>>качество фотографий улучшается. Проблема во времени сжатия. Миллиарды лет
>>бо-о-о-ольшое время
>
> Проблема не во времени сжатия, а в степени сжатия

Ошибаетесь. При сжатии посредством фракталов с частичной потерей информации
дело именно во времени сжатия. А каков предел сжатия не знает никто. В том
числе никто не знает, а есть ли фрактал, который возьмет, да полностью и
опишет всю эту информацию, без потерь. И нет ни у кого никаких идей как
узнать это. Ждут квантовый компьютер. Современные компьютеры (любой
мощности) для этих целей не годятся.
От Игорь
К K (25.04.2013 10:52:35)
Дата 25.04.2013 15:46:46

Re: Имею право...

>> Однако длина сообщения говорит, например, о том, что если в нем содержится
>> таки полезная информация - то количество этой информации весьма
>> коррелирует с длинной сообщения.
>
>Не коррелирует, никак, пока не одинаковы методы упаковки информации. У более
>продвинутых технологий методы упаковки могут отличаться даже не в разы, а на
>порядки порядков. Например, сложная биологическая система и куча песка, в
>них количество атомов одинаково, но совершенно разная их упаковка.

Методы децйствительной упаковки информации, разработанные человеком дают весьма скромные коэффициенты сжатия и доказано, что существуют пределы такой упаковки для разного рода информации.

>> Однако существуют математически доказанные пределы такой упаковки
>> информации.
>
>Не существуют. Как и энтропия, так и информация, выводятся из некой
>исключительно примитивной модели. Если эта модель хоть на йоту отличается,
>то все оказывается далеко не так, в том числе и прямо противоположным.
>Пример для энтропии. Предположим, что вокруг реальное физическое
>пространство с реальными физическими свойствами. Энтропии каюк. Пример для
>информации. Возьмем реальный пример, когда передается не <абстрактная
>информация>, а ключи к информации (слова человеческого языка), которые
>являются ключами к другой информации (к человеческим представлениям). Теория
>информации кряк. Например, в отличии от <абстрактной информации> в реальной
>информации в сообщении из трех слов может быть передана бездна информации,
>что в личной жизни, что в жизни целых стран и народов (<Мы начнем войну>,
><Мы заключим мир>).

Вы забыли, что есть информация, а есть ее интерпретация. Так вот интерпретатор тоже содержит информацию. Я уже писал, что количество информации, заключенное в каждом слове языка равно бесконечности. Однако без интерпретатора этой инфоримации - человеческого разума - эти слова можно хранить в виде всего нескольких символов.

>>> Третий пример, при сжатии фотографий через фракталы не только
>>>достигается огромная степень сжатия по сравнению с другими методами, но и
>>>качество фотографий улучшается. Проблема во времени сжатия. Миллиарды лет
>>>бо-о-о-ольшое время
>>
>> Проблема не во времени сжатия, а в степени сжатия
>
>Ошибаетесь. При сжатии посредством фракталов с частичной потерей информации
>дело именно во времени сжатия. А каков предел сжатия не знает никто.

Для любых представлений данных высчитывается теоретический предел упаковки при наличии конкретного интерпретатора. Только надо заранее уточнять - данные какого рода будут паковаться.

>В том
>числе никто не знает, а есть ли фрактал, который возьмет, да полностью и
>опишет всю эту информацию, без потерь. И нет ни у кого никаких идей как
>узнать это. Ждут квантовый компьютер. Современные компьютеры (любой
>мощности) для этих целей не годятся.

Вы путаетие вычисления с теоретическим анализом. Для теоретического анализа квантовый компьютер не нужен. Да и не для всяких вычислений квантовый компьютер сгодится.





От K
К Игорь (25.04.2013 15:46:46)
Дата 25.04.2013 18:26:43

Нет, нет и еще раз нет

> Для любых представлений данных высчитывается теоретический предел
> упаковки при наличии конкретного интерпретатора. Только надо заранее
> уточнять - данные какого рода будут паковаться.
>
> Вы путаетие вычисления с теоретическим анализом. Для теоретического
> анализа квантовый компьютер не нужен. Да и не для всяких вычислений
> квантовый компьютер сгодится.

1. что такое алгоритм Шеннона.

Если вы передаете сообщения используя три буквы А,Б,В, при этом буква А чаще
используется, чем буквы Б и В, то А лучше передавать как одиночный бит 0, а
Б как два бита 10, В как биты 11. Зашифрованное таким образом сообщение и
будет иметь <наименьшую длину>, <теоретический придел сжатия>. Все остальные
алгоритмы сжатия основаны на этой же идее - часто встречаемые буквы и
сочетания букв кодировать коротким набором битов, а редко встречающееся.-
более длинным набором битов. Сама идея взята из азбуки Морзе, там разные
буквы кодируются разным количеством точек и тире, так что сама идея далеко
не нова, она старее Капитала

Говорит ли это о пределе сжатия вообще? Нет, конечно, это теоретический
предел сжатия для этих конкретных алгоритмов, не более того, и его научились
достигать. Если в тексте перебрать все наборы всех слов, не обязательно
идущих подряд, а разнесенных по тексту (чем-то подобным и занимается
алгоритм на основе фракталов), то никто не знает, какая степень сжатия
возможна. Но. . . все переборы втыкаются в количество переборов, во время
работы алгоритма. Скажем, ваш коротенький ответ в 1 килобайт потребует 2 в
степени 8*1024 переборов, или в десятичной системе это больше 10 в степени
800. Всей времени жизни вселенной не хватит на решение подобной задачки для
любой ЭВМ.

Так что <теоретически оптимальное кодирование> невозможно, никак. Как и
никто не знает, где сколько информации на самом деле.

2. главное свинство вселенной

Вселенная живет законами, и при этом не сложными, что и удивляло Эйнштейна.
А теперь представьте себе (пример как физику), что Вы решили передать
морзянкой результаты наблюдений Тихо Браге, вам потребуются не дни, и даже
не недели, а месяцы и годы. Но используя законы Кеплера все те же наблюдения
можно было передать в нескольких строчках кода, за минуты. По строчке на
планету - несколько координат и время. Все остальное выводится из законов
Кеплера. Так сколько на самом деле информации о положении планет в
наблюдениях Тихо Браге? Принцип максимального сжатия тут столь же применим,
как и принцип максимальной полезности в Экономикс, никто не знает сколько
это конкретно, никто. Сегодня мы считаем, что окрестности нашей звезды
впуклые (по Эйнштейну), а завтра выяснится, что они немножко выпуклее, и
тогда отношение к законам Кеплера резко изменится, а информационная ценность
наблюдений Тихо Браге возрастет на порядки.

Что можно сказать о геноме? А черт его знает сколько там информации. Скорее
всего очень много. Учитывая, что это не просто <абстрактная информация>, а
некие ключи к биохимическим процессам, то конечно полезной информации может
оказать еще на порядки больше.
От Игорь
К K (25.04.2013 18:26:43)
Дата 01.05.2013 00:48:17

Re: Нет, нет...

>> Для любых представлений данных высчитывается теоретический предел
>> упаковки при наличии конкретного интерпретатора. Только надо заранее
>> уточнять - данные какого рода будут паковаться.
>>
>> Вы путаетие вычисления с теоретическим анализом. Для теоретического
>> анализа квантовый компьютер не нужен. Да и не для всяких вычислений
>> квантовый компьютер сгодится.
>
>1. что такое алгоритм Шеннона.

>Если вы передаете сообщения используя три буквы А,Б,В, при этом буква А чаще
>используется, чем буквы Б и В, то А лучше передавать как одиночный бит 0, а
>Б как два бита 10, В как биты 11. Зашифрованное таким образом сообщение и
>будет иметь <наименьшую длину>, <теоретический придел сжатия>. Все остальные
>алгоритмы сжатия основаны на этой же идее - часто встречаемые буквы и
>сочетания букв кодировать коротким набором битов, а редко встречающееся.-
>более длинным набором битов. Сама идея взята из азбуки Морзе, там разные
>буквы кодируются разным количеством точек и тире, так что сама идея далеко
>не нова, она старее Капитала

Спасибо, а то я не знал. Как-то лет 10 назад писал такую программу сжатия.

>Говорит ли это о пределе сжатия вообще? Нет, конечно, это теоретический
>предел сжатия для этих конкретных алгоритмов, не более того, и его научились
>достигать. Если в тексте перебрать все наборы всех слов, не обязательно
>идущих подряд, а разнесенных по тексту (чем-то подобным и занимается
>алгоритм на основе фракталов), то никто не знает, какая степень сжатия
>возможна. Но. . . все переборы втыкаются в количество переборов, во время
>работы алгоритма. Скажем, ваш коротенький ответ в 1 килобайт потребует 2 в
>степени 8*1024 переборов, или в десятичной системе это больше 10 в степени
>800. Всей времени жизни вселенной не хватит на решение подобной задачки для
>любой ЭВМ.

Предел сжатия для цифровой информации существует и зависит от типа это информации. "Генетический" код генетиками постуируется как обычный цифровой код с четверичным основанием. Соотвественно белки там кодируются в 1,5% "генома" без всякого алгоритма сжатия, а в оставшихся 98,5% полно всяких и разных повторяющихся поседовательностей, что допускает сжатие этой информации посредством обычных компьютерных программ архтвации в 8-10 раз. Впрочем, Вы можете и дальше продолжать утверждать, что последовательность типа "аааааааааааааа..." содержит море информации, что впрочем вскроет только Ваше невежество.

>Так что <теоретически оптимальное кодирование> невозможно, никак. Как и
>никто не знает, где сколько информации на самом деле.

Это если информации не давать никакое определение. Тогда да. Но по генетическому коду генетики утверждают, и не без точных экспериментальных оснований, что это обычный цифровой код, не более того. И соотвественно к нему применимы все наработки информационной математики.

>2. главное свинство вселенной

>Вселенная живет законами, и при этом не сложными, что и удивляло Эйнштейна.
>А теперь представьте себе (пример как физику), что Вы решили передать
>морзянкой результаты наблюдений Тихо Браге, вам потребуются не дни, и даже
>не недели, а месяцы и годы. Но используя законы Кеплера все те же наблюдения
>можно было передать в нескольких строчках кода, за минуты. По строчке на
>планету - несколько координат и время. Все остальное выводится из законов
>Кеплера. Так сколько на самом деле информации о положении планет в
>наблюдениях Тихо Браге? Принцип максимального сжатия тут столь же применим,
>как и принцип максимальной полезности в Экономикс, никто не знает сколько
>это конкретно, никто. Сегодня мы считаем, что окрестности нашей звезды
>впуклые (по Эйнштейну), а завтра выяснится, что они немножко выпуклее, и
>тогда отношение к законам Кеплера резко изменится, а информационная ценность
>наблюдений Тихо Браге возрастет на порядки.

Вы уже и до ценностей добрались? Ну не надо так далеко скакать.

>Что можно сказать о геноме? А черт его знает сколько там информации. Скорее
>всего очень много. Учитывая, что это не просто <абстрактная информация>, а
>некие ключи к биохимическим процессам, то конечно полезной информации может
>оказать еще на порядки больше.

Учитывать можно только то, что обосновано. Про ключи к биохимическим процессам - про это никто никогда не обосновывал ни ключи, ни сами процессы.
От K
К Игорь (01.05.2013 00:48:17)
Дата 06.05.2013 18:31:49

Re: Нет, нет...

Игорь, у Вас легкомысленное отношение к информации. Когда Вы говорите, что
информацию можно сжать, то имеете ввиду вполне конкретный примитивный
алгоритм сжатия, а насколько информацию можно сжать на самом деле не знает
никто, как никто не знает как приплюсовать к этой информации то, что ее
будет упаковывать и распаковывать И уж совсем у Вас пренебрежительное
отношение к набору <ааааааа>. А если это код к сейфу, в котором деньги
лежат? Это так же может быть код к возможности проведения биохимической
реакции, код найденный миллиардами попыток эволюции, а простым Вам он
кажется, так как Вы не понимаете алгоритма его упаковки - распаковки.

Бессмысленно говорить о емкости информации без рассмотрения алгоритма
упаковки - распаковки, но этот алгоритм полностью меняет отношение к емкости
информации, как меняется отношение к ценности ключа, если он от сейфа, где
деньги лежат.
От K
К K (25.04.2013 10:52:35)
Дата 25.04.2013 12:59:49

Небольшое добавление

>> Однако существуют математически доказанные пределы такой упаковки
>> информации.
>
> Не существуют. Как и энтропия, так и информация, выводятся из некой
> исключительно примитивной модели. Если эта модель хоть на йоту отличается,
> то все оказывается далеко не так, в том числе и прямо противоположным.
> Пример для энтропии. Предположим, что вокруг реальное физическое
> пространство с реальными физическими свойствами. Энтропии каюк. Пример для
> информации. Возьмем реальный пример, когда передается не <абстрактная
> информация>, а ключи к информации (слова человеческого языка), которые
> являются ключами к другой информации (к человеческим представлениям).
> Теория
> информации кряк. Например, в отличии от <абстрактной информации> в
> реальной
> информации в сообщении из трех слов может быть передана бездна информации,
> что в личной жизни, что в жизни целых стран и народов (<Мы начнем войну>,
> <Мы заключим мир>).

Так как здесь уже появились <очень крутые физики>, уточнение на всякий
случай, если тут появятся и <очень крутые специалисты по информации>.

Даже если определить количество информации как способность передать
максимальное число ключей, то и здесь ничего не получится. Один и тот же
набор битов для разного реального потребителя информации (человека) означает
совершенно разные ключи. Мало того, один и тот же набор битов для одного и
того же человека, но в разное время, так же может значить совершенно разное
(пример - биография Сталина).

Никто не знает на сегодня, что такое информация, существуют только частные
определения для частных целей.

Цитата - <В настоящее время не существует единого определения информации как
научного термина>.

Вывод - никто не знает сколько информации в геноме в количественном
выражении. Там ее может быть как дофига, так и не очень.
От Игорь
К K (25.04.2013 12:59:49)
Дата 25.04.2013 16:13:18

Re: Небольшое добавление


>Вывод - никто не знает сколько информации в геноме в количественном
>выражении. Там ее может быть как дофига, так и не очень.

Вы путаете информацию и ее интерпретацию. Информационная емкость генома давно известна - порядка 800 Мбайт, их пишут на компакт дисках.




От K
К Игорь (25.04.2013 16:13:18)
Дата 25.04.2013 16:25:07

Re: Небольшое добавление

>>Вывод - никто не знает сколько информации в геноме в количественном
>>выражении. Там ее может быть как дофига, так и не очень.
>
> Вы путаете информацию и ее интерпретацию. Информационная емкость генома
> давно известна - порядка 800 Мбайт, их пишут на компакт дисках.

Только если под информацией понимать, сколькими битами можно описать
однозначно геном . . . при этом далее идет куча условий, например,
существование возможности понять написанное
От А.Б.
К K (25.04.2013 10:52:35)
Дата 25.04.2013 11:35:15

Re:Как все запущено...

>Пример для энтропии. Предположим, что вокруг реальное физическое
>пространство

Так именно для такого положения дел и приходится вводить энтропию.
И каюк не энтропии - а малограмотным философам.
От K
К А.Б. (25.04.2013 11:35:15)
Дата 25.04.2013 12:35:48

Re: Re:Как все

> >Пример для энтропии. Предположим, что вокруг реальное физическое
>>пространство
>
> Так именно для такого положения дел и приходится вводить энтропию.
> И каюк не энтропии - а малограмотным философам.

Очередной полуобразованный физик? Механизм энтропии не работает в реальном
физическом пространстве, в котором, например, есть силы притяжения, или,
если хотите, закон искривления пространства.

Мне что, блин, открыть учебник физики и ткнуть Вас в написанное там? -
применять понятие энтропии к не термодинамическим системам не правомерно.
Пример - распределение молекул в поле тяготения.
От А.Б.
К K (25.04.2013 12:35:48)
Дата 25.04.2013 13:29:23

Re: Как все запущено...

>Механизм энтропии не работает в реальном
>физическом пространстве

Вы травы курнули? Что за "механизм энтропии"?!

>применять понятие энтропии к не термодинамическим системам не правомерно.

>Пример - распределение молекул в поле тяготения.

И при чем тут энтропия? Вы все про "меру неупорядоченности" вспоминаете? :)