>> Однако длина сообщения говорит, например, о том, что если в нем содержится
>> таки полезная информация - то количество этой информации весьма
>> коррелирует с длинной сообщения.
>
>Не коррелирует, никак, пока не одинаковы методы упаковки информации. У более
>продвинутых технологий методы упаковки могут отличаться даже не в разы, а на
>порядки порядков. Например, сложная биологическая система и куча песка, в
>них количество атомов одинаково, но совершенно разная их упаковка.
Методы децйствительной упаковки информации, разработанные человеком дают весьма скромные коэффициенты сжатия и доказано, что существуют пределы такой упаковки для разного рода информации.
>> Однако существуют математически доказанные пределы такой упаковки
>> информации.
>
>Не существуют. Как и энтропия, так и информация, выводятся из некой
>исключительно примитивной модели. Если эта модель хоть на йоту отличается,
>то все оказывается далеко не так, в том числе и прямо противоположным.
>Пример для энтропии. Предположим, что вокруг реальное физическое
>пространство с реальными физическими свойствами. Энтропии каюк. Пример для
>информации. Возьмем реальный пример, когда передается не <абстрактная
>информация>, а ключи к информации (слова человеческого языка), которые
>являются ключами к другой информации (к человеческим представлениям). Теория
>информации кряк. Например, в отличии от <абстрактной информации> в реальной
>информации в сообщении из трех слов может быть передана бездна информации,
>что в личной жизни, что в жизни целых стран и народов (<Мы начнем войну>,
><Мы заключим мир>).
Вы забыли, что есть информация, а есть ее интерпретация. Так вот интерпретатор тоже содержит информацию. Я уже писал, что количество информации, заключенное в каждом слове языка равно бесконечности. Однако без интерпретатора этой инфоримации - человеческого разума - эти слова можно хранить в виде всего нескольких символов.
>>> Третий пример, при сжатии фотографий через фракталы не только
>>>достигается огромная степень сжатия по сравнению с другими методами, но и
>>>качество фотографий улучшается. Проблема во времени сжатия. Миллиарды лет
>>>бо-о-о-ольшое время
>>
>> Проблема не во времени сжатия, а в степени сжатия
>
>Ошибаетесь. При сжатии посредством фракталов с частичной потерей информации
>дело именно во времени сжатия. А каков предел сжатия не знает никто.
Для любых представлений данных высчитывается теоретический предел упаковки при наличии конкретного интерпретатора. Только надо заранее уточнять - данные какого рода будут паковаться.
>В том
>числе никто не знает, а есть ли фрактал, который возьмет, да полностью и
>опишет всю эту информацию, без потерь. И нет ни у кого никаких идей как
>узнать это. Ждут квантовый компьютер. Современные компьютеры (любой
>мощности) для этих целей не годятся.
Вы путаетие вычисления с теоретическим анализом. Для теоретического анализа квантовый компьютер не нужен. Да и не для всяких вычислений квантовый компьютер сгодится.
> Для любых представлений данных высчитывается теоретический предел
> упаковки при наличии конкретного интерпретатора. Только надо заранее
> уточнять - данные какого рода будут паковаться.
>
> Вы путаетие вычисления с теоретическим анализом. Для теоретического
> анализа квантовый компьютер не нужен. Да и не для всяких вычислений
> квантовый компьютер сгодится.
1. что такое алгоритм Шеннона.
Если вы передаете сообщения используя три буквы А,Б,В, при этом буква А чаще
используется, чем буквы Б и В, то А лучше передавать как одиночный бит 0, а
Б как два бита 10, В как биты 11. Зашифрованное таким образом сообщение и
будет иметь <наименьшую длину>, <теоретический придел сжатия>. Все остальные
алгоритмы сжатия основаны на этой же идее - часто встречаемые буквы и
сочетания букв кодировать коротким набором битов, а редко встречающееся.-
более длинным набором битов. Сама идея взята из азбуки Морзе, там разные
буквы кодируются разным количеством точек и тире, так что сама идея далеко
не нова, она старее Капитала
Говорит ли это о пределе сжатия вообще? Нет, конечно, это теоретический
предел сжатия для этих конкретных алгоритмов, не более того, и его научились
достигать. Если в тексте перебрать все наборы всех слов, не обязательно
идущих подряд, а разнесенных по тексту (чем-то подобным и занимается
алгоритм на основе фракталов), то никто не знает, какая степень сжатия
возможна. Но. . . все переборы втыкаются в количество переборов, во время
работы алгоритма. Скажем, ваш коротенький ответ в 1 килобайт потребует 2 в
степени 8*1024 переборов, или в десятичной системе это больше 10 в степени
800. Всей времени жизни вселенной не хватит на решение подобной задачки для
любой ЭВМ.
Так что <теоретически оптимальное кодирование> невозможно, никак. Как и
никто не знает, где сколько информации на самом деле.
2. главное свинство вселенной
Вселенная живет законами, и при этом не сложными, что и удивляло Эйнштейна.
А теперь представьте себе (пример как физику), что Вы решили передать
морзянкой результаты наблюдений Тихо Браге, вам потребуются не дни, и даже
не недели, а месяцы и годы. Но используя законы Кеплера все те же наблюдения
можно было передать в нескольких строчках кода, за минуты. По строчке на
планету - несколько координат и время. Все остальное выводится из законов
Кеплера. Так сколько на самом деле информации о положении планет в
наблюдениях Тихо Браге? Принцип максимального сжатия тут столь же применим,
как и принцип максимальной полезности в Экономикс, никто не знает сколько
это конкретно, никто. Сегодня мы считаем, что окрестности нашей звезды
впуклые (по Эйнштейну), а завтра выяснится, что они немножко выпуклее, и
тогда отношение к законам Кеплера резко изменится, а информационная ценность
наблюдений Тихо Браге возрастет на порядки.
Что можно сказать о геноме? А черт его знает сколько там информации. Скорее
всего очень много. Учитывая, что это не просто <абстрактная информация>, а
некие ключи к биохимическим процессам, то конечно полезной информации может
оказать еще на порядки больше.
>> Для любых представлений данных высчитывается теоретический предел
>> упаковки при наличии конкретного интерпретатора. Только надо заранее
>> уточнять - данные какого рода будут паковаться.
>>
>> Вы путаетие вычисления с теоретическим анализом. Для теоретического
>> анализа квантовый компьютер не нужен. Да и не для всяких вычислений
>> квантовый компьютер сгодится.
>
>1. что такое алгоритм Шеннона.
>Если вы передаете сообщения используя три буквы А,Б,В, при этом буква А чаще
>используется, чем буквы Б и В, то А лучше передавать как одиночный бит 0, а
>Б как два бита 10, В как биты 11. Зашифрованное таким образом сообщение и
>будет иметь <наименьшую длину>, <теоретический придел сжатия>. Все остальные
>алгоритмы сжатия основаны на этой же идее - часто встречаемые буквы и
>сочетания букв кодировать коротким набором битов, а редко встречающееся.-
>более длинным набором битов. Сама идея взята из азбуки Морзе, там разные
>буквы кодируются разным количеством точек и тире, так что сама идея далеко
>не нова, она старее Капитала
Спасибо, а то я не знал. Как-то лет 10 назад писал такую программу сжатия.
>Говорит ли это о пределе сжатия вообще? Нет, конечно, это теоретический
>предел сжатия для этих конкретных алгоритмов, не более того, и его научились
>достигать. Если в тексте перебрать все наборы всех слов, не обязательно
>идущих подряд, а разнесенных по тексту (чем-то подобным и занимается
>алгоритм на основе фракталов), то никто не знает, какая степень сжатия
>возможна. Но. . . все переборы втыкаются в количество переборов, во время
>работы алгоритма. Скажем, ваш коротенький ответ в 1 килобайт потребует 2 в
>степени 8*1024 переборов, или в десятичной системе это больше 10 в степени
>800. Всей времени жизни вселенной не хватит на решение подобной задачки для
>любой ЭВМ.
Предел сжатия для цифровой информации существует и зависит от типа это информации. "Генетический" код генетиками постуируется как обычный цифровой код с четверичным основанием. Соотвественно белки там кодируются в 1,5% "генома" без всякого алгоритма сжатия, а в оставшихся 98,5% полно всяких и разных повторяющихся поседовательностей, что допускает сжатие этой информации посредством обычных компьютерных программ архтвации в 8-10 раз. Впрочем, Вы можете и дальше продолжать утверждать, что последовательность типа "аааааааааааааа..." содержит море информации, что впрочем вскроет только Ваше невежество.
>Так что <теоретически оптимальное кодирование> невозможно, никак. Как и
>никто не знает, где сколько информации на самом деле.
Это если информации не давать никакое определение. Тогда да. Но по генетическому коду генетики утверждают, и не без точных экспериментальных оснований, что это обычный цифровой код, не более того. И соотвественно к нему применимы все наработки информационной математики.
>2. главное свинство вселенной
>Вселенная живет законами, и при этом не сложными, что и удивляло Эйнштейна.
>А теперь представьте себе (пример как физику), что Вы решили передать
>морзянкой результаты наблюдений Тихо Браге, вам потребуются не дни, и даже
>не недели, а месяцы и годы. Но используя законы Кеплера все те же наблюдения
>можно было передать в нескольких строчках кода, за минуты. По строчке на
>планету - несколько координат и время. Все остальное выводится из законов
>Кеплера. Так сколько на самом деле информации о положении планет в
>наблюдениях Тихо Браге? Принцип максимального сжатия тут столь же применим,
>как и принцип максимальной полезности в Экономикс, никто не знает сколько
>это конкретно, никто. Сегодня мы считаем, что окрестности нашей звезды
>впуклые (по Эйнштейну), а завтра выяснится, что они немножко выпуклее, и
>тогда отношение к законам Кеплера резко изменится, а информационная ценность
>наблюдений Тихо Браге возрастет на порядки.
Вы уже и до ценностей добрались? Ну не надо так далеко скакать.
>Что можно сказать о геноме? А черт его знает сколько там информации. Скорее
>всего очень много. Учитывая, что это не просто <абстрактная информация>, а
>некие ключи к биохимическим процессам, то конечно полезной информации может
>оказать еще на порядки больше.
Учитывать можно только то, что обосновано. Про ключи к биохимическим процессам - про это никто никогда не обосновывал ни ключи, ни сами процессы.
Игорь, у Вас легкомысленное отношение к информации. Когда Вы говорите, что
информацию можно сжать, то имеете ввиду вполне конкретный примитивный
алгоритм сжатия, а насколько информацию можно сжать на самом деле не знает
никто, как никто не знает как приплюсовать к этой информации то, что ее
будет упаковывать и распаковывать И уж совсем у Вас пренебрежительное
отношение к набору <ааааааа>. А если это код к сейфу, в котором деньги
лежат? Это так же может быть код к возможности проведения биохимической
реакции, код найденный миллиардами попыток эволюции, а простым Вам он
кажется, так как Вы не понимаете алгоритма его упаковки - распаковки.
Бессмысленно говорить о емкости информации без рассмотрения алгоритма
упаковки - распаковки, но этот алгоритм полностью меняет отношение к емкости
информации, как меняется отношение к ценности ключа, если он от сейфа, где
деньги лежат.