От Р.К.
К All
Дата 02.08.2007 01:10:15
Рубрики Прочее; Глобализация; Ссылки;

(ликбез) Интернет, скачивание файлов, видео/аудио коллекции, файлообменные сети

Планируется 3 основных сообщения.

Данное сообщение - попытка несколькими штрихами набросать обзор технологий интернета, относящихся к передаче файлов, описать состояние видео-аудио коллекций в интернете.
Для логической замкнутости материала в первом сообщении, особенно поначалу, будет широкоизвестная информация. Однако, даже если вы опытный пользователь, наверняка в этом обзоре вы почерпнёте для себя что-то полезное.

Второе сообщение - файлообменные сети, использование файлообмена.
Вторая тема на форуме не рассматривалась (в архиве ничего такого не нашёл) - знание о таком классе технологий/программ/возможностей, думаю, будет полезно или даже важно многим.

Третее сообщение - список фильмов общественно-политической тематики, которые стоит посмотреть каждому.

Ракурс изложения - потребности пользователя по скачиванию крупного файла из Интернет.

HTTP
Большинство привычных нам сетевых сервисов работают в модели "клиент-сервер". Интернет, основанный на HTTP протоколе, представляет собой один из наиболее ярких примеров. Веб-страницы являются текстовыми файлами, в которых с помощью языка HTML (язык разметки гипертекста) описывается форматирование текста (а также таблиц, графики, управляющих элементов и т.д.) на странице. Браузер пользователя через http протокол запрашивает страницы на веб-сервере (модель клиент-сервер). Но для http не завязан именно на веб-страницы, - если ссылка, по которой мы кликнули, ссылается на файл другого типа, он будет скачан с помощью http (а дальше браузер определит что с этим файлом делать, в зависимости от типа файла). До сих пор излагалось состояние Интернета лет 5-10 назад, - сейчас веб-страницы и работа с ними значительно сложнее, используется масса других технологий, таких как Flash, скрипты, Java и т.д., но давайте в первом приближении проигнорируем их существование.
Для скачивания больших файлов протокол http не удобен. Он слишком примитивен (состоит всего из нескольких команд типа "передать файл", "получить файл"), при возникновении ошибки закачку придётся повторять (современные браузеры умеют возобновлять закачку). С точки зрения задачи скачивания данных (видео, аудио, большие архивы) из интернета основным конкурентом, выступающим в той же весовой категории, для него является FTP протокол.

FTP
FTP протокол также работает в можели "клиент-сервер", содержит на порядок больше команд, позволяет использовать авторизацию (логин-пароль, передаются открытым текстом), создавать два канала скачивания (для команд и для данных), изначально предполагает, что файлов много и они расположены в дереве директорий. FTP очень древний протокол (ему лет 30-40), в нём масса недостатков, но он очень широкораспространён и в ряде случаев позволяет организовать простой файловый обмен.
К сожалению ftp позволяет организовывать лишь локальные хранилища данных - мы заходим на конкретный ftp-сервер, ищем там нужный файл, находим его (или нет), и скачиваем. Здесь можно упомянуть протокол NETBIOS для передачи данных в локальных сетях, а также упомянуть о сетевых файловых системах (подключение сетевых дисков в сетях microsoft, настоящей сетевой файловой системе NFS в Unixах). Локальные сети имеют свою специфику и здесь не рассматриваются.
Проблема нахождения ftp-сервера, на котором находятся нужные для нас файлы в общем-то решаема. Можно попробовать файловый поиск типа http://www.filesearch.ru/. Однако сайтов, в которых крупные предоставляются на скачку с использованием http, всё же значительно больше.

Как скачивать - утилиты для скачивания файлов через http и ftp
Существует очень много(десятки) всевозможных утилит, облегчающих скачивание больших файлов через протоколы http/ftp. Если не вдаваться в детали, можно выделить два основных типа таких программ.

Утилиты первого типа скачивают веб-страницы и веб-сайты. Мы получаем копию веб-сайта: такие утилиты подхватывают html страницы, рисунки, файлы, на которые есть ссылки, пытаются загружать служебные файлы; переходят по ссылкам до требуемого уровня глубины, заменяют относительные ссылки на абсолютные, проводят закачку в несколько потоков, закачивают файлы в много кусочков, автоматически повторяя закачку не скачавшегося кусочка, обладают большим количеством других полезных функций. В качестве примера приведу мою любимую Teleport Pro/Teleport Ultra. Грубо говоря мы напускаем такую программу на сайт, и через какое-то время получаем на жёстком диске полную копию сайта. В частности, если на html странице содержится список прямых (т.е. непосредственных) ссылок на фильмы, такой программой мы можем сцапать всё сразу.

Утилиты второго типа предназначены для скачивания, в первую очередь массового скачивания, именно файлов, а не сайтов/страниц. Если нужно закачать директорию по ftp, или ту же html страницу с фильмами, о которой шла речь выше, - программа типа FlashGet будет очень полезна. Закачка в несколько потоков, автодокачка в случае возникновения ошибок, ограничение канала для скачивания, планирование задач, скачивание иерархий файлов, множество других функций.

Откуда скачивать - файловые сервера
Увы, существуют две фундаментальные проблемы, препятствующие широкому распространению сайтов, содержащих коллекции крупных файлов (видео и т.д.)
Во-первых, в отличие от веб-сервера, файловый сервер (предоставляет он файлы через ftp, или http - не важно) потребляет на порядок (в порядки) большее дисковое пространство и требует значительно более толстового канала. А это ограничивает энтузиастов.

В качестве изумительного контрпримера хотелось бы указать на чудесный сайт http://multiki.arjlover.net/, предоставляющий в свободный доступ коллекцию советского кино.
http://film.arjlover.net/film/ содержит полторы тысячи (!!!) советских фильмов
http://filmiki.arjlover.net/filmiki/ содержит полтысячи (!!) советских детских фильмов
http://multiki.arjlover.net/multiki/ - более двух тысяч (!!!) советских мультфильмов.
Ну и до кучи аудио-сказки.

Другой пример - сайт http://harchikov.pp.ru/.
Здесь громадное собрание современной патриотической музыки, а также советских песен.

Второй причиной, препятствующей распространению аудио-видео-файловых сайтов являются авторские права. Тема эта сложная, обширная и я её сознательно игнорирую. В этом обзоре я веду речь исключительно о технических средствах скачивания крупных файлов.
Выложенный на http/ftp файл непосредственно указывает на владельца сайта, потому филиалы западных аудио-видео записывающих корпораций мгновенно хватают автора за жабры. Для нас эта проблема актуальна в меньшей степени. Впрочем можно вспомнить и противоположные случаи, например, закрытие магазина музыки allofmp3 ( http://www.lenta.ru/news/2007/07/03/allofmp3/), работа которого проходила полностью в соответствии с законодательством РФ, было одним из условий вступления России в ВТО. Американцы подавали иск на 1.65 триллионов (именно так, это не опечатка) против allofmp3.com ( http://www.lenta.ru/news/2007/07/03/allofmp3/).
Упомяну, что в отношении сетевых библиотек действуют те же тенденции. Большинство крупных российских сетевых библиотек, которые создавались, как проекты энтузиастов (и наполнялись также энтузиастами, бесплатно сканящими книги), сейчас изменяют режим работы.

Сайты файлообмена
Для обмена крупными файлами в интернете есть множество (многие десятки) специальных сайтов. Например rapidshare.de . Доступ на закачку данных как правило бесплатный. Доступ на скачку данных (через браузер) либо платный, зато с максимальным удобством, либо бесплатный но ограниченными возможностями. Рекомендую программу "FileUploader" (по названию мгновенно найдётся в поисковиках) - простая, бесплатная и очень удобная. В ней содержится список из нескольких десятков файлообменных сайтов. Кроме как в качестве справочника, её можно использовать по прямому назначению - быстро и эффективно загружать данные НА файлообменные сайты (выбираем файлы для загрузки, ставим гулочки у сайта(ов) на который(е) хотим загрузить эти файлы. С файлообменных сайтов загружать придётся через браузер.
Обычно сайты файлообмена используются для передачи крупного файла или выкладывания какого-то файла на публику (альтернатива - поднять у себя дома ftp-сервер/http-сервер, грамотно его настроить, чтобы враги не прокрались, - очень не тривиальная задача).

Итак, есть фундаментальные причины, препятствующие распространению сайтов с коллекциями крупных файлов (аудио-видео-архивы). Все вышеперечисленные механизмы работают в модели клиент-сервер. Альтернативой является использование файлообменных сетей. Об этом в следующем сообщении.

От IGA
К Р.К. (02.08.2007 01:10:15)
Дата 31.08.2007 01:17:07

wikipedia

http://www.computerra.ru/print/think/kiwi/330354/
<<<
Танцуют все!

Киви Берд
Опубликовано 28 августа 2007 года

В стародавние времена, когда совсем еще юная, но стремительно набиравшая мощь корпорация Microsoft прикупила мультимедиа-энциклопедию Encarta, кому-то пришло в голову сравнить содержимое статей при новых и старых хозяевах издания. Кропотливый анализ не выявил в текстах никаких различий за исключением одного-единственного - в статье, посвященной человеку по имени Билл Гейтс. Что там главе и основателю Microsoft подлакировали, теперь уже не суть важно - дело это прошлое и, в общем-то, малоинтересное. Гораздо важнее сам прецедент, демонстрирующий обостренную чувствительность людей и компаний к своему образу, рисуемому средствами массовой информации.

Ныне, как известно, чуть ли не главным справочником для подавляющего большинства обитателей Интернета стала Wikipedia. И было бы странно, если б корпорации, организации и разного рода деятели-индивидуалы не стремились приукрасить собственный образ и очернить противников на страницах народной энциклопедии, "редактировать которую может любой". То, что это происходило всегда и будет продолжаться впредь, сомнений не вызывает. Но вот каковы масштабы умышленного искажения информации в популярнейшей энциклопедии, оценить было невозможно. До последнего времени, во всяком случае.

Теперь же в Сети появился любопытный общедоступный инструмент под названием "Википедия-сканер", позволяющий отслеживать происхождение тех или иных правок в энциклопедии. Автор проекта, аспирант университета Caltech Верджил Гриффит (Virgil Griffith) открыл доступ к своей поисковой программе в середине августа. В окошках запроса достаточно ввести название корпорации, организации или правительственного ведомства - и в ответ выдается список IP-адресов, принадлежащих данной конторе. Еще один-два клика мышкой - и на экране появляется список всех анонимных правок, сделанных на страницах Википедии при помощи компьютеров с этими IP-адресами.

Все, кто хотя бы поверхностно знаком с механикой работы Википедии и сетевых сервисов типа Whois, понимают, что поисковый инструмент Гриффита работает с общедоступной информацией, а главное его достоинство - в удачной реорганизации этих данных и наглядном выделении значимых деталей. Первые же эксперименты с Вики-сканером принесли множество пикантных подробностей об интенсивной закулисной возне с переписыванием страниц энциклопедии множеством солиднейших фирм вроде ExxonMobil, Wal-Mart, Sony, Disney или Pepsi; государственных спецслужб типа ЦРУ или ФБР; штаб-квартир ведущих политических партий и даже мини-государств в лице Ватикана.

В подавляющем большинстве анонимных правок, как и следовало ожидать, удалялись компрометирующие факты и сглаживалась критика. Так, некто из компании Pepsi удалил в статье, посвященной корпорации, несколько абзацев о негативном воздействии пепси-колы на здоровье. Другой безымянный доброжелатель из Diebold, производящей электронные машины голосования, убрал абзац о том, что глава этой фирмы спонсировал предвыборную кампанию президента Буша. С одного из компьютеров нефтяного гиганта ExxonMobil пытались подправить информацию об ущербе от экологической катастрофы на Аляске, вызванной разливом нефти с потерпевшего аварию танкера Exxon Valdez. Доброхот из штаб-квартиры республиканской партии США методично прошелся по статьям о войне в Ираке, заменяя словосочетание "оккупационная армия" на "освободительная армия". Компьютер сети Ватикана использовался для того, чтобы удалить информацию о фактах, связывающих лидера ирландской партии Sinn Fein Джерри Эдамса с двойным убийством десятилетней давности. Ну и много-много прочих примеров в подобном духе, свидетельствующих о напряженной информационной войне, в которую ныне вовлечены чуть ли не все структуры, так или иначе представленные в Интернете.

Правки другого рода, выявляемые Вики-сканером, больше всего похожи на хулиганство. Такого "добра" в Интернете всегда хватало, однако то, что действия хулиганов могут исходить из сетей почтенных информационных служб и редакций вроде Би-Би-Си, Рейтер, Нью-Йорк Таймс или Вашингтон Пост, стало откровением. Так, с компьютера службы Би-Би-Си была внесена правка в статью о недавнем премьер-министре Великобритании Тони Блэре, где прежние причины его проблем с сердцем - "крепкий кофе и чрезмерно интенсивные занятия спортом" - были заменены на "водку и перенапряжение сил в спальне". С другого компьютера той же сети BBC поменяли имя президента США Джорджа У. Буша с Уокер (Walker) на Уэнкер (wanker - идиот). Статья Википедии о Джордже Буше словно магнит притягивает и сотрудников New York Times - одна из правок с компьютера редакции содержала слово "jerk" (ничтожество) двенадцать раз. Другая солидная газета, Washington Post, в неуважении к верховной власти вроде бы не замечена, зато "наследила" по мелочам - например, имя редактора газеты-конкурента Washington Examiner Филипа Аншутца (Philip Anschutz) заменено на имя маньяка-убийцы Чарльза Мэнсона.

Короче говоря, появление легкодоступных инструментов типа Вики-сканера позволяет отслеживать роль конкретных фирм и организаций в распространении дезинформации или, выражаясь мягче, в попытках навязывания публике необъективной картины. Глава проекта Wikipedia Джим Уэлс высоко оценил достоинства нового инструмента, назвав его "очень умной идеей", и сообщил, что в энциклопедии намерены учесть особенности этой технологии. В ближайшем будущем, возможно, когда всякий желающий захочет внести правку в статью Википедии с компьютера на рабочем месте, в ответ будет получено предупреждение типа "Привет, спасибо за редактуру. Мы видим, что вы (к примеру) из Pepsi, имейте в виду - это общедоступная информация".

- Из журнала "Компьютерра"
<<<
От Almar
К IGA (31.08.2007 01:17:07)
Дата 31.08.2007 11:26:22

Re: wikipedia

>Теперь же в Сети появился любопытный общедоступный инструмент под названием "Википедия-сканер", позволяющий отслеживать происхождение тех или иных правок в энциклопедии. Автор проекта, аспирант университета Caltech Верджил Гриффит (Virgil Griffith) открыл доступ к своей поисковой программе в середине августа. В окошках запроса достаточно ввести название корпорации, организации или правительственного ведомства - и в ответ выдается список IP-адресов, принадлежащих данной конторе. Еще один-два клика мышкой - и на экране появляется список всех анонимных правок, сделанных на страницах Википедии при помощи компьютеров с этими IP-адресами.

в принципе дело конечно интересное. Однако ничего революционного в этом нет. Идеология википедии изначально построена на том, что можно быстро отследить как историю всех правок данной статьи, так и историю работы (вклада) данного конкретного участника (по всем статьям).
Агрегация по IP адресам может принести пользу лишь в ограниченных случаях, как например с корпорациями. Но то, что "каждый кулик свое болото хвалит" это в общем то факт банальный.



От Р.К.
К Р.К. (02.08.2007 01:10:15)
Дата 31.08.2007 19:02:55

(Файлообменные сети) нудное вступление.

О терминологии.
Цитата из Википедии ( http://ru.wikipedia.org/wiki/P2P ):
Одноранговые, децентрализованные или пиринговые (от англ. peer-to-peer, P2P — один на один, с глазу на глаз) сети — это компьютерные сети, основанные на равноправии участников. В таких сетях отсутствуют выделенные серверы, а каждый узел (peer) является как клиентом, так и сервером. В отличие от архитектуры клиент-сервер, такая организация позволяет сохранять работоспособность сети при любом количестве и любом сочетании доступных узлов.

Комбинация децентрализованной сети и модели "клиент-сервер" порождает "гибридную сеть":
Цитата из Википедии ( http://ru.wikipedia.org/wiki/P2P )
Частично децентрализованные (гибридные) сети
Помимо чистых P2P-сетей, существуют так называемые гибридные сети, в которых существуют сервера, используемые для координации работы, поиска или предоставления информации о существующих машинах сети и их статусе (on-line, off-line и т.д.). Гибридные сети сочетают скорость централизованных сетей и надёжность децентрализованных благодаря гибридным схемам с независимыми индексационными серверами, синхронизирующими информацию между собой. При выходе из строя одного или нескольких серверов, сеть продолжает функционировать.

Следует отметить, что возможность взаимодействия узлов сети одного уровня друг с другом напрямую мягко говоря не нова. В чистом виде децентрализованные сети встречаются редко, однако то же можно сказать и про модель клиент-сервер. Как правило, в современных распределённых сетях и сервисах используется комбинация этих подходов, в качестве примера можно привести протокол ICQ, где серверы необходимы для работы, однако участники сети ICQ могут устанавливать между собой соединения напрямую. Сам Интернет, в котором в пределах локальной сети узлы могут обращаться друг к другу напрямую, но для соединения разных сетей друг с другом нужны серверы-маршрутизаторы, в каком-то смысле можно рассматривать как гибридную сеть. С другой стороны - чем прочие сетевые устройства, такие как коммутаторы и концентраторы, хуже чем маршрутизаторы?

Не будем вдаваться в терминологические изыскания, и обратимся к децентрализованным сетям по передаче файлов, где различие между подходами "клиент-сервер" и "peer-to-peer" отчётливо.
Архитектура client-server, о которой шла речь в предыдущем сообщении, обладает рядом недостатков, например:
  • сервер стоит денег, его обслуживание также стоит денег, как и электроэнергия, занимаемое место и т.д. В случае бесплатного сервиса - это значительно уменьшает энтузиазм автора. В случае платного - платить приходится клиентам.
  • при возрастании числа клиентов даже высокопроизводительный сервер перестаёт справляться с возросшей нагрузкой. При увеличении числа серверов возникают проблемы организации их совместной работы. Существует множество методов решения этих проблем, однако в ряде случаев загрузка изменяется в широких пределах, и такая централизованная сеть не справляется со своими задачами. Я помню много новостей в духе того, что сервис, обеспечивающий интернет-трансляцию чемпионата мира перестал функционировать из-за вала обращений.
  • из-за постоянного роста возможностей персональных компьютеров, для всё большего числа задач теряется необходимость выделения специального мощного сервера. Из-за постоянного роста пропускной способности каналов, и падения стоимости передачи данных, задача обмена крупными файлами стала актуальной для многих пользователей.

    Во многом благодаря последнему обстоятельству децентрализованные файлообменные сети в последнее бурно развиваться. Не меньшее значение сыграла возможность бесплатно обмениваться аудио/видео файлами. Как отмечалось в первой части статьи публичные http или ftp коллекции фильмов или музыки становятся объектом атаки со стороны 'правообладателей', автор сайта легко определяется. 'Пираты' имеют свои источники распространения, а вот для людей, не ищущих коммерческой выгоды от обмена данными, это обстоятельство становится непреодолимым препятствием на пути к созданию собственного сервера.
    От Р.К.
    К Р.К. (31.08.2007 19:02:55)
    Дата 31.08.2007 19:07:59

    (Файлообменные сети)Легальность и этичность файлообмена и 'пиратской' продукции


    Перед тем, как перейти к детальному рассмотрению файлообменных сетей, вероятно, стоит формально предупредить.

    С одной стороны многие миллионы пользователей файлообменных сетей со всего мира используют их в основном для копирования фильмов, музыки и дистрибутивов программ. С другой стороны наличие таких сетей переломило баланс щита и меча в сфере борьбы с распространением 'сомнительных' с точки зрения права файлов. На этом фронте 'корпорации' и/или 'правообладатели' потерпели сокрушительное поражение от 'пользователей' и/или 'пиратов'. Поэтому на теме легальности и этичности файлообмена придётся остановиться - эта особенность является одной из ключевых и проигнорировать её нельзя.

    Использование нелицензионного программного обеспечения, нарушение авторских прав - это всё не очень хорошо вообще, а в последнее время всё более нехорошо с точки зрения российского законодательства. Однако сама по себе технология файлообмена не запрещена даже в штатах. Данная статья исключительно в познавательных и образовательных целях рассказывает об перспективной технологии и различных методах её реализации. Рассмотрен смежный вопрос о защите авторских прав (для более глубокого анализа следует отдельно права на программные продукты, права на аудио-видео продукцию, права на книги и правовые аспекты функционирования файлообменных сетей).

    Цитата из wikipedii об отношении к авторским правам:
    http://ru.wikipedia.org/wiki/%D0%90%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%BE%D0%B5_%D0%BF%D1%80%D0%B0%D0%B2%D0%BE

    По отношению к имущественным и неимущественным авторским правам можно выделить четыре последовательных позиции, которые разделяются той или иной группой людей.
    1. Полное признание имущественных прав автора. Именно этой позиции соответствует современное законодательство об авторском праве, в том числе и российское.
    2. Полное признание имущественных прав автора, но со свободным использованием произведений, если автор это явно не запрещает. Такой подход типичен для российских электронных библиотек — произведения выкладываются на сайты без ограничений, но немедленно убираются, если автор потребует этого.
    3. Признание за автором только неимущественных авторских прав. Такая ситуация сложилась в движении свободного программного обеспечения. Эта идеология является господствующей и основообразующей в Википедии[источник?] (хотя и не все авторы Википедии её разделяют).
    4. Отрицание и имущественных и неимущественных авторских прав. Приверженцы этой позиции видят в плагиате легитимный протест против культурного истеблишмента и авторитетов. Такую позицию декларировало, например, движение ситуационистов."


    Легальность
    Де-юре как нелицензионный Windows или WinRar, так и скачанный фильм в России - теоретически может стать предметом судебного рассмотрения. Де-факто такие дела возбуждаются практически исключительно только против организаций и/или их системных администраторов (ситуации с хакерством, электронным мошенничеством, а также 'разжиганием' и 'возбуждением' я не рассматриваю). В общем и целом борьба носит достаточно показной характер. Москвичи могут сходить в магазин Библио-Глобус - на выходе из метро и по дороге (50 метров) к магазину на Лубянской площади, прямо напротив здания ФСБ стоит постоянный лоток, на котором очень большой выбор DVD с фильмами за 100 рублей. Лучшей иллюстрации на тему борьбы с пиратством в России придумать сложно.

    Этичность
    По поводу этичности использования вышеперечисленных сомнительных данных моё мнение следующее.
    Фанатичные лозунги "Information must be free" явно неразумны для общества в целом. Программисты тоже люди, им надо есть 3 раза в день. Финансирование программных проектов за счёт вспомогательных видов деятельности (корпоративные лицензии с поддержкой), обучение и т.д. - работают далеко не для всех видов программного обеспечения.

    Однако на противоположной стороне разумности не больше. Этот тезис далее будет рассмотрен подробно.
    Ассоциации типа RIAA, являющиеся проводником интересов американских аудио-видео-записывающих корпораций преследуют лишь свои собственные интересы. Развязанная ими агрессивная травля и пропаганда ведётся с нарушением элементарного здравого смысла. В частности постоянно подчёркивается, что "копирование" - это воровство. Это одно из главнейших направлений манипулятивной пропаганды, активно ведущейся корпорациями.

    Во-первых, при воровстве вор становится обладателем объекта, а бывший владелец теряет объект. В случае с электронными данными создаётся копия объекта. Очевидно потери и ущерб бывшего владельца принципиально разный, в силу фундаментально разной природы вещей и электронных данных.

    Во-вторых, постоянно подчёркивая, что копирование 'чужих' фильмов и музыки есть обычное 'воровство', и игнорирую принципиально разную природу вещей и цифровых данных/программ, 'правообладатели' мягко говоря неискренни, а грубо говоря беспардонно лгут.

    Достаточно вчитаться в "лицензионные соглашения", заключаемые при установке программного обеспечения, такого как OC Windows. Налагаемые на пользователя ограничения по использованию купленного им объекта совершенно беспрецедентны. 'Правообладатели' отказываются от ответственности за какой-либо ущерб, могущий быть причинённым купленным объектом. Сама возможность причинения такого ущерба вполне реальна, например, служба "управление дисками" из "управления компьютером" Windows на моих глазах как-то испортила расширенный раздел жёсткого диска, содержащий несколько логических дисков с массой важной информации.
    Вместе с признанием возможности нанесения вреда пользователю купленным пользователем объектом и отказом от ответственности за вред, лицензии запрещают дизассемблирование (анализ кода) программы. То есть запрещаются попытки разобраться в работе купленного объекта, например для того, чтобы попытаться оценить его опасность, или для того, чтобы уменьшить опасность(риски) использования. Нелишне напомнить, что, вероятно, небезосновательно во многих странах мира, те же операционные системы Windows запрещено использовать в спецслужбах и военных ведомствах.
    Лицензии нередко налагают жёсткие ограничения на возможность использования программ, запрещая создавать (для себя) более 1 резервной копии, или запрещая передавать/продавать/отдавать в использование программу третьим лицам.

    Многие требования в лицензионных соглашениях к программному обеспечению вызваны объективной необходимостью, это отдельный вопрос - но я критикую не практику лицензионных соглашений как таковую, а именно лживость пропаганды, развёрнутой корпорациями.

    Консенсус по трактовке убийства, воровства вырабатывался веками и тысячелетиями, представители различнейших культур и цивилизаций пришли к похожим в общим и целом выводам. Ответ на вопрос "что такое хорошо и что такое плохо" давался в разные времена и в разных местах, и в своей основе был одинаковый. Если термин "общечеловеческие ценности" где-то и применим, то, пожалуй, именно по отношению общества к основным правонарушениям.
    Однако существование цифровых технологий заняло лишь долю мгновения на фоне всей истории человечества. Никакой речи о консенсусе, выработанном сотнями поколениями здесь и речи быть не может - с этим фундаментально новым явлением сталкивается лишь второе поколение людей. Никакой 'естественной' или 'общечеловеческой' морали в этом вопросе нет.
    Более того, говорить о каком-то общественном мнении по данным вопросам также не приходится, хотя бы потому, что подавляющее большинство людей, вообще не в курсе особенностей этой проблемы.

    На юридическом фронте аудио-видео записывающие корпорации и отдельные корпоративные монстры типа Microsoft ведут постоянную атаку ради увеличения своих прибылей. Так ими оспаривалась правомочность самого существования таких устройств, как видеомагнитофон.
    К счастью эту атаку корпораций удалось отразить. Решением Верховного Суда США было признано, что технологии копирования данных по своей природе не являются нелегальными в случае если существует значительная возможность использования их для легального копирования. Этот решение напрямую влияет на признание легальности файлообменных сетей. ("Цитата по wikipedia: Under US law "the Betamax decision" (Sony Corp. of America v. Universal City Studios, Inc.), case holds that copying "technologies" are not inherently illegal, if substantial non-infringing use can be made of them. This decision, predating the widespread use of the Internet applies to most data networks, including peer-to-peer networks, since legal distribution of some files can be performed." см http://en.wikipedia.org/wiki/Sony_Corp._of_America_v._Universal_City_Studios%2C_Inc. )

    Мощь корпораций позволяет диктовать им свою волю всему миру. Например одним из главных условий США для нашей страны (согласие США является заключительной стадией вступления в ВТО) был запрет российских магазинов по продаже музыки, работающих в полном соответствии с российским законодательством. Величина иска звукозаписывающих корпораций к российскому сайту allofmp3.com составила 1.65 триллиона (триллиона) долларов:
    "Сумма иска к AllOfMP3.com составила 1,65 триллиона долларов" http://www.lenta.ru/news/2006/12/22/allofmp3/
    "AllOfMP3.com по-тихому прекратил работу" http://www.lenta.ru/articles/2007/07/03/allofmp3/
    "Московский суд оправдал бывшего владельца AllOfMP3" http://www.lenta.ru/articles/2007/08/15/notguilty/

    Формальные юридические законы в этой области нередко вступают в противоречие не то, что с общественным интересом, а с элементарным здравым смыслом.

    В начале 90х за гроши в америку уплыли фонды Союзмультфильмы - около полутысячи советских мультфильмов, таких как "Маугли", "Аленький цветочек", "Чебурашка", "Ёжик в тумане". Права на них России больше не принадлежат.
    http://www.rg.ru/Anons/arc_2003/0527/11.shtm

    Корпорация Микрософт в своей борьбе с нелицензионным программным обеспечением грешит преследованием организаций, обратившихся в Микрософт для того, чтобы легализовать свои программные продукты.
    http://www.cnews.ru/news/top/index.shtml?2007/08/24/263711

    Против крупнейшей российской бесплатной интернет-библиотеки www.lib.ru развернул травлю сайт KM.ru (платная библиотека широко известная 'в узких кругах' своим стремлением продавать результаты чужого труда, в том числе размещая по платной подписке материал взятый из 'пиратских' источников).
    http://cnews.ru/news/top/index.shtml?2005/12/19/193482
    Более детально, есть отдельные нецензурные выражения: http://lj.rossia.org/~tiphareth/2004/04/04/

    Длительность срока действия авторского права в 20 веке (по окончанию этого срока произведения становится общественным достоянием) постоянно удлинялась. Также постоянно расширяется область применимости патентного и авторского права.

    (отдельная тема)
    Очень опасную тенденцию представляет стремление корпораций получить права на сорта сельскохозяйственной продукции и породы животных(нередко используя труд многих поколений селекционеров).
    В этой сфере ситуация угрожающая - генномодифицированные сорта становятся всё более и более распространёнными. Мелкие производители и национальные государства потенциально становятся заложниками прав корпораций.

    Следует отметить следующее очень важное обстоятельство. В пропаганде, ведущейся корпорациями, неявно пользователи (или пираты) противопоставляются 'авторам' (музыки, видео или программного обеспечения). На самом деле в этом конфликте не два, а четыре участника. Авторы - создатели продукта; транснациональные корпорации, занимающиеся продажей продукта; пользователи (общество) и государства с национальными юридическими системами. Подавляющая часть прибыли достаётся корпорациям (владельцам прав), и именно они являются нападающей стороной. Национальные государства всё меньше способны сохранять свой суверенитет и постепенно меняют своё законодательство. Пользователи 'голосуют ногами' и, в условиях, когда копирование цифровой продукции технически тривиально, идут к пиратам или используют файлообмен для доступа к нелицензионной продукции.

    Итак, как уже отмечалось выше, даже по американским законам сама технология файлообменных сетей легальна. Это лишь инструмент обмена данными. Именно в таком, технологическом аспекте и пойдёт дальнейшее описание.

    От Р.К.
    К Р.К. (02.08.2007 01:10:15)
    Дата 20.08.2007 22:40:59

    Сайты для размещения потокового видео: youtube, rutube. Сохранение файлов.

    В последнее время на веб-страницах всё чаще и чаще можно встретить видеоклипы. Эти клипы размещаются на специальном сайте, при активации клипа он незаметно скачивается на данную веб-страницу и запускается. Такие клипы хранятся в формате потокового видео (*.flv), что позволяет смотреть их в реальном времени.

    Например:
    http://militaryvideo.ru/index.php?ind=news&op=news_show_single&ide=58
    или
    http://militaryvideo.ru/index.php?ind=news&op=news_show_category&idc=2&st=20

    Справка:
    "Потоковым видео (Streaming Video) называют технологии сжатия и буферизации данных, которые позволяют передавать видео в реальном времени через Интернет.
    С увеличением числа видеопотоков, передаваемых по скоростным каналам, быстро меняется лицо Сети. Раньше все было простенько, Web состоял исключительно из текстов и неподвижного изображения, никто никуда не двигался, никто ниоткуда не «выпрыгивал». Но сейчас каждый из кожи вон лезет, чтобы привлечь внимание пользователя. Широковещательные передачи новостей, спортивные репортажи и развлекательные программы (те, в которых можно «вживую» понаблюдать за происходящим) приобретают все более серьезный размах. Потоки текущей финансовой информации направляются онлайновым биржевым брокерам. Новейшие технологии уже проникли и в сферу образования, и учащиеся из разных уголков мира «собираются» в виртуальных классах для просмотра заранее подготовленной лекции и «живого» общения. Из самых различных компаний по каналам Интернет и корпоративным интрасетям исходят потоки рекламы, служебной информации, презентаций и обучающих фильмов. Потоковую информацию можно найти и на узлах таких сообществ, как AOL и MindSpring, и в порталах, таких как Yahoo! и ZDNet. Действительно, показ фильма — прекрасный способ привлечь и удержать внимание пользователя (то есть, нас — посетителей), да и предприятию тоже выгодно — экономит на обслуживании."
    http://www.ci.ru/inform01_05/p_24.htm

    Самый известный сайт, позволяющий хранить/отображать потоковые видеоклипы - youtube.com
    Подробнее можно прочитать здесь: http://ru.wikipedia.org/wiki/Youtube

    Недостаток сервиса такого типа является обратной стороной его преимущества - клип удобно просматривать, но у вас не остаётся самого файла. Нередко возникает желание сохранить файл клипа локально.

    Есть несколько способов сохранить клип.
    "1. Вручную -) Как это делается? Делается это вот так: смотрим ролик, дожидаемся, пока он полностью загрузится, нажимаем на паузу и идем в папочку Temporary Internet Files. Находится она тут: C:\Documents and Settings\Ваше_Имя\Local Settings\ Если ее там нет, идем в Панель управления\Свойства папки>Вид>Показывать скрытые файлы и папки (ставим галочку) и теперь она там точно есть Далее упорядочиваем в ней (папочке) файлы по размеру, прокручиваем в самый конец и находим там нужный нам ролик. Название файла примерно такое: get_video?video_id=2ZmmQ-PuKEw. Переносим его на рабочий стол, добавляем к имени расширение .flv и если у вас установлены последние кодеки, скажем k-lite, с успехом проигрываем при помощи стандартных проигрывателей. Если же возникли траблы, вам может понадобися flv-плеер. Если формат файла вас смущает, существуют конвертеры этих flv файлов в более привычные форматы (скажем mov, avi или mpg).

    2. Закачка файлов при помощи специальных сервисов. Их много! Но работают они все по одному принципу. Рассмотрим только этот. Вбиваем ссылку на видео с YouTube, выбираем справа Youtube и жмем DOWNLOAD. Ниже появится DOWNLOAD LINK. Тыкаем туда, выбираем куда сохранить, добавляем к файлу .flv и радуемся жизни.

    3. Специальный софт, которого тоже предостаточно. Мы выбираем VideoGet.v1.0. Собственно, это самый простой способ получить видео. Запускаем прогу, жмём + (Add link to download) и сразу конвертируем (если надо): ставим галочку Convert, выбираем формат файла (Output format) и тыкаем в стрелочку (Download all). Уже отконвертированный файл сохранится в Output folder (пропишите туда свой путь, скажем рабочий стол).

    А, и еще вспомнил: есть специальный сайт http://keepvid.com/ - там в строке нужно просто ввести интернет-ссылку на скачиваемый файл, и он выдаст ссылки в разных форматах - на выбор для скачивания. Этот сайт позволяет скачивать не только с YouTube, но и c Google например."
    ( скопировано с http://www.dpni.tv/articles/pomoshh_/16/ )
    От Р.К.
    К Р.К. (20.08.2007 22:40:59)
    Дата 20.08.2007 23:40:23

    Поправка

  • Поправка к пункту 2 - адреса некоторых сайтов, позволяющих по youtube-ссылке получать ссылку для скачивания

    http://keepvid.com/
    http://www.skachivai.ru/
    http://javimoya.com/blog/youtube.php

  • Для firefox есть специальные плагины для скачивания клипов.


  • " Компания RealNetworks сообщила, что новая версия ее цифрового музыкального плеера позволит пользователям сохранять видео с сервисов наподобие YouTube и просматривать его позже, сообщает АР.

    RealNetworks считается одним из лидеров в разработке плееров для аудио- и видеофайлов в Сети. Начиная с июня, пользователи смогут сохранять видеоклипы из интернета как на собственный ПК, так и на портативные носители.

    С запуском новой версии RealPlayer, кнопка «скачать это видео» появится на тысячах сайтов, уверяют представители компании. Пользователи также смогут скачивать несколько видеофайлов одновременно, включая файлы форматов Flash, Windows Media или QuickTime. "
    http://www.cnews.ru/news/line/index.shtml?2007/06/01/253145
    От Р.К.
    К Р.К. (02.08.2007 01:10:15)
    Дата 14.08.2007 00:23:00

    (ликбез) [Интернет], [файлообмен]. Значительно пераработано и дополнено.

    Когда я написал исходное сообщение, я предполагал, что оно будет прелюдией к основному сообщению, раскрывающему тему принципов работы и использования файлообменных сетей. Однако, с одной стороны, я почувствовал, что сделал фальстарт, опубликовав сыроватый текст, с другой стороны, материал оказался полезным многим посетителям форума. Поэтому я значительно переработал и дополнил сообщение про обычные методы файлообмена - объём вырос более чем в 3 раза.
    Тем, кому предыдущий текст показался интересным, вероятно, стоит обратить внимание и на нижеследующий материал.
    Я надеюсь, что к этим выходным или на них, я допишу текст про файлообменные сети. Итоговая статья будет выложена в копилку.

    +++++++++++++++++++++++++++++++++++++++++++++++

    Данное сообщение - попытка несколькими штрихами набросать обзор технологий интернета, относящихся к передаче файлов, описать состояние видео-аудио коллекций в интернете.
    Для логической замкнутости материала в первом сообщении, особенно поначалу, будет широкоизвестная информация. Однако, даже если вы опытный пользователь, наверняка в этом обзоре вы почерпнёте для себя что-то полезное.

    Ракурс изложения - потребности пользователя по скачиванию крупных файла из Интернет, а также обмену такими файлами между собой.

    +++++++++++++++++++++++++++++++++++++++++++++++
    Сетевые протоколы, модель взаимодействия 'Клиент-сервер'

    Самое примитивное определения для сетевого протокола, которое я слышал звучало примерно так: протокол - это язык, на котором компьютеры разговаривают друг с другом. Нельзя не признать, что такое "детское" определение довольно точно передаёт смысл этого понятия.
    Сетевой протокол - это набор правил, регламентирующих взаимодействие участников сетевого взаимодействия друг с другом: формат пересылаемых данных (синтаксис сообщений и их составных частей), типы сообщений, порядок следования сообщений разных типов и возможные варианты реакции участников на различные сообщения.
    Число различных телекомуникационных протоколов сейчас исчисляется сотнями. Пользовательски опосредовано (через сетевые программы) применяют протоколы для установления сетевого взаимодействия и выполнения определённых действий.

    Большинство привычных нам сетевых программ работают в модели "клиент-сервер". Специальный компьютер, он же сервер, в круглосуточном режиме поддерживает работу приложений-сервисов, которые обрабатывают запросы клиентских программ, запущенных на компьютерах пользователя. Термины "клиент"/"сервер" в зависимости от контекста относятся либо к компьютерам, либо к взаимодействующим программам, запущенным на них. Сервер специально заточен под свои задачи, обычно более производительный, он всегда доступен, это позволяет иметь сравнительно "легковесных" клиентов, задачей которых в основном будет интерпретация результатов, полученных с сервера и организация интерфейса с пользователем.
    Лишь сравнительно недавно возникла альтернатива модели "клиент-сервер", о которой пойдёт речь в этой статье.


    HTTP

    Интернет, основанный на HTTP протоколе, представляет собой один из наиболее ярких примеров. Веб-страницы являются текстовыми файлами, в которых с помощью HTML (язык разметки гипертекста) описывается форматирование текста (а также таблиц, графики, управляющих элементов и т.д.) на странице. Браузер пользователя через http протокол запрашивает страницы на веб-сервере (модель клиент-сервер). Но http работает не только с веб-страницами, - если ссылка, по которой мы кликнули, ссылается на файл другого типа, тот будет скачан с помощью http (а дальше браузер определит что с этим файлом делать, в зависимости от типа файла). До сих пор излагалось состояние Интернета лет 5-10 назад, - в наши дни веб-страницы и работа с ними значительно сложнее, используется масса других технологий, таких как Flash, скрипты, Java и т.д., но давайте в первом приближении проигнорируем их существование.

    Для скачивания больших файлов протокол http не удобен. Он слишком примитивен (состоит всего из нескольких команд типа "передать файл", "получить файл"). Неприспособленность этого протокола для передачи крупных файлов станет понятна ниже, когда будут перечисляться преимущества альтернативных методов транспорта. С точки зрения задачи скачивания данных (видео, аудио, большие архивы) из Интернет основным конкурентом, выступающим в той же весовой категории, для него является FTP протокол.

    FTP

    FTP протокол специально предназначен для передачи файлов. Он также работает в модели "клиент-сервер". FTP содержит на порядок больше команд, в частности:
  • позволяет использовать авторизацию (в форме логин-пароль) в случае если мы хотим ограничить доступ к нашему ftp ресурсу. Следует признать, что хотя HTTP сам по себе не обладает такой функциональности, но различные средства веб (html, скрипты и т.д.) позволяют запрограммировать много более гибкие и сложные разграничения по полномочиям.
  • позволяет создавать два канала скачивания (для команд и для данных).
  • в FTP есть специальные команды и для организации хранения файлов - поддерживается работа с иерархическим деревом директорий, можно визуально просматривать файлы, перемещаться по дереву директорий. HTTP позволяет загружать лишь конкретный файл, не предоставляя никаких средств для организации хранилища файлов.
  • в отличие от HTTP, этот протокол даёт возможность не только по скачиванию (download), но и по закачке файлов (upload) (утверждение о невозможности закачки через http строго говоря неверно, но в нашем приближении сгодится).

    Современные браузеры поддерживают ftp-протокол, например, достаточно кликнуть на ссылку     ftp://ftp.chg.ru/pub/ и вы оказываетесь на одном из крупнейших российских ftp-серверов, содержащем всевозможные дистрибутивы всевозможных вариантов операционных систем Linux и Unix, а также программ для них.

    Многие файловые менеджеры, такие как Total Commander, Windows Commander также поддерживают работу по ftp. Нажажимаем "WIN" - "Выполнить"/"Run", введим команду "cmd" для запуска командного интерпретатора, затем команду "ftp", мы попадаем непосредственно в ftp-клиент windows. Так можно использовать протокол FTP напрямую ("?" для списка команд и помощи, "quit" для выхода).

    Следует отметить, что FTP - очень древний протокол, он был создан более 30 лет назад. Интернет в привычной для нас форме вдвое моложе. Несовершенство протокола FTP стало очевидно давно, тем не менее, никакие альтернативные механизмы передачи данных, за исключением HTTP, не могут состязаться с FTP в распространённости. Кроме того, очень часто возможности FTP вполне удовлетворяют пользователей.

    Одним из недостатков этого протокола является замкнутость файловых хранилищ, построенных на его основе. Действительно, для того, чтобы скачать файл по FTP, мы должны предварительно узнать, что этот файл там находится, то есть, нужен поиск по FTP серверам - а в FTP даже нет средств поиска внутри данного FTP сервера. Мы заходим на конкретный ftp-сервер, ищем там нужный файл, находим его (или нет), и скачиваем. Возникает необходимость в каких-то внешних механизмах для поиска данных по ftp-серверам. Возможное решение проблемы - использование специальных сайтов, осуществляющих поиск. Например, можно попробовать файловый поиск http://www.filesearch.ru/. С исчерпывающим и лаконичным руководством по поиску файлов, находящихся на ftp-серверах, можно ознакомиться по адресу http://kainsk.tomsk.ru/g2006/journal2/inet35.htm .

    Несмотря на то, что ftp предоставляет значительно большие возможности для скачивания нельзя не признать, что сайтов, в которых крупные файлы предоставляются на скачку с использованием http, всё же значительно больше. Причина этого проста - да, ftp специально заточен под файловые хранилища, а http предоставляет лишь самые базовые и минимальные возможности. Но http является частью веб-страниц, использующих различнейшие механизмы вплоть до сложных языков веб-программирования, потенциально позволяющих запрограммировать всё, что угодно.

    Как скачивать - утилиты для скачивания файлов через http и ftp

  • При скачивании больших файлов, в частности музыки, видео, дистрибутивов программ, становится понятна одни из общих черт обоих протоколов - они не предназначены для скачивания/закачки больших файлов, а также большого количества файлов.
  • При скачивании произошла ошибка? - Придётся начать всё заново. Теоретически некоторые браузеры, такие как Internet Explorer поддерживают докачку, на практике не стоит полагаться на эту возможность.
  • А если в ходе скачивания связь рвётся постоянно, можем ли мы ожидать, что http или ftp сами будут пытаться установить соединение заново? - Нет, в случае если соединение по тем или иным причинам было разорвано, эти протоколы прекращают работу, необходимо инициировать новое соединение вручную.
  • Потребовалось временно приостановить скачивание/закачку? - Невозможно.
  • Скачивание идёт слишком долго, нам пора выключать компьютер? - В следующий раз придётся начать всё заново, скачанная часть файла будет потеряна. Если мы скачивали много файлов за раз - придётся муторно сверять, какие файлы были скачаны, а какие нет.
  • Хочется ограничить скорость скачивания? - Невозможно, никаких средств выделить канал определённой ширины в http/ftp нет, придётся терпеть, что работа с сетью тормозится из-за выполняющихся в фоне закачек.
  • Хочется регулировать скорость скачивания? Например, выставлять приоритеты для разных закачек? - Невозможно.
  • А если нам хочется ускорить процесс, скачивая сразу в несколько потоков? - Да, это возможно, но нам придётся вручную открывать несколько скачиваний одновременно без возможности балансирования трафика и числа потоков.
  • Возникает желание посмотреть лог скачиваний, увидеть какую-то статистику, хотя бы узнать скорость скачивания? - Http и ftp практически не предоставляют таких возможностей.
  • Требуется создавать задания на скачивания, нужен автоматический планировщик заданий, который будет их запускать по расписанию? - Ну-ну.

    Существует очень много(десятки) всевозможных утилит, облегчающих скачивание больших файлов через протоколы http/ftp, они решают большинство вышеперечисленных проблем, используя http или ftp как транспортные механизмы. Если не вдаваться в детали, можно выделить два основных типа таких программ.

    Утилиты первого типа скачивают веб-сайты вообще и веб-страницы в частности. Мы получаем копию веб-сайта - такие утилиты при скачивании html страницы анализируют все ссылки, содержащиеся на ней, подхватывают, рисунки, файлы, на которые ссылается эта страница, пытаются загрузить служебные файлы; затем (если это соответствует заданию пользователя) переходят по ссылкам до требуемого уровня глубины или в пределах данного сайта, заменяют относительные ссылки на абсолютные. Закачка проводится в несколько потоков, можно устанавливать режимы скачивания и ограничивать ширину канала для скачивания. При запуске такого рода утилит можно указать глубину скачивания (например, установив глубину 2, мы даём указание скачать текущую страницу, все страницы, на которую ссылается данная, и все страницы, на которые ссылаются страницы, на которые ссылается данная) и/или ограничить скачивание пределами определённого домена.

    Грубо говоря мы напускаем такую программу на сайт, и через какое-то время получаем на жёстком диске полную копию сайта. В частности, если на html странице содержится список прямых (т.е. непосредственных) ссылок на фильмы, такой программой мы можем сцапать всё сразу. Если мы скачиваем статический сайт, то в несколько кликов мы получаем его копию (что было бы практически не возможно сделать вручную даже для маленьких сайтов). В случае динамического сайта, вероятно, удалось бы скачать не всё.

    В качестве примера приведу мою любимую Teleport Pro/Teleport Ultra. Создание задания на скачивания сайта (основной форум СГКМ):
    http://img452.imageshack.us/img452/7809/teleportultra1jn2.jpg


    Идёт процесс скачивания:
    http://img338.imageshack.us/img338/1216/teleportultra2pa8.jpg



    Утилиты второго типа предназначены для скачивания, в первую очередь массового скачивания, именно файлов, а не сайтов/страниц. Если нужно закачать директорию по ftp, или ту же html страницу с фильмами, о которой шла речь выше, - программа типа FlashGet будет очень полезна. Скачиваемые файлы разбиваются на кусочки, в случае обрыва связи, или приостановки скачивания пользователем, в дальнейшем потребуется докачать лишь недостающие части (всё это происходит автоматически). Параллельно можно проводить несколько скачиваний из одного или нескольких источников, легко регулируя процесс. В случае возникновения ошибок при скачивании программа будет автоматически пытаться возобновить соединение. В пару кликов можно ограничивать канал для скачивания, нередко поддерживается планирование заданий (т.е. автоматически начать/прекратить закачивание по расписанию).

    В качестве примера могу привести Flash Get. Допустим, мне позарез понадобился дистрибутив операционной системы OpenBSD, причём в виде файлов (а не ISO-образа). Необходимые файлы можно скачать, например, с ftp://ftp.chg.ru/pub/OpenBSD/4.1/i386 . Указав эту страницу в новом задании для FlashGet, выбрав папку для скачивания, я запускаю процессв скачивания. Утилита сама обходит иерархию директорий, скачивает все файлы (параллельно скачивается определённое настройками число файлов, а каждый из файлов скачивается параллельно в нескольких потоках), отображается всевозможная статистика, тривиально можно регулировать ширину канала для скачивания, и т.д. и т.п.
    http://img522.imageshack.us/img522/8250/flashgettp6.jpg



    Откуда скачивать - файловые сервера
    Увы, существуют две фундаментальные проблемы, препятствующие широкому распространению сайтов, содержащих коллекции крупных файлов (видео и т.д.)

    Во-первых, в отличие от веб-сервера, файловый сервер (предоставляет он файлы через ftp, или http - не важно) потребляет на порядок (в порядки) большее дисковое пространство и требует значительно более толстового канала. А это ограничивает энтузиастов.

    В качестве изумительного контрпримера хотелось бы указать на чудесный сайт http://multiki.arjlover.net/, предоставляющий в свободный доступ коллекцию советского кино.
    http://film.arjlover.net/film/ содержит полторы тысячи (!!!) советских фильмов
    http://filmiki.arjlover.net/filmiki/ содержит полтысячи (!!) советских детских фильмов
    http://multiki.arjlover.net/multiki/ - более двух тысяч (!!!) советских мультфильмов.
    Ну и до кучи аудио-сказки.
    Другой пример - сайт http://harchikov.pp.ru/ .
    Здесь громадное собрание современной патриотической музыки, а также советских песен.

    Второй причиной, препятствующей распространению аудио-видео-файловых сайтов, являются авторские права. Тема эта сложная, обширная и я её сознательно игнорирую. В этом обзоре я веду речь исключительно о технических средствах скачивания крупных файлов.

    Выложенный на http/ftp файл непосредственно указывает на владельца сайта, потому филиалы западных аудио-видео записывающих корпораций мгновенно хватают автора за жабры. Для нас эта проблема актуальна в меньшей степени. Впрочем можно вспомнить и противоположные случаи, например, закрытие магазина музыки allofmp3 ( http://www.lenta.ru/news/2007/07/03/allofmp3/ ), работа которого проходила полностью в соответствии с законодательством РФ, было одним из условий вступления России в ВТО. Американцы подавали иск на 1.65 триллионов (именно так, это не опечатка) против allofmp3.com ( http://www.lenta.ru/news/2007/07/03/allofmp3/ ).

    Упомяну, что в отношении сетевых библиотек действуют те же тенденции. Большинство крупных российских сетевых библиотек, которые создавались, как проекты энтузиастов (и наполнялись также энтузиастами, бесплатно сканящими книги), сейчас изменяют режим работы. Вот пара ссылок на один из громких эпизодов:
    http://lenta.ru/articles/2004/04/07/libru/
    http://www.lenta.ru/news/2006/07/17/court/

    Сайты файлообмена

    Выше, при перечислении преимуществ FTP над HTTP, я написал, что http не позволяет закачивать файлы, но уточнил, что строго говоря это неверно. Имелось в виду следующее - http предоставляет средства как для скачивания файлов(download), так и закачки их(upload). Однако http не применяется сам по себе, это лишь транспортный механизм для веб-страниц. Организация закачки файлов на порядок более сложная, чем организация их скачивания: при закачке файлов их нужно куда-то помещать, причём должны быть средства их упорядочивать (создавать какие-то папки или что-то типа того), следует следить за размером файлов(мы же не хотим, чтобы вредный пользователь прислал нам файл, который переполнит нам диск) и правами пользователей (как правило права на чтения даются всем, права на запись - лишь некоторым). Поэтому в контексте того сравнения с точки зрения практики и было сказано, что http не позволяет закачивать(upload) файлы.

    Для обмена крупными файлами в интернете есть множество (многие десятки) специальных сайтов. Файлы на эти сайты помещаются (закачиваются) через протокол http. Самый известный из таких сайтов в России - вероятно rapidshare.de (см http://ru.wikipedia.org/wiki/Rapidshare ). У нас есть немало и своих сайтов файлообмена. Основные существенные отличия таких сайтов друг от друга - максимальный поддерживаемый размер файла, максимальная скорость закачки и бесплатного скачивания и язык интерфейса. Как правило максимальный размер файла, допускаемый сайтами файлообмена - одна-две сотни мегабайт, поэтому при необходимости выложить файл бОльшего размера или коллекцию файлов следует применять многотомную архивацию (для WinRar в левом нижнем углу указывается размер тома), и выкладывать части по очереди.

    Доступ на закачку данных как правило бесплатный, требуется указать файл для закачки, тот передаётся на сайт (по http протоколу), а пользователю выдаётся ссылка на закачаный файл. Эту ссылку можно послать приятелю, выложить на форуме и т.д.
    Скопировав ссылку в окно браузера, можно начать процедуру скачивания. Доступ на скачку данных (через браузер) либо платный, зато с максимально удобный, либо бесплатный но с ограниченными возможностями, а также рекламой.

    В качестве частных случаев сайтов файлообмена можно в частности рассматривать копилку этого форума, а также сайт imageshack.us, на котором я размещаю скриншоты к этой статье. Популярные сейчас сервисы типа youtube позволяют публиковать видеоклипы а также вставлять видеоссылки на свои сайты(форумы). Очевидно youtube.com - это сайт файлообмена специального типа.

    Рекомендую программу "FileUploader" (по "FileUploader 2.4.2 мгновенно найдётся в поисковиках) - простая, бесплатная и очень удобная. FileUploader предназначен для упрощения закачки файлов на сайты файлообмена. Точно так же, как и при ручном скачивании больших файлов с http/ftp, при закачке большого файла на сайт файлообмена мы можем столкнуться с необходимостью заново отправлять файл при обрыве связи, с невозможностью ограничивать скорость скачивания. FileUploader предназначен для оптимизации процесса закачки файла на сайты файлообмена. В нём содержится список из нескольких десятков файлообменных сайтов. Кроме как в качестве справочника файлообменных сайтов, FileUploader можно использовать по его прямому назначению - быстро и эффективно загружать данные НА файлообменные сайты (выбираем файлы для загрузки, ставим галочки у сайта(ов) на который(е) хотим загрузить эти файлы.

    Вот пример закачки интервью Лукашенко (73 мегабайта):
    http://img511.imageshack.us/img511/2281/fileuploadernx2.jpg


    Справа сверху были выбраны сайты для закачки. После загрузки файла на сайт отображается ссылка для скачивания: http://depositfiles.com/files/1474731. Проследовав по ссылке, выбрав режим скачивания (бесплатно), нажав "скачать", выждав полторы минуты, мы любуемся рекламой, и лишь затем получаем возможность скачать файл.

    Помимо передачи крупных файлов от одного человека к другому, файлообменные сайты часто используются для публикации файлов - выложивший файлы человек распространяет ссылку, например через форум(ы).
    Альтернативный механизм публикации какого-то материала - использовать публичный ftp, на котором есть доступ на запись, увы, для обычных пользователей получить доступ к такому ftp в Интернет проблематично.
    Ещё один вариант - поднять у себя дома собственный ftp-сервер или http-сервер, грамотно его настроить (чтобы враги не прокрались), что является не тривиальной задачей. Кроме того далеко не у всех пользователей IP адрес является публичным. Частные ip адреса относятся к одной из следующих групп: 172.16.0.0-172.32.255.255, 10.0.0.0-10.255.255.255 и 192.168.0.0-192.168.255.255. На такой ip адрес извне пользователи заходить не могут. Если ваш адрес именно такой - создавать ftp или http сервер бесполезно.

    Почта

    В качестве средства передачи файлов можно рассматривать и электронную почту. Во вложениях к письмам можно пересылать файлы. Основным преимуществом этого способа является общедоступность - электронная почта есть у подавляющего большинства пользователей сети, часто люди заводят несколько адресов на одном или нескольких почтовых серверов. Когда-то ограниченный размер публичных почтовых ящиков в принципе не позволял передавать по почте сколько-нибудь большие файлы (служебные почтовые ящики, как правило, имели меньшие ограничения), однако в последние годы публичные почтовые серверы стали предоставлять почтовые ящики очень большого или практически неограниченного размера.

    Основной недостаток этого метода - ограниченный размер электронного письма. Как правило почтовые серверы допускают письма не больше 10-20 мегабайт. Даже если использовать многотомную архивацию, для отправки даже 100 мегабайтного файла приходится использовать почти 15 писем. Кроме того, из-за особенностей почтовой кодировки отправляемый во вложении файл будет занимать примерно на 20-30% больше. Тем не менее в некоторых случаях этот способ может оказаться предпочтительным. В частности, однажды полученные на электронной почте письма можно впоследствии перенаправить на любой адрес. Таким образом, используя публичный почтовый адрес, можно создать себе мини-файловый архив, который будет повсеместно и круглосуточно доступным - выйдя из любого интернет-кафе в интернет, вы можете скачать нужные вам данные. Как правило, провайдеры предоставляют почтовый ящик на своём сервере бесплатно, более того, трафик из/на почтовый ящик не учитывается. Используя почтовые клиенты и специальные программы, отдельные энтузиасты бесплатно прокачивали через своего провайдера сотни мегабайт. Впрочем сейчас, в связи с повсеместным падением тарифы использования Интернет, такие хитрости не слишком актуальны.

    Для передачи большого файла можно также попытаться воспользоваться средствами Instant Messengers (ICQ, ...). Многие из клиентов предоставляют возможность обмена файлами.

    Локальные сети

    При подключении к Интернет по технологии Ethernet (специальный 'компьютерный кабель', втыкающийся в 'сетевую карту') 'соседние' компьютеры образуют высокоскоростную (на 1-2 порядка быстрее, чем сам доступ в Интернет) локальную сеть. Помимо доступа к Интернет пользователи локальной сети могут 'заходить' на компьютеры друг на друга используя "Сетевое окружение" в OC Windows (протоколы NetBIOS/NetBEUI), что обеспечивает сравнительно 'прозрачное' использование совместных файловых ресурсов. С точки зрения пользователя работа с удалёнными ресурсами происходит практически точно так же, как и с локальными ресурсами. Схожие механизмы есть и для Unix- и Linux-подобных операционных систем (вплоть до сетевой файловой системы NFS).

    Технология Ethernet характерна для организаций, однако немало подключаются таким образом из дома. Сочетание очень высокой скорости доступа и отсутствия оплаты за трафик (т.е. за переданный или полученный объём данных) порождает интенсивный обмен данными внутри такой сети. Географическая близость компьютеров локальной сети друг к другу часто порождает много более тесные взаимоотношения, чем в Интернет. Нередко в локальных сетях пользователи внедряют поисковые системы по ресурсам локальной сети, действуют форумы и другие средства коммуникации. Эта тенденции наиболее выражены в случае домовых локальных сетей и, в особенности, локальных сетей студенческих общежитий.

    Локальным сетям присущи многие особенности, но, оставаясь в пределах тематики этой статьи, можно резюмировать, что проблема обмена большими файлами для них много менее актуальна, чем для Интернет.

    Безопасность

    Все вышеперечисленные способы страдают различными изъянами с точки зрения безопасности. Основным из них является то, что файлы передаются в незащищённом виде. Во всех случаях анализирующие траффик злоумышленники могут читать данные обмена (в случае с электронной почтой ещё проще перехватывать пароли к почтовому серверу). Для локальной сети считывать обмен данными в пределах сегмента сети (все компьютеры подключённые к одному хабу, и, в принципе, даже к коммутатору, - вероятно один подъезд или несколько соседних подъездов) - тривиальная задача, посильная для школьника, прочитавшего журнал "Хакер". "Собрать" перехваченный файл несколько сложнее, но никакой принципиальной сложности это не составляет.

    В случае доступа через ADSL (современные телефонные модемы/может называться "Стрим", не путать с предыдущим поколением телефонных модемов) и GPRS можно не опасаться, что живущий в окрестностях девятикласник Вася Пупкин ознакомится с передаваемыми данными, однако в случае если передаваемые данные конфиденциальны - лучше озаботиться дополнительной защитой: выше упоминался лишь один из типов атак, пассивное прослушивание трафика.

    Из множества различных способов безопасной передачи файлов в контексте данной статьи можно предложить следующие варианты:
  • Шифрование передаваемого файла. Ключ передаётся обязательно внешним способом (при личной встречи, по SMS, и т.д.). Можно озадачиться поиском специальных программ, типа Kremlin, но самым простым способом, вероятно, станет указание пароля при архивировании файла (WinRar), следует лишь отказаться от выбора простого пароля. Плохой идеей было бы использование имён нарицательных, или коротких паролей. Хорошая идея - использовать как строчные, так и прописные буквы, не стесняться примененять специальные символы (типа "№;?}@), не задавать слишком короткий пароль.
  • При закачивании/скачивании файла с веб-страниц, будь это файлообменный сайт или доступ к электронной почте через браузер, веб-сайт может использовать протокол https.
  • Есть средства шифрования как почты, так и сообщений Instant Messengers (ICQ). Возможная функциональность может зависеть от типа клиентской программы, возможностей предоставляемых сервером, выбранного протокола связи и т.д.
  • Возможно создание защищённого канала между двумя компьютерами. Правильно настроенный канал обеспечивает очень высокую степень защиты, много больше, чем требуется уровне обычного пользователя. Создание такого канала (будь это SSH соединение, или канал IPsec) требует специальных утилит и помощи квалифицированного специалиста.
    В случае если уровень угроз настолько высок, что необходимо применения таких мощных методов, следует осознавать, что безопасность системы соответствует безопасности самого слабого звена. В этом случае учёт человеческого фактора , мощная металлическая дверь, и постановка помещения на охранную сигнализацию будут важны (но недостаточны!) не меньше, чем затейливые настройки програмного обеспечения.

    В случае необходимости скрыть сам факт передачи информации, следует обратиться либо к защищённым каналам типа IPsec, либо использовать средства стеганографии ( http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B5%D0%B3%D0%B0%D0%BD%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F ). При желании несложно найти утилиты, типа StegoMagic ( http://www.programmersheaven.com/download/38361/download.aspx ), позволяющие скрывать передаваемые данные внутри графического/видео/аудио файла. Внешне передаваемый файл выглядит как обычная картинка(фильм), на взгляд небольшие искажения пикселей незаметны.

    Резюмируем. Итак, есть фундаментальные причины, препятствующие распространению сайтов с коллекциями крупных файлов (аудио-видео-архивы). Все вышеперечисленные механизмы работают в модели клиент-сервер. Альтернативой является использование файлообменных сетей. Об этом в следующем сообщении.


    От Vano
    К Р.К. (14.08.2007 00:23:00)
    Дата 15.08.2007 02:32:46

    Совершенно не рассмотрены пиринговые сети

    Пиринговые сети представляют собой еще одни вариант обмена файлами значительного объема.

    Основной особенностью пиринговых сетей является то, что файл скачивается не из одного конкретного места, а у множества пользователей которые хранят на диске (или скачивают в данный момент!) этот файл.

    Нужно отметить, что части файла, который в данный момент скачиваете вы из сети могут скачивать у вас другие пользователи (т.е. при работе в пиринговой сети возникает дополнительный исходящий траффик).

    Таже стоить отметить, что пиринговые сети поддерживат докачку, т.е. большие файлы могут скачиваться в течении нескольких дней (с перерывами в работе компьютера)

    Для работы с пиринговыми сетями каждого типа нужно соответствующее программное обеспечение.

    Наибольшее распространение в россии (на мой взгляд) имеют сети edonkey/emule и bittorent.
    От Р.К.
    К Vano (15.08.2007 02:32:46)
    Дата 15.08.2007 10:21:40

    "Это не баг, это фича" (С)

    >> Совершенно не рассмотрены пиринговые сети

    Файлообменные сети - это как раз самое интересное. Ради файлообменных сетей я это всё и затеял, обязательно про них напишу.

    Я же специально предупредил, в самом начале:
    "Когда я написал исходное сообщение, я предполагал, что оно будет прелюдией к основному сообщению, раскрывающему тему принципов работы и использования файлообменных сетей. ...
    Я надеюсь, что к этим выходным или на них, я допишу текст про файлообменные сети."

    >> Наибольшее распространение в россии (на мой взгляд) имеют сети edonkey/emule и bittorent.
    Угу. И именно они будут рассмотрены в качестве примера.
    От Р.К.
    К Р.К. (14.08.2007 00:23:00)
    Дата 14.08.2007 01:36:49

    Файлообменники - большая сравнительная таблица (en)

    http://en.wikipedia.org/wiki/Comparison_of_one-click_hosters
    От Vano
    К Р.К. (14.08.2007 01:36:49)
    Дата 15.08.2007 02:13:34

    Тут пропущены многие русские файлообменники

    >     http://en.wikipedia.org/wiki/Comparison_of_one-click_hosters

    Например

    www.slil.ru
    www.ifolder.ru

    Скачивание с них может быть более простым и быстрым для российских пользователей (кроме того ifolder.ru [по крайней мере до последнего времени] поддерживал докачку файла при обрыве соединения, чего нет даже в таких мощных сервисах как rapidshare [при бесплатной скачке])

    Еще хотелось бы отметить, что из множества опробованных мною зарубежных сервисов, максимальной доступностью и скоростью скачивания из разных точек россии обладают сервисы rapidshare (в то же время они отличаются и одним из самых значительных таймаутов между повторными скачиваниями и не поддерживают докачку на бесплатном аккаунте).

    Другие сервисы, типа megaupload, sexuploader и т.п. могут быть вообще недоступными для пользователей из россии без установки специального расширения(панели) к браузеру...
    От Vano
    К Vano (15.08.2007 02:13:34)
    Дата 15.08.2007 02:20:27

    Еще варианты файлообмена

    Встречался также такой интересный вариант файлообмена через публичный почтовый ящик с большим дисковым пространством (например, mail.ru или mail.google.com), когда один из пользователей создает такой ящик, загружает в него файлы (как приложения к письмам, например, в виде множества томов многотомного архива zip или rar) и публикует имя ящика и пароль для других пользователей...

    Основные недостатки - невысокая скорость скачивания, сильная зависимость скорости скачивания от загрузки почтовых серверов, возможность удаления информации любым скачивающим...
    От miron
    К Р.К. (02.08.2007 01:10:15)
    Дата 02.08.2007 10:47:30

    Спасибо, очень полезная информация... (-)
    От C.КАРА-МУРЗА
    К Р.К. (02.08.2007 01:10:15)
    Дата 02.08.2007 07:15:09

    Re: А не могли бы вы положить ваш полный обзор в копилку? Его надо всем изучать (-)
    От Р.К.
    К C.КАРА-МУРЗА (02.08.2007 07:15:09)
    Дата 02.08.2007 08:23:22

    Обязательно выложу

    нечто итоговое, исправленное и дополненное. Пока надо дать возможность коллективному разуму указать на возможные ошибки/недочёты.