(ликбез) Интернет, скачивание файлов, видео/аудио коллекции, файлообменные сети
Планируется 3 основных сообщения.
Данное сообщение - попытка несколькими штрихами набросать обзор технологий интернета, относящихся к передаче файлов, описать состояние видео-аудио коллекций в интернете.
Для логической замкнутости материала в первом сообщении, особенно поначалу, будет широкоизвестная информация. Однако, даже если вы опытный пользователь, наверняка в этом обзоре вы почерпнёте для себя что-то полезное.
Второе сообщение - файлообменные сети, использование файлообмена.
Вторая тема на форуме не рассматривалась (в архиве ничего такого не нашёл) - знание о таком классе технологий/программ/возможностей, думаю, будет полезно или даже важно многим.
Третее сообщение - список фильмов общественно-политической тематики, которые стоит посмотреть каждому.
Ракурс изложения - потребности пользователя по скачиванию крупного файла из Интернет.
HTTP
Большинство привычных нам сетевых сервисов работают в модели "клиент-сервер". Интернет, основанный на HTTP протоколе, представляет собой один из наиболее ярких примеров. Веб-страницы являются текстовыми файлами, в которых с помощью языка HTML (язык разметки гипертекста) описывается форматирование текста (а также таблиц, графики, управляющих элементов и т.д.) на странице. Браузер пользователя через http протокол запрашивает страницы на веб-сервере (модель клиент-сервер). Но для http не завязан именно на веб-страницы, - если ссылка, по которой мы кликнули, ссылается на файл другого типа, он будет скачан с помощью http (а дальше браузер определит что с этим файлом делать, в зависимости от типа файла). До сих пор излагалось состояние Интернета лет 5-10 назад, - сейчас веб-страницы и работа с ними значительно сложнее, используется масса других технологий, таких как Flash, скрипты, Java и т.д., но давайте в первом приближении проигнорируем их существование.
Для скачивания больших файлов протокол http не удобен. Он слишком примитивен (состоит всего из нескольких команд типа "передать файл", "получить файл"), при возникновении ошибки закачку придётся повторять (современные браузеры умеют возобновлять закачку). С точки зрения задачи скачивания данных (видео, аудио, большие архивы) из интернета основным конкурентом, выступающим в той же весовой категории, для него является FTP протокол.
FTP
FTP протокол также работает в можели "клиент-сервер", содержит на порядок больше команд, позволяет использовать авторизацию (логин-пароль, передаются открытым текстом), создавать два канала скачивания (для команд и для данных), изначально предполагает, что файлов много и они расположены в дереве директорий. FTP очень древний протокол (ему лет 30-40), в нём масса недостатков, но он очень широкораспространён и в ряде случаев позволяет организовать простой файловый обмен.
К сожалению ftp позволяет организовывать лишь локальные хранилища данных - мы заходим на конкретный ftp-сервер, ищем там нужный файл, находим его (или нет), и скачиваем. Здесь можно упомянуть протокол NETBIOS для передачи данных в локальных сетях, а также упомянуть о сетевых файловых системах (подключение сетевых дисков в сетях microsoft, настоящей сетевой файловой системе NFS в Unixах). Локальные сети имеют свою специфику и здесь не рассматриваются.
Проблема нахождения ftp-сервера, на котором находятся нужные для нас файлы в общем-то решаема. Можно попробовать файловый поиск типа http://www.filesearch.ru/. Однако сайтов, в которых крупные предоставляются на скачку с использованием http, всё же значительно больше.
Как скачивать - утилиты для скачивания файлов через http и ftp
Существует очень много(десятки) всевозможных утилит, облегчающих скачивание больших файлов через протоколы http/ftp. Если не вдаваться в детали, можно выделить два основных типа таких программ.
Утилиты первого типа скачивают веб-страницы и веб-сайты. Мы получаем копию веб-сайта: такие утилиты подхватывают html страницы, рисунки, файлы, на которые есть ссылки, пытаются загружать служебные файлы; переходят по ссылкам до требуемого уровня глубины, заменяют относительные ссылки на абсолютные, проводят закачку в несколько потоков, закачивают файлы в много кусочков, автоматически повторяя закачку не скачавшегося кусочка, обладают большим количеством других полезных функций. В качестве примера приведу мою любимую Teleport Pro/Teleport Ultra. Грубо говоря мы напускаем такую программу на сайт, и через какое-то время получаем на жёстком диске полную копию сайта. В частности, если на html странице содержится список прямых (т.е. непосредственных) ссылок на фильмы, такой программой мы можем сцапать всё сразу.
Утилиты второго типа предназначены для скачивания, в первую очередь массового скачивания, именно файлов, а не сайтов/страниц. Если нужно закачать директорию по ftp, или ту же html страницу с фильмами, о которой шла речь выше, - программа типа FlashGet будет очень полезна. Закачка в несколько потоков, автодокачка в случае возникновения ошибок, ограничение канала для скачивания, планирование задач, скачивание иерархий файлов, множество других функций.
Откуда скачивать - файловые сервера
Увы, существуют две фундаментальные проблемы, препятствующие широкому распространению сайтов, содержащих коллекции крупных файлов (видео и т.д.)
Во-первых, в отличие от веб-сервера, файловый сервер (предоставляет он файлы через ftp, или http - не важно) потребляет на порядок (в порядки) большее дисковое пространство и требует значительно более толстового канала. А это ограничивает энтузиастов.
Другой пример - сайт http://harchikov.pp.ru/.
Здесь громадное собрание современной патриотической музыки, а также советских песен.
Второй причиной, препятствующей распространению аудио-видео-файловых сайтов являются авторские права. Тема эта сложная, обширная и я её сознательно игнорирую. В этом обзоре я веду речь исключительно о технических средствах скачивания крупных файлов.
Выложенный на http/ftp файл непосредственно указывает на владельца сайта, потому филиалы западных аудио-видео записывающих корпораций мгновенно хватают автора за жабры. Для нас эта проблема актуальна в меньшей степени. Впрочем можно вспомнить и противоположные случаи, например, закрытие магазина музыки allofmp3 ( http://www.lenta.ru/news/2007/07/03/allofmp3/), работа которого проходила полностью в соответствии с законодательством РФ, было одним из условий вступления России в ВТО. Американцы подавали иск на 1.65 триллионов (именно так, это не опечатка) против allofmp3.com ( http://www.lenta.ru/news/2007/07/03/allofmp3/).
Упомяну, что в отношении сетевых библиотек действуют те же тенденции. Большинство крупных российских сетевых библиотек, которые создавались, как проекты энтузиастов (и наполнялись также энтузиастами, бесплатно сканящими книги), сейчас изменяют режим работы.
Сайты файлообмена
Для обмена крупными файлами в интернете есть множество (многие десятки) специальных сайтов. Например rapidshare.de . Доступ на закачку данных как правило бесплатный. Доступ на скачку данных (через браузер) либо платный, зато с максимальным удобством, либо бесплатный но ограниченными возможностями. Рекомендую программу "FileUploader" (по названию мгновенно найдётся в поисковиках) - простая, бесплатная и очень удобная. В ней содержится список из нескольких десятков файлообменных сайтов. Кроме как в качестве справочника, её можно использовать по прямому назначению - быстро и эффективно загружать данные НА файлообменные сайты (выбираем файлы для загрузки, ставим гулочки у сайта(ов) на который(е) хотим загрузить эти файлы. С файлообменных сайтов загружать придётся через браузер.
Обычно сайты файлообмена используются для передачи крупного файла или выкладывания какого-то файла на публику (альтернатива - поднять у себя дома ftp-сервер/http-сервер, грамотно его настроить, чтобы враги не прокрались, - очень не тривиальная задача).
Итак, есть фундаментальные причины, препятствующие распространению сайтов с коллекциями крупных файлов (аудио-видео-архивы). Все вышеперечисленные механизмы работают в модели клиент-сервер. Альтернативой является использование файлообменных сетей. Об этом в следующем сообщении.
