От Денис Лобко
К Ktulu
Дата 09.04.2008 20:49:44
Рубрики Современность; Политек;

я вам ещё жизнь малость подпорчу

Гамарджобат, генацвале!
>Это качество цифрового канала GSM.
>9600 bps == 1.2 KBps
>100 МБ / день
>36 ГБ / год
>Это непрерывных разговоров.
>Если в среднем по часу в день - то 1.5 ГБ в год на человека.
>на один винчестер в 750 ГБ влезают годовые разговоры 500 человек.

Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

Если же считать по вашей методике, то 10 миллионов разговоров в день по минуте - это уже 700 гигабайт информации. Системы хранения на несколько десятков и сотен терабайт стоят ещё больше. В общем, это всё принципиально возможно, но очень дорого и очень геморройно.

С уважением, Денис Лобко.
От thodin
К Денис Лобко (09.04.2008 20:49:44)
Дата 10.04.2008 00:42:54

вот людям делать нечего!

сразу понятно, что темы обсуждают люди, далекие от телекоммуникаций настолько, насколько далеко человечество от межзвездных перелетов!!
От Ktulu
К Денис Лобко (09.04.2008 20:49:44)
Дата 09.04.2008 21:52:33

Это как?

Ваше отношение ко мне мне глубоко безразлично, подпортить не удастся.

>>Если в среднем по часу в день - то 1.5 ГБ в год на человека.
>>на один винчестер в 750 ГБ влезают годовые разговоры 500 человек.
>
>Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

>Если же считать по вашей методике, то 10 миллионов разговоров в день по минуте - это уже 700 гигабайт информации. Системы хранения на несколько десятков и сотен терабайт стоят ещё больше. В общем, это всё принципиально возможно, но очень дорого и очень геморройно.

Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно,
система будет очень дорогой и очень геморройной. А в общем случае будет отлично работать
система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
объёмы данная система содержит в себе? А между тем, эта система полностью состоит
из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
доступ к информации вне зависимости от её объёма и физического расположения. Учитывая, что
в деле хранения звуковой информации требования по производительности на запись крайне невелики
относительно объёма информации, то GoogleFS _отлично_ справится с задачей, обеспечив при этом
за весьма небольшие деньги степень надёжности, не сильно уступающую монструозным многоуровневым
системам хранения данных традиционного типа.

--
Алексей
От Денис Лобко
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 22:13:28

Re: Это как?

Гамарджобат, генацвале!

>Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно, система будет очень дорогой и очень геморройной. А в общем случае будет отлично работать система, построенная по образу и подобию GoogleFS.

Не надо зазря рвать тельник. "Лошьё" - это крупнейшая в России частная телекоммуникационная компания.

> Надеюсь, не надо перечислять, какие объёмы данная система содержит в себе? А между тем, эта система полностью состоит из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный доступ к информации вне зависимости от её объёма и физического расположения. Учитывая, что в деле хранения звуковой информации требования по производительности на запись крайне невелики относительно объёма информации, то GoogleFS _отлично_ справится с задачей, обеспечив при этом за весьма небольшие деньги степень надёжности, не сильно уступающую монструозным многоуровневым системам хранения данных традиционного типа.

У вас так всё просто - прямо как у Антонова.

С уважением, Денис Лобко.
От Ktulu
К Денис Лобко (09.04.2008 22:13:28)
Дата 09.04.2008 22:54:26

Re: Это как?

>Не надо зазря рвать тельник. "Лошьё" - это крупнейшая в России частная телекоммуникационная компания.

Я не называл крупнейшую частную компанию лошьём. Они специалисты по рубке капусты, сложно
от них ожидать стремления уменьшить свою прибыль на 2 десятичных порядка (для петабайтной
системы, для систем большего объёма этот показатель может быть ещё выше).
Лошьё - это те, кто верит, что традиционным системам нет альтернативы.

>У вас так всё просто - прямо как у Антонова.

С таким подходом у компании Google нет никаких прав на существование.

--
Алексей
От Student
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 22:13:13

Re: Это как?

>Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно,
>система будет очень дорогой и очень геморройной.

Гмм... Во-первых, про "лошьё" - это вы распалились.

>А в общем случае будет отлично работать
>система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
>объёмы данная система содержит в себе? А между тем, эта система полностью состоит
>из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
>обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
>доступ к информации вне зависимости от её объёма и физического расположения.

А вот тут выясняется, что Вы плоховато считаете. "обычными SATA винчестерами безо всяких RAID" и "обеспечивает минимум трёхкратное дублирование на географически разделённых узлах" противоречат друг другу. На одном узле-то, может, и без RAID - но на трёх по дискахм это дороже самого дорогого по этому параметру "зеркала". Плюс сами узлы. Плюс затраты на размещение. Плюс затраты на высокоскоростные каналы связи. В общем - всё совсем не так, как вы говорите.

С уважением,
Student
От Ktulu
К Student (09.04.2008 22:13:13)
Дата 09.04.2008 22:32:03

Re: Это как?

>>А в общем случае будет отлично работать
>>система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
>>объёмы данная система содержит в себе? А между тем, эта система полностью состоит
>>из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
>>обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
>>доступ к информации вне зависимости от её объёма и физического расположения.
>
>А вот тут выясняется, что Вы плоховато считаете. "обычными SATA винчестерами безо всяких RAID" и "обеспечивает минимум трёхкратное дублирование на географически разделённых узлах" противоречат друг другу. На одном узле-то, может, и без RAID - но на трёх по дискахм это дороже самого дорогого по этому параметру "зеркала".

Нормально считаю. RAID подразумевает контроллер (софтверные RAID не берём). И подключается
к одному компьютеру (сетевой сервер с RAID - это уже не RAID). Ничего не дороже.

> Плюс сами узлы. Плюс затраты на размещение. Плюс затраты на высокоскоростные каналы связи. В общем - всё совсем не так, как вы говорите.

Всё именно так, как я говорю. Именно поэтому данная технология позволила добиться таких
успехов компании Google.

Приведу простой расчёт. Узел - 2 ядра + 2-4 GB памяти + 4 x 1TB HDD. Грузится по сети.
Цена $1000. Эффективная ёмкость 1 ТБ на узел (с учётом четырёхкратного дублирования).
+ $1000 на каждый узел на инфраструктуру (сеть, системные узлы, кондиционеры, ИБП).
Итого $2000 на ТБ. Или $2 млн. на петабайт. Сравните с >$1 млн. за 20ТБ у оппонента.
Затраты на высокоскоростные каналы связи минимальны (это локальная сеть по зданию или в соседнее
здание). При необходимости задействуем dark fiber (неиспользуемые мощности РосТелекома). 300 Вт
потребления на узел (с учётом кондиционирования и отопления) - 300 Вт на ТБ, 300 КВт на ПБ.

--
Алексей
От Hokum
К Ktulu (09.04.2008 22:32:03)
Дата 09.04.2008 23:01:38

Re: Это как?

Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.
Затраты на железо - мизер в общей структуре расходов. Потому как одноразовые. Расходы на аренду помещений в датацентре, содержание каналов, онлайновый бэкап и т.п. перекрывают затраты на железо уже в первые год-два.
Про оплату персонала я вообще молчу. Квалифицированный специалист обходится компании (с учетом всех налогов и отчислений) в $100..200K в год.
Посчитайте совокупную стоимость обладания данной системой... ну, скажем, в течении 5 лет. Будете крайне удивлены :)
От Student
К Hokum (09.04.2008 23:01:38)
Дата 09.04.2008 23:37:51

Re: Это как?

>Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.

Я как раз об этом же... Ж;-)

С уважением,
Student
От Ktulu
К Hokum (09.04.2008 23:01:38)
Дата 09.04.2008 23:16:58

Re: Это как?

>Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.

Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
и потребляемую мощность.

>Затраты на железо - мизер в общей структуре расходов. Потому как одноразовые. Расходы на аренду помещений в датацентре, содержание каналов, онлайновый бэкап и т.п. перекрывают затраты на железо уже в первые год-два.

Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.

>Про оплату персонала я вообще молчу. Квалифицированный специалист обходится компании (с учетом всех налогов и отчислений) в $100..200K в год.

В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.

>Посчитайте совокупную стоимость обладания данной системой... ну, скажем, в течении 5 лет. Будете крайне удивлены :)

Я не буду, с эксплуатацией сталкивался.

--
Алексей
От Student
К Ktulu (09.04.2008 23:16:58)
Дата 09.04.2008 23:49:30

Re: Это как?

>Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
>и потребляемую мощность.

Вы делаете и эту, и другие. Если начать считать, то выяснится много интересного - и что GoogleFS в чистом виде не подойдёт, и что доработка будет стоить денег, и проч., и проч.... Ж;-)

>Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.

Не сровсем верно. Равные объемы данных при любой технологии хранения (на одинаковых носителях, естественно) требуют как минимум равных затрат по энергии, инфраструктуре и персоналу. В случае больших специализированных систем хранения они, кстати, могут быть (и, скорее всего, будут) ниже.

>В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
>5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.

Спорно. Специализированная система хранения не требует больше персонала.

>Я не буду, с эксплуатацией сталкивался.

Это, конечно, хорошо - но давайте думать о граничных условиях в данном конкретном примере. А они нам скажут много интересного в рассматриваемом случае. Можно много страниц текста написать.

С уважением,
Student
От Ktulu
К Student (09.04.2008 23:49:30)
Дата 09.04.2008 23:57:52

Re: Это как?

>>Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
>>и потребляемую мощность.
>Вы делаете и эту, и другие. Если начать считать, то выяснится много интересного - и что GoogleFS в чистом виде не подойдёт, и что доработка будет стоить денег, и проч., и проч.... Ж;-)

Подойдёт, для системы с минимальными требованиями по производительности чтения и записи
подойдёт идеально.

>>Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.
>
>Не сровсем верно. Равные объемы данных при любой технологии хранения (на одинаковых носителях, естественно) требуют как минимум равных затрат по энергии, инфраструктуре и персоналу. В случае больших специализированных систем хранения они, кстати, могут быть (и, скорее всего, будут) ниже.

Не будут они ниже. Там количество винчестеров будет не ниже, добавится, скорее всего,
ленточная система с автоподатчиком, недешёвая поддержка от производителя, короче всё будет
очень печально.

>>В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
>>5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.
>Спорно. Специализированная система хранения не требует больше персонала.

GoogleFS - это и есть специализированная система. Соотношение цены будет приблизительно такое,
как у традиционного суперкомпьютера и вычислительного кластера при решении хорошо
распараллеливаемых задач.

>>Я не буду, с эксплуатацией сталкивался.
>Это, конечно, хорошо - но давайте думать о граничных условиях в данном конкретном примере. А они нам скажут много интересного в рассматриваемом случае. Можно много страниц текста написать.

А что писать, я прав, Д.Лобко неправ. Всё просто.

--
Алексей
От Ktulu
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 21:56:14

При этом GoogleFS почти линейно масштабируется (-)
От Дмитрий Алферьев
К Денис Лобко (09.04.2008 20:49:44)
Дата 09.04.2008 21:06:56

Re: я вам...

>Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

Ну можно конечно и за миллион, и где-то это наверняка оправдано. Но в целом RAID контроллер на 20+ портов SATA нынче стоит порядко 2-х штук со всеми приблудами типа доп памяти и батарейки. Ну понятно что обвеса нужно много, корпуса, БП, сам ком собственно и винты. Но в 10-20 штук вполне можно уложиться я думаю. Так что не все так ужасно.