От Ktulu
К Грозный
Дата 29.10.2010 00:42:06
Рубрики Современность;

Re: ...такие, как...

>Хорошо вам в вашем мире - ни ЯО, ни ураганов.

В нашем мире ни ЯО ни ураганы не относятся к хорошо распараллеливаемым задачам,
когда речь идёт о миллионах вычислительных узлов. Идеальной вычислительной
задачей в этом случае являются задачи, не требующие обмена данными между узлами
вообще, такие, как вскрытие грубой силой шифрованных сообщений. Любые разностные схемы,
будь то ЯО или ураганы, требуют огромного количества данных для обмена между узлами,
и объём этих данных растёт далеко не линейно при росте числа узлов.

>Сделать эффективный ввод-вывод и балансировку для тыщ вычислительных узлов без тормозов - это know-how и никак не "х-ня".

Никакое это уже давно не ноу-хау. Китайцы наверняка применили готовые решения, скорее всего на основе Linux,
которых более чем достаточно.

--
Алексей
От Грозный
К Ktulu (29.10.2010 00:42:06)
Дата 29.10.2010 07:45:48

читайте по ссылочке


>Никакое это уже давно не ноу-хау. Китайцы наверняка применили готовые решения, скорее всего на основе Linux,

----

угу - только вот мужики из Окридж лаб и из Крэя не в курсе - они почему-то уверены, что главное - это внутренняя магистраль собственно китайской разработки, к-рая существенно быстрее InfiniBand (используемый в штатовских суперкомпьютерах)

http://news.cnet.com/8301-13924_3-20021122-64.html

What makes the Chinese supercomputer so fast?
Dongarra: The Chinese designed their own interconnect. It's not commodity. It's based on chips, based on a router, based on a switch that they produce.

Is that in essence the secret sauce?
Dongarra: It's similar to Cray. Cray's contribution, besides the integration and software, is the interconnect network. They have a very fast interconnect that makes that machine perform very well. Though [the Chinese] project is based on U.S. processors, it uses a Chinese interconnect. That's the interesting part. They've put something together that is roughly twice the bandwidth of an InfiniBand interconnect [which is used widely in the U.S.]

>которых более чем достаточно.

Недостаточно. Может, остановитесь и перестанете вещать о том, в чём не разбираетесь?

===> dic duc fac <===
От Ktulu
К Грозный (29.10.2010 07:45:48)
Дата 29.10.2010 08:22:25

Re: читайте по...

>угу - только вот мужики из Окридж лаб и из Крэя не в курсе - они почему-то уверены, что главное - это внутренняя магистраль собственно китайской разработки, к-рая существенно быстрее InfiniBand (используемый в штатовских суперкомпьютерах)
> http://news.cnet.com/8301-13924_3-20021122-64.html

Эти, как вы их называете, мужики не знают точно, что там внутри. А InfiniBand -- это индустриальный стандарт,
доступен всем.

>What makes the Chinese supercomputer so fast?
>Dongarra: The Chinese designed their own interconnect. It's not commodity. It's based on chips, based on a router, based on a switch that they produce.

В том числе и китайским компаниям.

>Is that in essence the secret sauce?
>Dongarra: It's similar to Cray. Cray's contribution, besides the integration and software, is the interconnect network. They have a very fast interconnect that makes that machine perform very well. Though [the Chinese] project is based on U.S. processors, it uses a Chinese interconnect. That's the interesting part. They've put something together that is roughly twice the bandwidth of an InfiniBand interconnect [which is used widely in the U.S.]

Опять же, без упоминания того, какой именно InfiniBand имеется в виду, эта информация бессмыслена.
Статья эта вообще не несёт никакой технической информации, написана на понятном для публики языке,
цель статьи -- алармистская, дайте бабла на противодействие китайской угрозе.

>>которых более чем достаточно.
>Недостаточно. Может, остановитесь и перестанете вещать о том, в чём не разбираетесь?

А вы кто такой, чтобы такие утверждения делать?

Повторяю вопрос, вы понимаете, что с ростом количества узлов необходимая пропускная способность
растёт нелинейно? А в китайском кластере мало того, что применено 14 тыс. Зеонов с несколькими ядрами
каждый, так ещё и 7 тыс. массивно параллельных изделий от NVidia с несколькими сотнями вычислительных
ядер каждый. И то, что китайцы якобы сделали интерконнект вдвое быстрее непонятно какой версии InfiniBand,
совершенно им не поможет, потому что общая вычислительная мощность узлов у них выросла гораздо более
чем вдвое.

Суперкомпьютерные вычисления уже давно в тупике, потому-что производительность отдельных ядер растёт
медленно, количество ядер можно растить без ограничений, а вот соединения между ядрами давно упёрлись в потолок
(который растёт, конечно, но медленно). И с какого-то количества ядер добавлять новые становится бессмысленно --
интерконнект не справляется. Это количество ядер зависит от конкретной задачи, для вскрытия шифров методом грубой
силы взаимодействие между узлами вообще не нужно (как не нужен и суперкомпьютер, прекрасно справляется
распределённая вычислительная сеть), так что предельное количество ядер для этой задачи огромно, для некоторых
плохо распараллеливаемых задач, типа аэродинамики, предельное количество ядер измеряется в штуках.

--
Алексей
От Грозный
К Ktulu (29.10.2010 08:22:25)
Дата 29.10.2010 09:51:10

Re: читайте по...

>Эти, как вы их называете, мужики не знают точно, что там внутри.

Донгарра - автор Линпак, если чо (далее "переход на личности" по поводу вашей неосведомлённости) -

The LINPACK Benchmark was introduced by Jack Dongarra.
http://www.top500.org/project/linpack

Кто ж Донгарру к китайским потрошкам пустит? Но "принципиальную схему" всем желающим китайцы рисуют (найдёте, коли захотите). Саму систему Тяньхэ Донгарра видел вживую да и тестовые прогоны проверялись.

>А InfiniBand -- это индустриальный стандарт,
---

Ягуар (нынешний топ и скоро - номер 2) не использует ИнфиниБэнд, там Джемини внутри (от Крэя).


>Опять же, без упоминания того, какой именно InfiniBand имеется в виду, эта информация бессмыслена.Статья эта вообще не несёт никакой технической информации, написана на понятном для публики языке,
---

Вам зачем техническая информация, если вы и так "в курсе"? :-)

Человек, которого спрашивают, хорошо известен (ещё раз - отец теста Линпак и один из отцов нынешнего топа - Ягуара), C|Net издание достаточно серьёзное.

>цель статьи -- алармистская, дайте бабла на противодействие китайской угрозе.
---

Само собой. А вы считаете, что штатам можно "спать спокойно", после того как их в 2 раза сделали по тестам?

>А вы кто такой, чтобы такие утверждения делать?
---

Ладно, переходы на личности замнём, погорячился. Трясти бумажками и зарываться в оффтопик не собираюсь, я вам не скажу, "кто я такой" :-).

Достаточно близко работаю с железом в этой области, чтоб засомневаться в вашей компетентности. Тогда как вы, похоже, не в курсе проблем даже на уровне софта - "простой" Линукс дохнет на системах с несколькими сотнями узлов. А тут - ещё и гибридная система, ЦПУ+несколько ГПУ в модуле. С виртуальной памятью тоже всё непросто. Так что ваша снисходительность по отношению к китайцам выглядит неуместной.

>Повторяю вопрос, вы понимаете, что с ростом количества узлов необходимая пропускная способность растёт нелинейно?
---

я-то понимаю - именно поэтому считаю, что отъём первого места с таким кол-вом узлов - это достижение.

>совершенно им не поможет, потому что общая вычислительная мощность узлов у них выросла гораздо более чем вдвое.
---

Помогло побить Ягуар в Линпаке. Если слепить наивную системку из готового (на что вы намекнули) - Тяньхэ близко б не подошла к Ягуару.

>Суперкомпьютерные вычисления уже давно в тупике, потому-что производительность отдельных ядер растёт
----

Тупик мнимый, т.к. существенная часть HPC-приложений параллелизуема и масштабируется с ростом ядер. Большой гемор писать, но преодолимо.

>(который растёт, конечно, но медленно). И с какого-то количества ядер добавлять новые становится бессмысленно -- интерконнект не справляется.
---

О том и речь - создание "интерконнекта", который не тормозит вычисления и обмен - это большое достижение.

>плохо распараллеливаемых задач, типа аэродинамики, предельное количество ядер измеряется в штуках.
----

Не отрицая существования плохо распараллеливаемых задач, отмечу, что задач под массивно параллельные системы столько, что существующие параллельные суперкомпьютеры не простаивают и простаивать в ближайшем будущем не будут. Целые классы задач матфизики отлично ложатся и на однородные, и на гибридные параллельные системы.

===> dic duc fac <===
От Ktulu
К Грозный (29.10.2010 09:51:10)
Дата 29.10.2010 10:38:37

Re: читайте по...

>Человек, которого спрашивают, хорошо известен (ещё раз - отец теста Линпак и один из отцов нынешнего топа - Ягуара), C|Net издание достаточно серьёзное.

Человек -- известный, с этим никто не спорил.

>>цель статьи -- алармистская, дайте бабла на противодействие китайской угрозе.
>Само собой. А вы считаете, что штатам можно "спать спокойно", после того как их в 2 раза сделали по тестам?

Когда появится в списке -- тогда сделают. Пока не появился.

>Помогло побить Ягуар в Линпаке. Если слепить наивную системку из готового (на что вы намекнули) - Тяньхэ близко б не подошла к Ягуару.

2 петафлопс в линпаке -- проблема, элементарно решаемая экстенсивным подходом.
Такую производительность и в России могут сделать, вон, разработчики упомянутого в этой ветке Скифа
обещают 2 петафлопс простым увеличением количества стоек до 50. Только, видимо, необходимости в этом
нет, или денег нет, или того и другого.

>Тупик мнимый, т.к. существенная часть HPC-приложений параллелизуема и масштабируется с ростом ядер. Большой гемор писать, но преодолимо.

Только часто масштабируется медленней чем линейно.

>О том и речь - создание "интерконнекта", который не тормозит вычисления и обмен - это большое достижение.

Достижение, много кому доступное.

>Не отрицая существования плохо распараллеливаемых задач, отмечу, что задач под массивно параллельные системы столько, что существующие параллельные суперкомпьютеры не простаивают и простаивать в ближайшем будущем не будут. Целые классы задач матфизики отлично ложатся и на однородные, и на гибридные параллельные системы.

А другие целые классы -- не ложатся.

--
Алексей
От Грозный
К Ktulu (29.10.2010 10:38:37)
Дата 29.10.2010 13:17:17

Re: читайте по...

>Когда появится в списке -- тогда сделают. Пока не появился.
---
Ноябрь не за горами.

>2 петафлопс в линпаке -- проблема, элементарно решаемая экстенсивным подходом.
---
Вы упускаете несколько "мелочей"

1. Без правильного интерконнекта "экстенсивный" подход с увеличением стоек заткнётся.

2. Разработка правильного интерконнекта для нескольких тыщ узлов не есть тривиальная задача

3. Сборка гибридной системы ЦП+ГП нетривиальна (даже с коммерчески доступным интерконнектом)

4. Затачивание ОС под несколько тыщ узлов нетривиальна

Таким образом, "экстенсивная х-ня" превращается в "передовое технологическое достижение".

>Такую производительность и в России могут сделать, вон, разработчики упомянутого в этой ветке Скифа
---

могут != сделали

>обещают 2 петафлопс простым увеличением количества стоек до 50. >Только, видимо, необходимости в этом
---

Необходимости нету? Действительно, ну зачем нам ударные волны, протеины и прочие глупости?

Обещают - а китайцы сделали. Китайцы вообще такие смешные - последние годы только и делают, что деньги на ветер выбрасывают, строя всё новые суперкомпьютеры.

Лучший российский суперкомпьютер - на 13-м месте (на июнь), с ИнфиниБэндом QDR - не гибрид и без своего интерконнекта.

>Достижение, много кому доступное.
---
Вы посмотрите на список Топ500 и посмотрите, какие фирмы и откуда делали интерконнект. Список стран-авторов интерконнекта очень мал.

>Только часто масштабируется медленней чем линейно.

Есть закон Амдала для частично параллелизуемых задач. Ну и что.

>А другие целые классы -- не ложатся.
---

И поэтому надо сидеть в "тупике"?

===> dic duc fac <===