От Алексей Мелия
К Sergey Ilyin
Дата 08.09.2004 17:31:57
Рубрики Современность;

Какая там была задача?

Алексей Мелия

Там по ключевому полю искали?
Или решали совершенно другую задачу не имеющею отношения к обсуждаемой теме?


http://www.military-economic.ru http://www.livejournal.com/users/alex_melia/
От Sergey Ilyin
К Алексей Мелия (08.09.2004 17:31:57)
Дата 08.09.2004 17:37:12

Там же на сайте все расписано.

>Там по ключевому полю искали?
>Или решали совершенно другую задачу не имеющею отношения к обсуждаемой теме?

Разумеется. Сомневаюсь, что кому-нибудь приходило в голову решать задачу глобальной е-паспортизации страны.

На самом деле, я несколько лопухнулся -- дал ссылку на тест ТРС-Н. ТРС-С к нашему примеру больше подходит.

Но на самом деле -- я просто хотел продемонстрировать стоимость и характеристики машин, работающих с терабайтными базами данных :)

С уважением, СИ
От Алексей Мелия
К Sergey Ilyin (08.09.2004 17:37:12)
Дата 08.09.2004 17:53:53

Re: Там же...

Алексей Мелия
>На самом деле, я несколько лопухнулся -- дал ссылку на тест ТРС-Н. ТРС-С к нашему примеру больше подходит.

Я плохо понимаю по английски. Там есть сведения о времени затрачивамом на поиск записи по ключивому полю в 100-150 миллионов записей?


>Но на самом деле -- я просто хотел продемонстрировать стоимость и характеристики машин, работающих с терабайтными базами данных :)

А какое отношения имеет "террабайтность" к времени поиска по одному полю? Причем полю ключивому либо проиндексированному.


http://www.military-economic.ru http://www.livejournal.com/users/alex_melia/
От Sergey Ilyin
К Алексей Мелия (08.09.2004 17:53:53)
Дата 08.09.2004 18:06:57

Re: Там же...

>Я плохо понимаю по английски. Там есть сведения о времени затрачивамом на поиск записи по ключивому полю в 100-150 миллионов записей?

Думаю, что нет. Там тесты "задач, близких к реальности". На основании которых можно думать о конфигурации сервера.

>А какое отношения имеет "террабайтность" к времени поиска по одному полю? Причем полю ключивому либо проиндексированному.

А непосредственное. Объем таблиц напрямую влияет на объем индексов. Для 150 миллионов россиян получается индексный файл размером в 1.2 гигабайта (см. выше). Какая часть этого файла будет прочитана при обходе индекса по "бинарному дереву" -- надо думать. В конце рабочего дня, я уже не помню, где это искать :) Заметная часть, в общем. А дальше просто смотрим, сколько времени надо дисковой системе, чтобы прочитать эти сотни мегабайт. :)

С уважением, СИ
От Игорь Куртуков
К Sergey Ilyin (08.09.2004 18:06:57)
Дата 08.09.2004 18:16:45

Ре: Там же...

>А непосредственное. Объем таблиц напрямую влияет на объем индексов. Для 150 миллионов россиян получается индексный файл размером в 1.2 гигабайта (см. выше). Какая часть этого файла будет прочитана при обходе индекса по "бинарному дереву" -- надо думать.

B-Tree - это не "бинарное дерево", а "сбалансированное" (balanced tree). Затем, для предложенной задачи весь корень индекса будет в кэше, а индеx естественно clustered. Т.е. количество чтений с диска для поиска можно оценить как 2-4.
От Алексей Мелия
К Sergey Ilyin (08.09.2004 18:06:57)
Дата 08.09.2004 18:16:19

Re: Там же...

Алексей Мелия

>А непосредственное.

Никакого. Общий объем базы на время поиска не влияет. Важно только число записей и длина ключевого/индексного поля. То есть картинки во воемя поиска не зайдествуются.

>Для 150 миллионов россиян получается индексный файл размером в 1.2 гигабайта (см. выше). Какая часть этого файла будет прочитана при обходе индекса по "бинарному дереву" -- надо думать. В конце рабочего дня, я уже не помню, где это искать :) Заметная часть, в общем. А дальше просто смотрим, сколько времени надо дисковой системе, чтобы прочитать эти сотни мегабайт. :)

Число записей нужных для обхода помноженное на размер кластера файловой системы. Но конкретная реализация индекса может оказать очень сильное влияние.


http://www.military-economic.ru http://www.livejournal.com/users/alex_melia/
От Роман (rvb)
К Sergey Ilyin (08.09.2004 18:06:57)
Дата 08.09.2004 18:08:57

Re: Там же...

>А непосредственное. Объем таблиц напрямую влияет на объем индексов. Для 150 миллионов россиян получается индексный файл размером в 1.2 гигабайта (см. выше). Какая часть этого файла будет прочитана при обходе индекса по "бинарному дереву" -- надо думать.

в случае "деревянного" индекса - логарифмическая зависимость от объема.

S.Y. Roman ( Холмовцы: http://vif2ne.ru/holmovo/forum/ )