Грант РФФИ No. 09-07-00241 (2009-2011 гг.)
Алгоритмы и методы параллельной обработки запросов
в системах баз данных для многопроцессорных систем
с иерархической архитектурой
 
Аннотация
 
Участники
 
Публикации
 
Апробация
 
Отчеты
 
Диссертации

► Участники проекта

Руководитель проекта: Соколинский Леонид Борисович (sokolinsky@acm.org)

Основные исполнители проекта:

► Аннотация проекта

Проблематика проекта. В настоящее время все большее распространение получают многопроцессорные системы с иерархической архитектурой, которые строятся по схеме: многоядерные процессоры – SMP узлы – кластеры – грид. Иерархические многопроцессорные системы могут содержать десятки тысяч процессорных узлов с общей оперативной памятью до 100 терабайт. Одним из перспективных направлений использования таких систем является построение на их основе высокопроизводительных параллельных систем баз данных, которые мы можем условно назвать иерархическими. Иерархические СУБД занимают промежуточное положение между параллельными и распределенными СУБД и, как правило, не могут напрямую заимствовать методы и алгоритмы, применяемые в последних.

Целью проекта является разработка и исследование новых методов и алгоритмов обработки запросов на базе реляционной модели данных, которые можно было бы эффективно использовать в иерархических (работающих на многопроцессорных иерархиях) СУБД.

Проект рассчитан на три года (2009-2011) и направлен на решение следующих исследовательских проблем:

  1. параллельные алгоритмы обработки запросов в распределенной оперативной памяти большого объема;

  2. механизм обработки запросов на базе асинхронного конвейера с использованием фактора многоядерности;

  3. использование кустового параллелизма при обработке запросов на SMP узлах с многоядерными процессорами;

  4. методы балансировки загрузки в иерархических многопроцессорных средах;

  5. методы обработки запросов среде грид;

  6. интеграция иерархического параллелизма в СУБД c открытым кодом PostgreSQL;

  7. моделирование и анализ иерархических многопроцессорных архитектур систем баз данных с использованием специальной программы-эмулятора.

Актуальность проекта обоснована тем, что в настоящее время в мире отсутствуют СУБД, ориентированные на работу в многоуровневых многопроцессорных иерархиях.

Методы реализации проекта базируются на технологии распараллеливания запросов на основе оператора EXCHANGE, методе балансировки загрузки с использованием техники зеркалирования, методе организации асинхронного конвейера на базе промежуточных буферов с применением фактор-функций, DMM-модели многопроцессорных иерархий, грид-технологиях и стандартах OGSA-DAI, WSRF и др.

Данный проект является продолжением работ, выполненных по гранту РФФИ № 06-07-89148 (2006-2008 гг.): "Технология и методы организации систем баз данных для вычислительных кластеров и GRID".

► Публикации по проекту

Основные результаты, полученные в ходе выполнения данного проекта, опубликованы в следующих работах:

2011 г.

  1. Пан К.С. Разработка параллельной СУБД на основе PostgreSQL  // Труды Института системного программирования РАН. 2011. Т. 21. С. 357-370. [Текст в формате PDF]

  2. Миниахметов Р.М. Интеграция алгоритма кластеризации Fuzzy c-Means в PostgreSQL // Труды Института системного программирования РАН. 2011. Т. 21. С. 263-276. [Текст в формате PDF]

  3. Пан К.С. Разработка параллельной СУБД на основе свободной СУБД PostgreSQL // Научный сервис в сети Интернет: экзафлопсное будущее: Труды международной научной конференции (Новороссийск, 19-24 сентября 2011 г.). М.: Издательство Московского университета, 2011. С. 566-571. [Текст в формате PDF]

  4. Miniakhmetov R. Integrating Fuzzy c-Means Clustering with PostgreSQL // Proceedings of the Seventh Spring Researchers' Colloquium on Databases and Information Systems (SYRCoDIS’2011). Moscow: Moscow State University, 2011. P. 6-10. [Текст в формате PDF]

  5. Pan С. Development of a Parallel DBMS on the Basis of PostgreSQL // Proceedings of the Seventh Spring Researchers' Colloquium on Databases and Information Systems (SYRCoDIS’2011). Moscow: Moscow State University, 2011. P. 57-61. [Текст в формате PDF]

  6. Пан К.С., Цымблер М.Л. Архитектура и принципы реализации параллельной СУБД PargreSQL // Параллельные вычислительные технологии (ПаВТ’2011): труды международной научной конференции (Москва, 28 марта - 1 апреля 2011 г.).  Челябинск: Издательский центр ЮУрГУ, 2011. С. 577–584. [Текст в формате PDF]

  7. Лымарь Т.Ю., Староверова Н.Ю. Параллельный алгоритм фрактального поиска в базе данных // Параллельные вычислительные технологии (ПаВТ’2011): труды международной научной конференции (Москва, 28 марта - 1 апреля 2011 г.).  Челябинск: Издательский центр ЮУрГУ, 2011. С. 70. [Текст в формате PDF]

2010 г.

  1. Lepikhov A.V., Sokolinsky L.B. Query Processing in a DBMS for Cluster Systems // Programming and Computer Software. 2010. Vol. 36. No. 4. P. 205-215. [Текст в формате PDF]

  2. Лепихов А.В., Соколинский Л.Б. Обработка запросов в СУБД для кластерных систем // Программирование. 2010. № 4. С. 25-39. [Текст в формате PDF]

  3. Lepikhov A.V., Sokolinsky L.B. Query Evaluation Techniques for Cluster Database Systems // Advances in Databases and Information Systems, 14th East European Conference, ADBIS 2010, Novi Sad, Serbia, September 20-24, 2010, Proceedings. Lecture Notes in Computer Science, Vol. 6295. Springer. -2010. -C. 351-362. [Текст в формате PDF]

  4. Аксенова Е.В. Разработка параллельной СУБД в оперативной памяти для систем c кластерной архитектурой // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 657-659.  [Текст в формате PDF]

  5. Бородулин К.В. Реализация индексов в СУБД для кластерных систем // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 667-671.  [Текст в формате PDF]

  6. Гусев А.А. Разработка алгоритма соединения отношений для параллельной СУБД в оперативной памяти // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 654-657. [Текст в формате PDF]

  7. Медведев А.А. Организация асинхронного конвейера и кустового параллелизма в СУБД для кластерных систем на многоядерных процессорах // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 596-599. [Текст в формате PDF]

  8. Пан К.С., Цымблер М.Л. Проект PargreSQL: разработка параллельной СУБД на основе свободной СУБД PostgreSQL // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 308-313. [Текст в формате PDF]

  9. Смирнов В.А. Параллельный алгоритм формирования OLAP-куба на процессорах CELL // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды международной научной конференции (Новороссийск, 20-25 сентября 2010 г.). М.: Изд-во МГУ, 2010. С. 619-624. [Текст в формате PDF]

  10. Пан  К.С., Цымблер М.Л. Параллельный алгоритм решения задачи анализа рыночной корзины на процессорах Cell // Вестник ЮУрГУ. Серия "Математическое моделирование и программирование".  2010. № 16(192). Вып. 5. С. 48-57. [Текст в формате PDF]

  11. Аксенова Е.В. Разработка параллельной СУБД в оперативной памяти для кластерных систем // Параллельные вычислительные технологии (ПаВТ’2010): Труды международной научной конференции (Уфа, 29 марта - 2 апреля 2010 г.). Челябинск: Издательский центр ЮУрГУ, 2010. С. 652. [Текст в формате PDF]

  12. Пан К.С., Цымблер М.Л. Решение задачи анализа рыночной корзины на процессорах Cell // Параллельные вычислительные технологии (ПаВТ’2010): Труды международной научной конференции (Уфа, 29 марта - 2 апреля 2010 г.). Челябинск: Издательский центр ЮУрГУ, 2010. С. 551-560. [Текст в формате PDF]
2009 г.

  1. Костенецкий П.С. Моделирование параллельных систем баз данных для вычислительных кластеров // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность: Труды Всероссийск. науч. конф. (г.   Новороссийск, 21-26 сентября 2009 г.). М.: Изд-во МГУ, 2009. С. 300-304. [Текст в формате PDF]

► Апробация проекта

Основные результаты, полученные в ходе выполнения данного проекта, докладывались на следующих научных конференциях, семинарах и совещаниях:

2011 г.

  1. На Втором Московском суперкомпьютерном форуме (МСКФ-2011) (Москва, 26-27 октября 2011 г.) К.С. Паном и М.Л. Цымблером [Презентация в формате PDF]

  2. На Международной научной конференции "Научный сервис в сети Интернет: экзафлопсное будущее" (Новороссийск, 19-24 сентября 2011 г.) К.С. Паном [Презентация в формате PDF]

  3. На Международной конференции молодых ученых The Seventh Spring Researchers Colloquium on Databases and Information Systems, SYRCoDIS’2011 (June 2-3, 2011, Moscow, Russia) Р.М. Миниахметовым [Презентация в формате PDF]

  4. На Международной конференции молодых ученых The Seventh Spring Researchers Colloquium on Databases and Information Systems, SYRCoDIS’2011 (June 2-3, 2011, Moscow, Russia) К.С. Паном [Презентация в формате PDF]

  5. На Международной научной конференции "Параллельные вычислительные технологии 2011" (Москва, 28 марта - 1апреля 2011 г.) М.Л. Цымблером и К.С. Паном [Презентация в формате PDF]

  6. На Международной научной конференции "Параллельные вычислительные технологии 2011" (Москва, 28 марта - 1апреля 2011 г.) Т.Ю. Лымарь и Н.Ю. Староверовой [Плакат в формате PDF]

2010 г.

  1. На Международной конференции ADBIS 2010 (Нови Сад, Сербия, 20-24 сентября 2010 г.) Л.Б. Соколинским. [Презентация в формате MS Power Point, PDF]

  2. На Международной конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи" (Новороссийск, 20-25 сентября 2010 г.) Е.В. Аксеновой. [Презентация в формате PDF]

  3. На Международной конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи" (Новороссийск, 20-25 сентября 2010 г.) А.А. Гусевым. [Плакат в формате PDF]

  4. На Международной конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи" (Новороссийск, 20-25 сентября 2010 г.) А.А. Медведевым. [Презентация в формате PDF]

  5. На Международной конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи" (Новороссийск, 20-25 сентября 2010 г.) К.С. Паном и М.Л. Цымблером. [Плакат в формате PDF]

  6. На Международной конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи" (Новороссийск, 20-25 сентября 2010 г.) В.А. Смирновым. [Плакат в формате PDF]

  7. На Международной научной конференции "Параллельные вычислительные технологии 2010" (Уфа, 29 марта - 2 апреля 2010 г.) Е.В. Аксеновой [Плакат в формате PDF]

  8. На Международной научной конференции "Параллельные вычислительные технологии 2010" (Уфа, 29 марта - 2 апреля 2010 г.) К.С. Паном и М.Л. Цымблером [Слайды в формате PDF]

2009 г.

  1. На Всероссийской научной конференции "Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность" (г.   Новороссийск, 21-26 сентября 2009 г.) П.С. Костенецким [Слайды в формате PDF]

► Диссертации, выполненные в рамках проекта

По теме проекта выполнены следующие диссертации:

Костенецкий П.С. Моделирование и анализ иерархических многопроцессорных систем баз данных: Диссертация на соискание ученой степени кандидата физико-математических наук по специальности 05.13.18 защищена в диссертационном совете Д 212.248.14 при Южно-Уральском государственном университете 3 марта 2010 г.
 [Автореферат (PDF)] [Диссертация (PDF)] [Презентация (PDF) PowerPoint (zip)]

 
 
Изменено: 30.12.2011

Copyright © Кафедра системного программирования ЮУрГУ
Дизайн М.Л. Цымблер