Грант РФФИ No. 12-07-00443 (2012-2014 гг.)
Разработка масштабируемых методов и параллельных алгоритмов для интеллектуального анализа данных на гибридных многопроцессорных системах с многоядерными ускорителями
 
Аннотация
 
Участники
 
Публикации
 
Апробация
 
Отчеты
 
Диссертации

► Участники проекта

Руководитель проекта: Цымблер Михаил Леонидович (mzym@susu.ru)

Основные исполнители проекта:

► Аннотация проекта

Проблематика проекта. В настоящее время актуальной и интенсивно развивающейся областью интеллектуального анализа данных является использование параллельных методов и алгоритмов для анализа сверхбольших объемов данных. В качестве аппаратной платформы систем интеллектуального анализа традиционно используются многопроцессорные системы кластерного типа с SMP узлами, однако такая архитектура имеет известный предел масштабируемости и производительности. В последние время в области параллельных алгоритмов интеллектуального анализа данных интенсивно развивается направление, связанное с использованием многоядерных графических ускорителей, которые могут обеспечить более высокую эффективность, чем обычные многопроцессорные системы. Однако программирование для графических ускорителей является более трудоемким по сравнению с традиционным подходом и во многих случаях связано с масштабным переписыванием исходных текстов программ. Новейшая аппаратная платформа гибридных многопроцессорных систем с многоядерными ускорителями Intel Many Integrated Core (MIC) совмещает в себе преимущества графических ускорителей с традиционной архитектурой х86. По результатам экспериментов компании-разработчика, гибридная многопроцессорная платформа с использованием MIC превосходит по производительности и эффективности многопроцессорные системы с графическими ускорителями. Несмотря на то, что MIC имеют х86 архитектуру, существующие алгоритмы и методы интеллектуального анализа данных не могут быть напрямую перенесены на новую гибридную многопроцессорную платформу. Это связано с тем, что они не учитывают специфику архитектуры MIC, без чего не возможно их эффективное использование.

Целью проекта является разработка и исследование новых масштабируемых методов и параллельных алгоритмов интеллектуального анализа данных на гибридных многопроцессорных системах с многоядерными ускорителями класса MIC.

Проект рассчитан на три года (2012-2014) и направлен на решение следующих исследовательских проблем:

  1. параллельные и распределенные алгоритмы интеллектуального анализа данных;

  2. механизм обработки атомарных операций интеллектуального анализа на базе асинхронного конвейера с использованием фактора многоядерности;

  3. методы балансировки загрузки в гибридных многопроцессорных средах.

Актуальность проекта обоснована тем, что в настоящее время в мире отсутствуют высоко параллельные (highly parallel) методы и алгоритмы интеллектуального анализа данных, ориентированные на гибридные многопроцессорные систем с многоядерными ускорителями класса MIC.

Методы реализации проекта базируются на технологии распараллеливания запросов на основе оператора EXCHANGE, методе балансировки загрузки с использованием техники зеркалирования, методе организации асинхронного конвейера на базе промежуточных буферов с применением фактор-функций, DMM-модели многопроцессорных иерархий и др.

Данный проект является продолжением работ, выполненных по гранту РФФИ № 09-07-00241 (2009-2011 гг.): "Алгоритмы и методы параллельной обработки запросов в системах баз данных для многопроцессорных систем с иерархической архитектурой".

► Публикации по проекту

Основные результаты, полученные в ходе выполнения данного проекта, опубликованы в следующих работах:

2014 г.

  1. Янцен Д.Д., Цымблер М.Л. Алгоритм репрезентативного сэмплинга для систем баз данных на основе фрагментного параллелизма // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2014. Т. 3, № 4. С. 35-50. [Текст в формате PDF]

  2. Янцен Д.Д., Цымблер М.Л. Алгоритм репрезентативного сэмплинга для параллельных реляционных систем баз данных // Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). М.: Изд-во МГУ, 2014. С. 32-40. [Текст в формате PDF]

  3. Мовчан А.В., Цымблер М.Л. Параллельный алгоритм поиска похожих подпоследовательностей временного ряда для сопроцессора Intel Xeon Phi // Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). М.: Изд-во МГУ, 2014. С. 245-251. [Текст в формате PDF]

  4. Миниахметова М.С., Цымблер М.Л. Поиск объектов в хранилищах видеоданных на основе использования параллельной СУБД и сопроцессоров Intel Xeon Phi // Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). М.: Изд-во МГУ, 2014. С. 270-274. [Текст в формате PDF]

  5. Иванова Е.В. Использование распределенных колоночных хеш-индексов для обработки запросов к сверхбольшим базам данных // Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: Труды Международной суперкомпьютерной конференции (22-27 сентября 2014 г., Новороссийск). М.: Изд-во МГУ, 2014. С. 102-104. [Текст в формате PDF]

  6. Иванова Е.В., Соколинский Л.Б. Использование распределенных колоночных индексов для выполнения запросов к сверхбольшим базам данных  // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции (1–3 апреля 2014 г., г. Ростов-на-Дону). Челябинск: Издательский центр ЮУрГУ, 2014. С. 270–275. [Текст в формате PDF]

  7. Речкалов Т.В. Технология совместного использования свободной СУБД PostgreSQL и сопроцессоров Intel Xeon Phi для решения задач интеллектуального анализа данных   // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции (1–3 апреля 2014 г., г. Ростов-на-Дону). Челябинск: Издательский центр ЮУрГУ, 2014. С. 376. [Текст в формате PDF]

  8. Лымарь Т.Ю., Мантрова Т.С. Фрактальный поиск в базе данных с применением модели распределенных вычислений // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции (1–3 апреля 2014 г., г. Ростов-на-Дону). Челябинск: Издательский центр ЮУрГУ, 2014. С. 369. [Текст в формате PDF]

  9. Мовчан А.В., Цымблер М.Л. Разработка параллельного алгоритма поиска похожих подпоследовательностей временного ряда для сопроцессора Intel Xeon Phi  // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции (1–3 апреля 2014 г., г. Ростов-на-Дону). Челябинск: Издательский центр ЮУрГУ, 2014. С. 372. [Текст в формате PDF]

  10. Янцен Д.Д., Цымблер М.Л. Алгоритм репрезентативного сэмплинга для параллельных систем баз данных // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции (1–3 апреля 2014 г., г. Ростов-на-Дону). Челябинск: Издательский центр ЮУрГУ, 2014. С. 381. [Текст в формате PDF]

2013 г.

  1. Пан К.С., Соколинский Л.Б., Цымблер М.Л. Интеграция параллелизма в СУБД с открытым кодом // Открытые системы. СУБД. 2013. № 9. С. 56-58. [Текст в формате PDF]

  2. Pan C.S., Zymbler M.L. Taming Elephants, or How to Embed Parallelism into PostgreSQL // Database and Expert Systems Applications - 24th International Conference, DEXA 2013, Prague, Czech Republic, August 26-29, 2013. Proceedings, Part I. Springer, 2013. Lecture Notes in Computer Science. Vol. 8055. P. 153-164. [Текст в формате PDF]

  3. Pan C.S., Zymbler M.L. Very Large Graph Partitioning by Means of Parallel DBMS // Advances in Databases and Information Systems - 17th East European Conference, ADBIS 2013, Genoa, Italy, September 1-4, 2013. Proceedings. Springer, 2013. Lecture Notes in Computer Science. Vol. 8133. P. 388-399. [Текст в формате PDF]

  4. Пан К.С., Цымблер М.Л. Исследование эффективности параллельной СУБД PargreSQL // Научный сервис в сети Интернет: все грани параллелизма: Труды Международной суперкомпьютерной конференции (23-28 сентября 2013 г., Новороссийск). М.: Изд-во МГУ, 2013. С. 148-149. [Текст в формате PDF]

  5. Речкалов Т.В. Подход к совместному использованию сопроцессора Intel Xeon Phi и СУБД PostgreSQL для решения задач интеллектуального анализа данных // Научный сервис в сети Интернет: все грани параллелизма: Труды Международной суперкомпьютерной конференции (23-28 сентября 2013 г., Новороссийск). М.: Изд-во МГУ, 2013. С. 550-553. [Текст в формате PDF]

  6. Гавриш Е.В., Колтаков А.В., Медведев А.А., Соколинский Л.Б. Параллельная СУБД с открытым исходным кодом для кластерных вычислительных систем // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2013. Т. 2. № 3. С. 81-91. [Текст в формате PDF]

  7. Епишев В.В., Исаев А.П., Миниахметов Р.М., Мовчан А.В., Смирнов А.С., Соколинский Л.Б., Цымблер М.Л., Эрлих В.В. Система интеллектуального анализа данных физиологических исследований в спорте высших достижений // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2013. Т. 2. № 1. С. 44-54. [Текст в формате PDF]

  8. Губин М.В., Соколинский Л.Б. Об оценке коммуникационных затрат при обработке фрагментированного отношения для равномерного распределения // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2013. Т. 2. № 1. С. 33-43. [Текст в формате PDF]

  9. Речкалов Т.В. Подход к интеграции интеллектуального анализа данных в реляционную СУБД на основе генерации текстов хранимых процедур // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2013. Т. 2. № 1. С. 114-121. [Текст в формате PDF]

2012 г.

  1. Kostenetskiy P., Sokolinsky L. Modeling of hierarchical multiprocessor database systems // Proceedings of the 2012 International conference on parallel and distributed processing techniques and applications (PDPTA'12), July 16-19, 2012, Las-Vegas, USA. CSREA Press, 2012. Vol. 2. P. 919-925. [Текст в формате PDF]

  2. Семёнов А.И., Костенецкий П.С. Исследование эффективности хранения и обработки баз данных в графической памяти видеокарт с поддержкой CUDA // Параллельные вычислительные технологии (ПаВТ’2012): труды международной научной конференции (Новосибирск, 26 – 30 марта 2012 г.). Челябинск: Издательский центр ЮУрГУ, 2012.  С. 743. [Текст в формате PDF]

  3. Сафина Ю.Н., Костенецкий П.С. Моделирование аппаратной архитектуры и коммуникационных сетей вычислительных кластеров с гибридными узлами для параллельных систем баз данных // Параллельные вычислительные технологии (ПаВТ’2012): труды международной научной конференции (Новосибирск, 26-30 марта 2012 г.). Челябинск: Издательский центр ЮУрГУ, 2012.  С. 741. [Текст в формате PDF]

  4. Пан К.С., Цымблер М.Л. Разработка параллельной СУБД на основе последовательной СУБД PostgreSQL с открытым исходным кодом // Вестник ЮУрГУ. Серия "Математическое моделирование и программирование".  2012. № 18(277). Вып. 12. С. 112-120. [Текст в формате PDF]

  5. Пан К.С., Цымблер М.Л. Использование параллельной СУБД PargreSQL для интеллектуального анализа сверхбольших графов // Суперкомпьютерные технологии в науке, образовании и промышленности. 2012. № 1. С. 113-120.  [Текст в формате PDF]

  6. Речкалов Т.В. Подход к интеграции интеллектуального анализа данных в реляционные СУБД на основе генерации хранимых процедур // Актуальные проблемы механики, математики, информатики: сб. тез. науч.-практ. конф. (Пермь, 30 октября - 1 ноября 2012 г.) / гл. ред. В.И. Яковлев; Перм. гос. нац. исслед. ун-т. Пермь, 2012. С. 168. [Текст в формате PDF]

► Апробация проекта

Основные результаты, полученные в ходе выполнения данного проекта, докладывались на следующих научных конференциях, семинарах и совещаниях:

2014 г.

  1. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: многообразие суперкомпьютерных миров" (22-27 сентября 2014 г., Новороссийск) А.В. Мовчаном и М.Л. Цымблером

  2. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: многообразие суперкомпьютерных миров" (22-27 сентября 2014 г., Новороссийск) М.С. Миниахметовой и М.Л. Цымблером

  3. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: многообразие суперкомпьютерных миров" (22-27 сентября 2014 г., Новороссийск) Е.В. Ивановой

  4. На Международной научной конференции "Параллельные вычислительные технологии 2014" (1-3 апреля 2014 г., Ростов-на-Дону) Е.В. Ивановой и Л.Б. Соколинским. [Презентация в формате PDF]

  5. На Международной научной конференции "Параллельные вычислительные технологии 2014" (1-3 апреля 2014 г., Ростов-на-Дону) М.Л. Цымблером и Д.Д. Янценом. [Плакат в формате PDF]

  6. На Международной научной конференции "Параллельные вычислительные технологии 2014" (1-3 апреля 2014 г., Ростов-на-Дону) М.Л. Цымблером и А.В. Мовчаном [Плакат в формате PDF]

  7. На Международной научной конференции "Параллельные вычислительные технологии 2014" (1-3 апреля 2014 г., Ростов-на-Дону) Т.В. Речкаловым  [Плакат в формате PDF]

  8. На Международной научной конференции "Параллельные вычислительные технологии 2014" (1-3 апреля 2014 г., Ростов-на-Дону) Т.Ю. Лымарь и Т.С. Мантровой
2013 г.

  1. На Международной научной конференции DEXA 2013 - Database and Expert Systems Applications - 24th International Conference (Prague, Czech Republic, August 26-29, 2013) М.Л. Цымблером и К.С. Паном [Презентация в формате PDF]

  2. На Международной научной конференции ADBIS 2013 - 17th East-European Conference on Advances in Databases and Information Systems (Genoa, Italy, September 1-4, 2013) М.Л. Цымблером и К.С. Паном [Презентация в формате PDF]

  3. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: все грани параллелизма" (23-28 сентября 2013 г., Новороссийск). М.Л. Цымблером и К.С. Паном [Презентация в формате PDF]

  4. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: все грани параллелизма" (23-28 сентября 2013 г., Новороссийск). Т.В. Речкаловым  [Презентация в формате PDF]

  5. На Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: все грани параллелизма" (23-28 сентября 2013 г., Новороссийск). М.В. Губиным

2012 г.

  1. На Международной научной конференции PDPTA'12 - International conference on parallel and distributed processing techniques and applications (July 16-19, 2012, Las-Vegas, USA) П.С. Костенецким и Л.Б. Соколинским

  2. На Международной научной конференции "Параллельные вычислительные технологии 2012" (Новосибирск, 26 марта - 30 марта 2012 г.) А.И. Семёновым и П.С. Костенецким [Плакат в формате PDF]

  3. На Международной научной конференции "Параллельные вычислительные технологии 2012" (Новосибирск, 26 марта - 30 марта 2012 г.) Ю.Н. Сафиной и П.С. Костенецким [Плакат в формате PDF]

  4. На Всероссийской научно-практической конференции "Актуальные проблемы механики, математики, информатики - 2012" (Пермь, 30 октября - 1 ноября 2012 г.). Т.В. Речкаловым [Презентация в формате PDF]

► Диссертации, выполненные в рамках проекта

По теме проекта выполнены следующие диссертации:

Пан К.С. Методы внедрения фрагментного параллелизма в последовательную СУБД с открытым исходным кодом: Диссертация на соискание ученой степени кандидата физико-математических наук по специальности 05.13.11 защищена в диссертационном совете Д 212.298.18 при Южно-Уральском государственном университете 18 декабря 2013 г.
 [Автореферат (PDF)] [Диссертация (PDF)] [Презентация (PDF)]

ертации, выполненные в рамках проекта
 
Изменено: 20.12.2014

Copyright © Кафедра системного программирования ЮУрГУ
Дизайн М.Л. Цымблер