extreme data

Storage for High Performance Computing

Высокопроизводительные системы хранения данных

В условиях постоянно увеличивающегося объема данных, создаваемых новыми источниками информации, управлением петабайтами данных становится все более сложной задачей. Используя наш большой опыт в области разработки решений для управления большими массивами данных, Atos теперь предлагает не только адаптированные решения, но и Bull Director for HPSS, первую разработку в рамках пакета программных продуктов Bull для высокопроизводительных систем хранения данных (HPSS).

Bull Director for HPSS: увеличивает производительность ваших HPSS-систем >>
METEO FRANCE «обработка экстремальных массивов данных» >>
Уорикский университет «аналитика на базе экстремальных массивов данных» >>

Bull Director for HPSS: увеличивает производительность ваших HPSS-систем

Все чаще компании вынуждены работать с массивами данных объемом в сотни терабайт или несколько петабайт, поэтому внедрение технологии управления иерархической структурой хранения информации (Hierarchical Storage Management, HSM) приобретает важное значение. HSM – это метод хранения данных, который в автоматическом режиме перемещает данные между высокопроизводительными/дорогими системами хранения данных и менее производительными/ более дешевыми системами хранения данных, которые имеют большую емкость. Для оптимизации расходов HSM-системы хранят основной объем данных на медленных и недорогих системах, включая роботизированные ленточные библиотеки, и копируют данные на более быстрые дисковые системы, когда эти данные нужны для обработки.

Высокопроизводительные системы хранения данных (High Performance Storage System, HPSS) – это HSM-системы, созданные в рамках сотрудничества компании IBM Global Business Services и 5 лабораторий министерства энергетики США, к которым позже присоединилась французская организация CEA/DAM. Atos имеет большой опыт реализации HPSS-систем в сложных средах, для которых ключевое значение имеет долгосрочное хранение и повторное использование больших массивов данных. Atos разработала Bull Director for HPSS для того, чтобы устранить ряд недостатков, связанных с HPSS-системами. Решение Bull Director for HPSS повышает скорость работы систем HPSS для ленточных библиотек в средах с множеством одновременных запросов доступа за счет группирования в режиме реального одинаковых запросов от различных пользователей.

В чем заключается проблема?

В масштабных вычислительных системах приложения, как правило, работают в виде пакетных заданий, т.е. пользователи отправляют в систему запрос на выделение ресурсов, таких как  указанное количество ядер процессора и список указанных файлов, необходимых для настройки среды выполнения программы, файлы входных данных и заполнители для файлов-результатов.

Обработка десятков терабайт данных и миллионов файлов

В условиях терафлопных и петафлопных систем и зависимости от типа работающих приложений общий объем массивов данных и количество файлов может достигать 10 терабайт и несколько миллионов файлов на одно пакетное задание.

Каждая система, как правило, разделяется между несколькими заданиями для того, чтобы максимально использовать ресурсы каждой машины, что создает нагрузку на HSM-систему – она должна предоставить соответствующую среду обработки или перенести нагрузку на более низкий уровень как можно быстрее. В условиях исполнения программы эти большие массивы данных хранятся на быстрых дисках для быстрого цикла обработки. После того, как приложения выполнили свои задачи, данные переносятся на более дешевые и емкие носители. Это означает, что в определенный момент времени, во время начала и завершения задачи, HSM-система вынуждена управлять миллионами запросов на перенос файлов для того, чтобы освободить пространство на быстрых дисках для каждой из параллельных задач. В конечном итоге может возникнуть ситуация, когда на HPSS-систему отправляется более 10000 файлов. Эти задачи будут обрабатываться по очереди, поэтому конечные пользователи будут вынуждены ждать (на протяжении нескольких минут, часов), когда закончится обработка предыдущих запросов.

Bull Director for HPSS позволяет устранить задержки с обработкой очередей запросов.

METEO FRANCE “обработка экстремальных массивов данных”

METEO FRANCE

Улучшение точности прогнозов погоды и изменений климата имеет критически важное значение для METEO FRANCE. Перед компанией стоит задача повысить оперативность прогнозов, увеличить точность определения местоположения неблагоприятных погодных явления и спрогнозировать изменения климата и их последствия. Новые виды наблюдений и более точные модели прогнозирования вызвали потребность в новом поколении суперкомпьютеров и новой архитектуре, которые будут способны управлять и обрабатывать большие массивы данных. УЗНАЙТЕ ПОДРОБНЕЕ В ВИДЕО >>

Уорикский университет «аналитика на базе экстремальных массивов данных»

University of Warwick

Уорикский университет разработал в партнерстве с Atos проект, посвященный урбанистике. Цель проекта заключалась в том, чтобы оценить возможности для улучшения качества и скорости работы городских служб. Уорикский университет поддерживает партнерские отношения с центром Center for Urban Science and Progress и другими престижными ВУЗами, включая prestigious universities Нью-Йоркский университет, Городской колледж Нью-Йорка, Университет Карнеги-Меллон, Торонтский университет и Индийский технологический институт Бомбея. Уорикский университет совместно с Atos реализовал новую возможность для обработки больших данных для поддержки обработки и анализа больших объемов данных. Этот проект позволит предоставить новые сервисы для города: анализ парковок для планирования улиц города, анализ перемещения жителей, контроль распространения заболеваний для управления трафиком, совместная навигация, оценка качества дорого, проактивный анализ для технического обслуживания транспорта и информационная безопасность. Atos предоставила аппаратную платформу на базе HPC-серверов bullx и работает с университетом для проведения анализа больших объемов данных и повышения скорости анализа быстро изменяющихся данных. Кроме того, компания рассматривает возможность использования ускорителей и сервисов аналитики данных в оперативной памяти.