Программно-определяемая система хранения данных RAIDIX Hydra
Программно-определяемая система хранения данных для кластерных вычислений RAIDIX Hydra - это сочетание уникальных алгоритмов RAID-массива и технологий распределенной файловой системы. Данное сочетание позволяет достичь высокой производительности при работе с большими объемами обрабатываемых данных.
Масштабируемая производительность для передовых вычислительных задач RAIDIX Hydra
Возможности распределенной файловой системы позволяют RAIDIX Hydra работать в среде сложных суперкомпьютерных вычислений и искусственного интеллекта, создавая технологическую основу для академических исследований и передовых разработок в промышленности и финансовых структурах.
В основе архитектуры RAIDIX Hydra лежит принцип размещения сервера распределенной файловой системы и устройства хранения (таргета) на базе высокопроизводительного RAID-массива на единой аппаратной платформе. Такой подход позволяет на порядок снизить стоимость инсталляции, значительно сократить data path, а также упростить процесс обслуживания системы.
|
ГеологоразведкаВизуализация месторождений нефти и других природных ископаемых |
|
Наука и медицинаМоделирование и вычисления в фундаментальных исследованиях и медицине |
|
Климат и экологияПрогнозирование погодных явлений и природных катаклизмов |
|
Финансы и промышленностьГлубинная аналитика на основе нейронных сетей для прикладных задач бизнеса |
Решение работает на стандартном серверном оборудовании без привязки к конкретному производителю. Это устраняет издержки, связанные с модернизацией аппаратных платформ, и открывает широкие возможности для точной настройки системы под требования конкретного проекта.
Ключевые особенности
- Рост производительности по мере масштабирования системы
- Требует до 50% меньше серверного и сетевого оборудования
- Снижение времени отклика за счет значительного сокращения data path
- Просадка производительности при отказе накопителей: не более 10%
- Уникальные уровни RAID-массива: RAID 7.3 / RAID N+M
- Защита от скрытого повреждения данных
- Поддержка накопителей любых производителей и объемов
- Простое горизонтальное масштабирование
СХД для высокопроизводительных вычислений (HPC)
Высокопроизводительные вычисления в фундаментальных и прикладных исследованиях характеризуются обработкой колоссального массива данных. Для этого используются кластерные вычислительные мощности, которые создают множество параллельных потоков операций ввода-вывода. RAIDIX Hydra создает для этих нужд производительную и гибко масштабируемую инфраструктуру хранения, адаптированную для работы в среде суперкомпьютеров.
СХД для технологий искусственного интеллекта
Технологии искусственного интеллекта характеризуются огромным количеством мелких запросов. Важным требованием к задачам этого класса является быстрая обработка запросов в режиме реального времени. За счет использования технологии распределенной файловой системы и упрощенного data path, RAIDIX Hydra позволяет минимизировать время отклика и обеспечить высокую производительность при работе с таким типом нагрузками.
Простая архитектура для сложных задач
Архитектура RAIDIX Hydra основана на интеграции серверных компонентов файловой системы Lustre (OSS/MDS/MGS) и таргета (OST/MDT/MGT) с технологиями хранения RAIDIX в едином контроллере, что существенно повышает продуктивность и экономичность системы по сравнению с традиционными решениями.
Решение на базе RAIDIX Hydra состоит из четырех типов блоков, объединенные общей сетью Infiniband:
1. Кластер метаданных. Двухузловой кластер, обеспечивающий высокодоступное функционирование MGT/MDT-таргетов и соответствующих MDS/MGS-серверов.
2. Кластер объектного хранения. Двухузловой кластер, обеспечивающий высокодоступное функционирование нескольких OST и соответствующих OSS-серверов.
3. Системы-клиенты. Системы под управлением ОС Linux, использующие стандартный клиент Lustre соответствующей версии.
4. Сервер мониторинга. Сервер мониторинга (Integrated Manager for Lustre), собирающий статистику и отслеживающий события на серверах метаданных и серверах с объектным
хранением.
Преимущества решений на базе RAIDIX Hydra
Снижение совокупной стоимости владения
Сокращение количества необходимого серверного и коммутационного оборудования в до 50%. Упрощение первичной настройки и последующего обслуживания системы.
Повышение производительности
Исключения SCSI-стека между устройством хранения и сервером существенно сокращает время отклика, а инновационные технологии RAID-массива повышают пропускную способность системы.
Легкое масштабирование
Решение позволяет осуществлять горизонтальное масштабирование системы при помощи типовых блоков представляющих собой отказоустойчивые кластеры объектного хранения.
Упрощенное администрирование отказоустойчивых блоков
Отказоустойчивость программных серверов Lustre (OSS/MDS/MGS) обеспечивается тем же механизмом, что и отказоустойчивость таргетов на базе RAIDIX, что устраняет необходимость выделенного администрирования HA-кластера
Механизмы дополнительной надежности
Для обеспечения целостности и сохранности данных Lustre-таргетов применяются программные технологии RAIDIX.
RAID 7.3, RAID N+M
Разработанные в RAIDIX уровни массивов позволяют повысить защищенность данных за счет дополнительных дисков, выделенных под контрольные суммы.
Защита от скрытого повреждения данных
Технология Silent Data Corruption Protection обнаруживает и устраняет скрытые ошибки данных без остановки системы и с минимальным влиянием на производительность.
NVDIMM для защиты Write-back cache
Использование энергонезависимой памяти NVDIMM для кэша на запись сохраняет целостность данных при незапланированном отключении питания.
Сокращения времени отработки отказа
Время отработки отказа и просадка производительности существенно сокращается благодаря производительному программному RAID-массиву и технологии упреждающей реконструкции.
Технические характеристики RAIDIX Hydra
Распределенная параллельная файловая система | Lustre 2.10 |
Возможность интеграции с LDAP (RFC 2307bis) | Да |
Уровни RAID | RAID 10, RAID 5i, RAID 6i, RAID 7.3i, RAID N+Mi |
Максимальный теоретический размер файловой системы | 512 ПБ |
Максимальное количество файлов или подкаталогов в каталоге | 5М (128-byte filenames), 10М (48-byte filenames) |
Максимальное число файлов на файловой системе | 4*109 |
Поддерживаемые типы сетевых интерфейсов для сети Lustre (LNET) | Infiniband FDR/EDQ - o2ib |
Поддерживаемый тип бондинга для интерфейсов Infiniband | active-backup |
Поддерживаемые типы файловых систем для таргет-устройств Lustre (MGT/MDT/OST) | LDISKFS |
Рекомендуемый тип накопителя RAID для размещения MDT | SAS SSD, не менее 3DWPD |
Рекомендуемый размер одного OST с LDISKFS | не более 48 ТБ |
Максимально поддерживаемый размер одного OST с LDISKFS | 64 ТБ |
Рекомендуемое количество OST на двухконтроллерную систему RAIDIX Hydra OSS | 6 или менее |
Максимально поддерживаемое количество OST на двухконтроллерную систему RAIDIX Hydra OSS | 8 |
Рекомендуемое количество OST на одноконтроллерную систему RAIDIX Hydra OSS | 6 или менее |
Максимально поддерживаемое количество OST на одноконтроллерную систему RAIDIX Hydra OSS | 8 |