Обеспечение безопасного, надежного и производительного хранения файлов — одна из важнейших услуг, предоставляемых ЦКП «Биоинформатика». На этой страничке описывается архитектура файловой системы кластера и правила работы с ней.
Обращаю внимание пользователей — все ресурсы кластера квотированны — это относится и к файловым системам.
На кластере используется три вида сетевых файловых систем
- BeeGFS —это инновационная файловая система, разработанная специально для высокопроизводительных вычислительных кластеров. Она играет ключевую роль в обеспечении эффективной работы вычислительных узлов кластера, поскольку ее производительность часто становится ограничивающим фактором для общей производительности системы. BeeGFS предлагает ряд преимуществ, включая возможность использования высокоплотных дисковых массивов и серверов хранения данных от различных вендоров, что позволяет значительно повысить производительность кластера.
- Ceph — свободная программная объектная сеть хранения (англ. object storage), обеспечивающая как файловый, так и блочный интерфейсы доступа. Может использоваться на системах, состоящих как из нескольких Linux-машин, так и из тысяч узлов (известно об эксплуатации систем на Ceph размером в сотни петабайт), встроенные механизмы продублированной репликации данных обеспечивают высокую живучесть системы, при добавлении или удалении новых узлов массив данных автоматически перебалансируется с учётом изменений.
- NFS — это распределенная файловая система которая обеспечивает пользователям доступ к файлам, расположенным на удаленных компьютерах, и позволяет работать с этими файлами точно так же, как и с локальными.
Файловая система BeeGFS. (На кластере, работа c разделами beegfs осуществляется через систему hpc-workspace.)
Основной файловой системой для обеспечения высокопроизводительного, низколатентного доступа является файловая система на базе BeeGFS (v.7.4.3).
Файловая система кластера BeeGFS собрана на Enterprise SAS и NVMe SSD Пользователям доступно два тома:
- /scratch — 106Тб
- /datasets — 86Тб
Раздел /scratch — это основной рабочий том. Предназначен для обеспечения ввода/вывода на вычислительных узлах кластера. Все вычислительные узлы имеют возможность «читать» и «записывать» данные на этот раздел.
Раздел /dataset — этот раздел предназначен для размещения наборов данных — например SRA-архивов, различных наборов библиотек данных NCBI, ENSEMBL и т.п. . Основная идея работы с данным разделом — размещение на нем таких данных, которые являются статичными (т.е. не изменяемыми в процессе работы). Вычислительным узлам, этот раздел доступен только для чтения (т.е. программы, запущенные на вычислительных узлах, не могут ничего записывать на этот раздел — только читать.) Доступ на запись, возможен только с управляющего узла.
В своей работе, пользователям надо принимать во внимание следующее:
- Недопустимо использовать разделы файловой системы BeeGFS в качестве места долговременного хранения файлов. (п.11 «Правил доступа к выч.ресурсам»). На разделах BeeGFS должны находиться только те данные, которые непосредственно используются в текущих расчетах. После завершения расчетов, пользователю необходимо незамедлительно очистить свой раздел от временных файлов.
- Отказоустойчивость файловой системы BeeGFS снижена в угоду производительности. Пользователь должен самостоятельно обеспечивать своевременное резервное копирование своих данных (п.12 «Правил доступа к выч.ресурсам»).
Файловая система Ceph.
Раздел /sf/datasor — предназначен для долговременного ( в рамках длительности гранта, проекта или договора) хранения пользовательских данных. Пользователь должен загружать необходимые ему данные из внешних источников именно на этот раздел. Также, на этот раздел должны быть перемещены результаты вычислений. Раздел доступен на чтение и запись только с управляющего узла кластера.
В своей работе, пользователям надо придерживаться следующих правил:
- Не следует сбрасывать на этот раздел «файловый мусор» — т.е. различного рода временные файлы и папки.
- Избегайте большой вложенности катологов. Оптимальное значение не выше двух.
- Если ваши данные подразумевают большую вложенность — перед перемещением данных на этот раздел — создавайте архивы (рекомендуется использовать pigz — параллельная реализация gzip для современных
многопроцессорных, многоядерных машин). - Задавайте каталогам осмысленные наименования.
Файловая система NFS
Раздел /home — общяя для всех вычислительных и управляющих узлов файловая система. На управляющем узле, этот раздел доступен в режиме чтение/запись, на вычислительных узлах — доступен только для чтения. Этот раздел содержит «домашние каталоги» пользователей. В своем домашнем каталоге, пользователь разворачивает файлы системы Miniconda, виртуальные окружения и другое «локальное» программное обеспечение.