Порядок работы на кластере

Перед началом работы с вычислительным комплексом КГЦ ИЦиГ СО РА, необходимо ознакомится с «Правилами доступа  и использования вычислительных ресурсов»

Оформление заявки на доступ к вычислительным ресурсам КГЦ ИЦиГ СО РАН означает, что вы согласны с Правилами доступа и использования вычислительных ресурсов КГЦ ИЦиГ СО РАН.

Управление вычислительным комплексом КГЦ ИЦиГ СО РАН осуществляется сотрудниками ЦКП «Биоинформатика»


Все пользователи кластера  разделены на 4 категории:

    1. пользователи аффилированные с КГЦ ИЦиГ СО РАН
    2. пользователи-сотрудники ИЦиГ не аффилированные с КГЦ ИЦиГ СО РАН
    3. прочие пользователи —  сотрудники научных и образовательных учреждений  получающие доступ к вычислительным ресурсам ЦКП на основе договоров с ИЦиГ СО РАН.
    4. учащиеся образовательных учреждений

В зависимости от категории пользователя,  определятся лимиты на доступные вычислительные ресурсы.

Регистрация пользователей и срок предоставления вычислительных ресурсов для пользователей категорий 2-4  определяются в рамках заявленных задач, либо в рамках действующих грантов и/или  Договоров об оказании услуг.

Если сроки явно не определены(либо пользователь указал сроки не соответствующие договору/гранту), то доступ предоставляется:

    • для Учащихся — в рамках текущего учебного года.
    • для  сотрудников ИЦиГ(не КГЦ)  и прочих сотрудников (не являющихся сотрудниками ИЦиГ) — в рамках текущего календарного года

  • ЦКП «Биоинформатика», предоставляет доступ к своим ресурсам для научных и образовательных целей сотрудникам и учащимся ИЦиГ СО РАН и других научных учереждений РАН, а также сотрудникам и учащимся образовательных учреждений России в соответствии с Уставом ИЦиГ СО РАН.
  • Доступ предоставляется только для выполнения ресурсоёмких вычислительных задач.
  • Прочие услуги (например, долговременное, за рамками определяемыми текущими грантами, проектами или Договорами —  хранение данных или запуск виртуальных выделенных серверов) не оказываются.
  • Доступ предостовляется по протоколам SSH и SFTP/SCP к управляющему узлу кластера, с которого пользователи взаимодействуют со службами кластера.
  • Пользователи вычислительных ресурсов КГЦ ИЦиГ  обязаны предоставлять отчеты о работах.
  • Доступ предоставляется на ограниченное, но достаточно большое время (до нескольких лет), с возможностью последующего продления. Для всех учётных записей действует процедура запроса отчетов и блокировки при их непредоставлении.
Основные аспекты использования вычислительного комплекса:
  1. На кластере установлена система управления заданиями Slurm.
  2. Рабочая  область hpc-workspace
  3. Файловые системы кластера
Доступные очереди заданий:

amd_256M — узлы общего назначения (13 узлов х 128 потоков х 256Гб ОЗУ)

amd_1Tb — узлы с большой памятью (4 узла х 256 потоков х 1Тб ОЗУ)

amd_2Tb — узел с экстра-большой памятью (1 узел х 256 потоков х 2Тб ОЗУ)

gpunode — узел с GPU (1 узел х 96 потоков х 512Гб ОЗУ, 4 x Nvidia Tesla T4)

Запуск задач на управляющем узле — категорически запрещен

Прежде чем начинать работать на кластере!

для биоинформатиков: установить Miniconda (скрипт установки находится в /home/progf/ ) в вашу домашнюю директорию, подключить bioconda, создать environments под задачу, установить туда ПО.
Необходимо запросить временный раздел для данных ws_allocate -F <filesystem> -m <your e-mail>  <label> <nday>   (памятка по командам:  https://www.mankier.com/package/workspace)
    Example: ws_allocate -F scratch -m user@example.com work 10
эта команда вернет путь к разделу на файловой системе "scratch", на который необходимо будет переместить данные для работы.
    <filesystem> - название файловой системы BeeGFS кластера ("scratch"| "datasets")
    <your e-mail> - адрес электронной почты на который будут приходить уведомления
    <label> - имя вашей рабочей области
    <nday>  - количество дней  после которых система автоматически удалит раздел
Далее, перейти во временный раздел куда были перемещены данные.
Написать скрипт для sbatch
запустить.
После окончания всех работ, очистить временную область командой ws_release