Základní IT infrastruktura

Výpočetní cluster CIIRC

Výpočetní cluster CIIRC slouží výzkumníkům, studentům a spolupracovníkům CIIRC pro náročné výpočty. CIIRC cluster nabízí i akceleraci na grafických kartách. Cluster je průběžně rozšiřován a vylepšován.

CIIRC cluster je XSEDE Compatible Basic Cluster založený na OpenHPC projektu. CIIRC cluster běží na operačním systému CentOS 7. Používá workload manager a job scheduler Slurm. Management a orchestraci clusteru zajišťuje Warewulf toolkit.

Uživatelský software je spravavován pomocí EasyBuild, frameworku pro build a instalaci vědeckého softwaru a používá systém modulů Lmod. Kontejnerizační platforma CIIRC clusteru je Singularity.

Jádro clusteru tvoří pět uzlů NVIDIA DGX-1 doplněných o další gpu a výpočetní uzly. Viz detaily v následující tabulce:

 
Počet uzlů 26
Celkem CPU 1872
Celkem RAM 10.5 TB
Počet V100-32-MaxQ GPU 40
Počet A40, 48 GB GPU 24
Počet GTX 1080 Ti; 11 GB GPU 18
Teoretický CPU výkon 37.5 TFLOPS
Teoretický GPU výkon SP 1517 TFLOPS

 

Uzly jsou propojeny 10 Gbps Ethernetem a 100 Gbps EDR IB (InfiniBand).  Všechny nody mají lokální ssd scratch disk. Celý cluster je připojen ke 600 TB Isilon NAS úložišti.

Úložiště clusteru:

  • 600 TB úložiště exportované jako nfs přes 10 Gbps, sloužící pro domovské adresáře a projektová data.
  • 17 TB all flash úložiště, exportované jako beegfs parallel filesystem přes 100 Gbps EDR Infiniband, sloužídí jako sdílený scratch prostor pro uzly s rychlými GPU.
  • Všechny nody mají lokální ssd scratch disk.

Poděkování za financování:

Budování a průběžné rozšřování výpočetního clusteru CIIRC vyžaduje nemalé finanční zdroje. Peníze na cluster pocházejí převážně z národních projektů a projektů Evropské komise, např. investice vlády České republiky na vznik CIIRC, ERC Consolidator project AI4REASON Josefa Urbana a jeho projekt AI & Reasoning; projekt IMPACT Josefa Šivice, projekt R4I Roberta Babušky a dalších.

Zodpovídá: Jan Kreps; Poslední změna 2022-11-28