Nous attendons d'une machine qu'elle puisse exécuter tous les traitements que nous lui imposons en un temps le plus court possible ; or, la complexité de ces traitements croît régulièrement, ainsi que la quantité de données sur laquelle ils sont appliqués. Pour pallier à ce problème, les fondeurs de processeurs augmentent régulièrement la cadence de traitement des instructions2.3. Or cette croissance peut être trop lente, et va dans quelques temps atteindre une limite due aux matériaux utilisés pour créer les machines. Pour résoudre ce problème, des architectures basées sur le regroupement de processeurs (ou de machines) ont été crées.
Ainsi, les clusters de calcul sont utilisés lorsque des traitements peuvent être optimisés lorsqu'ils sont parallélisable. Ce parallélisme peut-être obtenu en utilisant des mécanismes se trouvant à différents niveaux de l'architecture :