Parallel Computing with R and Python

Objectifs

– Détecter les parties lentes d’un script en utilisant des outils graphiques pour le profilage du code. Les étudiants seront capables de détecter les parties d’un script où le code devrait être amélioré et où les allocations de mémoire devraient être réduites.

– Améliorer les performances du code en utilisant le calcul parallèle de l’unité centrale. Les étudiants seront capables d’utiliser les deux méthodes de calcul parallèle (forking et socket).

Plan

Tout d’abord, une introduction au profilage de code est proposée (micro et macro profilage, surveillance de la mémoire). Ensuite, les deux méthodes standard pour les calculs parallèles sur CPU sont présentées (forking et socket).
Dans la section R, nous verrons les outils de base de la programmation parallèle, comment détecter les goulots d’étranglement dans leur code et comment effectuer des simulations en utilisant la parallélisation.
Avec Python, nous couvrirons les idées de base et les modèles communs dans le calcul parallèle, y compris embarrassingly parallel map, unstructured asynchronous submit, et les grandes collections.

Prérequis

Connaissance de R et Python