Complete Outfit Recommendations via TensorNet

« Conseiller les client(e)s sur la compatibilité de leur tenue constitue un réel enjeu pour les marques de luxe telles que Louis Vuitton, où la clientèle est soucieuse de son image et dont l’expérience client doit être optimale. La compatibilité d’une tenue est la qualité relative des vêtements assemblés en harmonie en raison de caractéristiques bien assorties. Les systèmes de recommandation de look peuvent orienter les choix des clients vers des looks compatibles. Offrir un service qui permettrait de recommander des looks pertinents à la clientèle ou qui pourrait aider les conseillers de vente en leur proposant des tenues déjà constituées, donne lieu à la fois à la fidélisation de la clientèle à la marque mais aussi à la découverte d’autres tenues qu’elle est susceptible d’apprécier.

Dans le cadre de ce projet de fin d’étude, nous nous sommes inspirées du modèle Tensor Net mis en oeuvre par Huiyuan Chen, Fei Wang, Yusan Lin et Hao Yang et décrit dans leur article «Tops, Bottoms, and Shoes: Building Capsule Wardrobes via Cross-Attention Tensor Network» (2021) (Chen et al. (2021)). Le modèle de l’article étudie la détermination de la compatibilité locale et de la compatibilité globale pour un triplet composé d’items : un haut, un bas et des chaussures.

Le projet s’inscrit dans une logique de recommandation de tenues, et sera traité sous deux angles différents, répondant à la problématique suivante : “Comment recommander aux client(e)s des looks compatibles ?”.

Dans un premier temps, nous présentons la construction de la base de données. Nous avons utilisé le jeu de données Polyvore. Polyvore est un site Web de mode où les utilisateurs téléchargent des images de tenues et où chaque tenue est aimée par les autres utilisateurs. Un important travail de traitement des données a été établi entre les dossiers d’images de tenues et les fichiers JSON contenant des métadonnées pour chaque tenue. Notre étude pourra être étendue aux données Louis Vuitton par la suite afin de recommander plus spécifiquement leurs clients.

Ensuite, nous avons mis en évidence la construction du premier angle d’approche : la méthode “Straightforward”, une méthode permettant de classifier les tenues suivant leur compatibilité. Les labels de compatibilité sont construits selon des critères spécifiques aux attributs descriptifs des tenues. Un Réseau de Neurones Convolutif (CNN) est ensuite appliqué à ces données, permettant de classifier la compatibilité de nouvelles tenues. Cette première méthode nous permettra de construire une ligne conductrice quant à la recommandation de looks et à la classification de tenues. De manière plus concrète, cette méthode pourra être utilisée pour donner des conseils à des clients ou clientes qui souhaiteraient avoir un avis sur la compatibilité de leurs tenues.

Notre second angle d’approche s’inspire partiellement de l’article Chen et al. (2021). TensorNet permet d’étudier la compatibilité globale de nouvelles tenues à partir des tenues déjà existantes, grâce à l’utilisation de tenseurs. Un réseau de neurones pré-entraîné est utilisé pour extraire les zones d’intérêts des différents vêtements (haut, bas, chaussures), c’est-à-dire ce qui fait leur spécificité. Ensuite, grâce à une mesure de similarité, on pourra rapprocher les vêtements qui se ressemblent. Enfin, nous créerons un tenseur (une matrice en trois dimensions) qui contiendra toutes nos tenues. On pourra donner un score similaire aux tenues qui possèdent un article qui se ressemble. D’un point de vue métier, cette méthode pourra être ré-utilisée de la façon suivante : si un client apprécie un haut, on pourra lui recommander tous les bas et chaussures qui sont compatibles avec ce haut dans le tenseur et ainsi lui proposer plusieurs tenues différentes. »