Większość systemów rekomendacyjnych opiera się na sugerowaniu produktów z tej samej kategorii (opisanej tekstowo) lub polecaniu produktów, które inny klient kupił łącznie z wyszukanym produktem. Takie systemy rekomendacyjne osiągnęły już swoją maksymalną efektywność, nie widać postępu w jej wzroście. Pojawia się tu również efekt cold start – nowe produkty nie są rekomendowane, jeśli żaden inny klient jeszcze ich nie kupił. Wymagają one więc szczególnego nacisku na promocję, co wiąże się z dodatkowymi kosztami.

Aby ominąć te problemy zdecydowaliśmy się na rekomendowanie produktu na podstawie jego cech wizualnych.

Budowa systemu rekomendacyjnego dla dziedziny takiej jak moda jest wyzwaniem trudnym ze względu na duży poziom subiektywności i skomplikowania semantycznego wymaganych cech (np. styl). Zdjęcie ubrania potencjalnie zawiera wiele atrybutów odpowiadających różnym wizualnym aspektom: kategorie, kolory, spójność, wzorce, ogólne zasady dobierania w pary, opcje doboru całej kreacji, a także style dla innego wieku i osoby. Nie jest możliwe etykietowanie ani wylistowanie wszystkich możliwych atrybutów każdego obrazu ubrania.

Rekomendacja na podstawie cech wizualnych jest zbliżona w pewnych aspektach do wyszukiwania obrazem, pojawia się tu jednak szereg wyzwań i problemów, które należy potraktować w inny sposób. Rekomendowanie może polegać nie tylko na wizualnym podobieństwie, ale także np. na stylu czy sugerowaniu całego kompletu ubrań w konkretnym stylu lub kolorze. Kolejnym przykładem rekomendacji może być: „W jaki sposób mogę uzyskać taki sam wygląd jak celebrytka X, ale przy ograniczonym budżecie”, gdzie należy wyodrębnić elementy garderoby ze zdjęcia celebrytki oraz zaproponować podobne wizualnie zestawy, ale w niższych cenach.