A kolostort valószínűleg az északkelet-indiai tantrikus kolostori egyetem, Odantapurí (mai Bihár tartomány) mintájára építették. A nagy központi templomot kisebb szentélyek és sztúpák vették körül, melyek egy térbeli mandalát formáltak, s egyben a buddhista világegyetem központját, azaz a Méru hegyet, a négy fő- és nyolc mellék kontinenst, valamint a Napot és a Holdat jelképezték. Ellipszis alakú külső fala ugyancsak a mandala körkörös elvére utal. Nevezetes a főbejárat baloldalán álló feliratos kőoszlop, mely a buddhizmus államvallássá tételét hirdeti, valamint az alapítás korából való két kőoroszlán, egy kőelefánt és egy feliratos bronzharang. A „középső” templom, a háromemeletes Üce (t.: dBu rtse) szintjei az írásos hagyomány szerint három különböző – tibeti, kínai és indiai (más forrás szerint khotáni) – stílusban épültek. Szamje korábbi és jelenlegi védelmező istensége, Pehár (t.: Pe har), a 8. században, Közép-Ázsiából ide hozott istenség és Ceu Marpo (t.: Tse’u dmar po) szobra a Tanvédő istenségek szentélyében kapott helyet. A falképeket, melyek főként történelmi jeleneteket ábrázolnak, a 18. század közepén festették újra. A kolostor polgárháború (11. század), tűzvészek (17. és 19. század) és földrengés (1816) miatt korábban jelentékeny csapásokat szenvedett, ám ezeket a 18. és a 19. században helyreállították. Bár az 1950-es években nem érte kár az épületeket, a Kulturális Forradalom elején a kínai vörösgárdisták lerombolták az Üce harmadik emeletét, aranyozott tetőzetét, és körülötte a négy sztúpát is. Eltűnt a kolostor számos szobra, thangkája és rituális felszerelése is. Szamjét az 1980-as évek végén kezdték helyreállítani.