Klasztor dominikanów na terenie półwyspu w Trokach założono w 1779 roku. Mnisi rozpoczęli budowę olbrzymiej trzynawowej świątyni. Zaprojektowali ją Augustyn Kossakowski oraz Marcin Knakfus. Żeby kościół zmieścił się na wyznaczonej działce, zakonnicy zburzyli wieżę bramną zamku. Materiały budowlane pochodzące z wieży wykorzystano na fundamenty kościoła. Grubość ścian kościoła murowanego z cegły wynosiła nawet trzy metry. Jednak ambicje zakonników przewyższały posiadane finanse. Gdy zabrakło pieniędzy, jedna nawa kościoła została przebudowana na piętrowy klasztor. Inną przekształcono w kaplicę klasztorną, część pomieszczeń przeznaczono na dormitoria oraz kuchnię. Zamiast nawy głównej kościoła pozostał dziedziniec o szerokości 8 metrów. Nieukończona wieża kościelna została zamieniona w dzwonnicę, Na dziedzińcu zamku pojawiły się składzik, lodownia, drewniana oficyna. W 1864 roku z polecenia władz carskich klasztor zamknięto. W jednym jego skrzydle rozmieszczono dom opieki dla szlachty, w drugim ulokowała się trocka policja. Od 1999 roku w klasztorze mieści się administracja Muzeum Historycznego w Trokach.