Przypominający literę T dom karaimski w Trokach powstał w połowie XIX w. Na działce należącej do wspólnoty karaimskiej działała karczma. Mimo że dobrze prosperowała, po II wojnie światowej, przestała działać. Dom przekazano ochronie resortowej. W budynku zaczął działać areszt. W okresie powojennym więziono tu uczestników ruchu oporu.