Першым уладальнікам замка Панямуне, які пабудавалі ў XVII стагоддзі, быў вугорскі арыстакрат Янаш Эпер’еш (Eperjesz), які таксама займаўся гандлям. Замак праектаваў галандскі архітэктар Пітэр Нонгарт. Падмурак заглыбілі на два метры. Сцены пабудавалі з цэглы, па тэхналогіям эпохі Рэнесансу, таўшчыня сцен складала 1 метр. Вялічны будынак атачалі чатырохпавярховы абарончыя вежы з крутымі лесвіцамі. Наверсе былі байніцы з крыжамі. У падвалах замка месціўся карцер. Пакой, дзе жыла сям’я ўладальніка замка, ацяпляла кафляная печ рэнесанснага стылю. У будынку былі дзве латрыны – так, на лацінскі манер, у той час называлі туалеты; сцёкі па каменнаму каналу выдаляліся пад пагорок, у роў.

Мяняліся ўладальнікі замка, мяняўся і сам замак. У яго абліччы можна ўбачыць фрагменты эпохі Рэнесансу, барока, класіцызму. Да нашых дзён захаваліся тры корпуса замка, стаяць дзве з чатырох вежаў. У замку дзейнічае музей, адкрыліся рэстаран і гатэль.