Traķu pussalas pili kunigaitis Ķēstutis sāka būvēt XIV gadsimtā. Pils slējās Upurkalnā. Tā būvēta kā aizsardzības nocietinājums. No sauszemes koka pili nodalīja izraktais dziļais grāvis. Aizsardzība bija jānodrošina divām akmens sienu rindām. To biezums pārsniedza trīs metrus. Stūros pacēlās četrstūru torņi. No viena tika aizsargāti pils vārti, pārējie kalpoja sienu aizsardzībai. No uz āru izvirzītajiem torņiem valdnieka karavīriem bija ērti no sāniem apšaudīt sienas šturmējošos ienaidniekus. Gandrīz tukšais pils pagalms paredzēts armijai vai briesmu gadījumā pilī saskrējušajiem iedzīvotājiem. Lai iekarotu šādu pili, 1383. gadā uzbrukušajiem krustnešiem bija nepieciešamas divas nedēļas. Pēc cīņām nopostītās un sagrautās pils atjaunošanu uzsāka Vītauts. Būvniecībai koka vietā sāka izmantot mūri un ķieģeļus. Būvmateriāli tika gatavoti šeit pat ierīkotajā dubultajā kaļķa dedzināšanas krāsnī. Strādnieki uzmūrēja jaunas sienas, sakārtoja sabrukušos torņus, nostiprināja aizsardzības sienas nogāzes. Austrumu pagalmā pacēlās divstāvu mūra ēka. Pēc Vītauta nāves pils būvniecība palika nepabeigta.