Mit dem Bau der Burg auf der Halbinsel Trakai hatte im 14. Jahrhundert der litauische Großfürst Kęstutis begonnen. Als Ort für die geplante Festung hatte er den Opferberg ausgewählt. Ein tiefer, eigens ausgehobener Graben trennte die hölzerne Burg vom Festland. Für zusätzlichen Schutz sorgten zwei Reihen Steinmauern, deren Dicke mehr als drei Meter betrug. In den Ecken ließ er viereckige Türme errichten. Einer diente als Burgtor, die anderen schützten die Mauer. Von den vorstehenden Türmen aus konnten die Mannen des Herrschers bequem die angreifenden Feinde von der Seite beschießen. Der fast leere Burghof diente dem Heer oder als Zufluchtsort der Bewohner bei drohender Gefahr. Die Kreuzritter belagerten diese Burg 1383 zwei Wochen, bevor sie sie einnehmen konnten. Die nach dem Kampf vernichtete Burg wurde von Vytautas wiederaufgebaut, allerding verwendete er Mauerwerk und Ziegelstein anstelle von Holz. Das Baumaterial ließ er in dem vor Ort errichteten doppelten Kalkbrennofen herstellen. Man mauerte eine neue Wand, richtete die zerstörten Türe wieder her und verstärke die Hänge der Verteidigungsmauer. Am östlichen Rand des Burghofs entstand ein zweistöckiges Haus aus Mauerwerk. Als Vytautas starb blieb der Bau unvollendet.