Par pili sauktais Pluņģes pilskalns slejas ielejā Babruņģas upes līkumā, uz atsevišķa kalna. Pilskalns atrodas ne vairāk kā puskilometra attālumā no pilsētas centra. Uzkāpjot pa stāvu piecus metrus augstu nogāzi, skatam paveras plašs četrstūra formas laukums.