Oficyny zbudowano oo obu stronach pałacu w tym samym czasie, co budynek pałacu. Oficynę zachodnią, znajdującą się po lewej stronie, Ogińscy, nie posiadający własnych dzieci, przeznaczyli dla zakonnic i wychowawczyń przytułku dla sierot. Tutaj miały one mieszkania. Obok zbudowano również kaplicę Ogińskich, gdzie odbywały się nabożeństwa. Po śmierci M. Ogińskiego, wykonując jego wolę, żona otworzyła w oficynie tajną szkołę. Tutaj uczyły się dziewczynki, które miały zostać nauczycielkami podziemnymi w tajnych szkołach litewskich.