Uz Panemuni saskaņā ar Čikāgas priestera Antana Petraiča gribu pārcēlušies mūki dāvanā saņēma arī netālu no pils uzbūvēto Marijas kristiešu palīdzības kapelu. Tajā katru dienu lūdzās aptuveni simt cilvēku. Otrā pasaules kara laikā kapelā tika ierīkota armijas ēdnīca, un katru dienu lūgšanu vietā skanēja karošu un dakšiņu klaudzēšana. Vēlāk kapelā tika rādīts kino, ierīkota sporta zāle. Svētnīcas altāris tika pārcelts uz Rumšišķu baznīcu. Zvans piekārts Vīteņu pamatskolā. To slēdzot, no 2013. gada zvans karājas pie Marijampoles pasta sienas.