Ein zweieinhalb Meter hohe Mauer schützte das gesamte Klosterensemble vor den Augen Unbefugter. Die massive Mauer aus dem 17. Jahrhundert beginnt beim Großen Tor und zieht sich beidseitig der Lindenallee bis zum Gästehaus, um von dort aus in zwei Linien die übrigen Klosterbauten zu verbinden. Da die Ortsansässigen nicht sehen konnten was hinter den Gemäuern vor sich ging, schmückten sie den Alltag der Kamaldulenser mit allerlei Geschichten aus. So hieß es, die Mönche sähen nur dann etwas von der Welt sehen, wenn sie den Glockenturm bestiegen.