Тюрьма для "безумствующих колодников" была учреждена на территории монастыря в 1766 году по указанию Екатерины II. Здесь содержались в основном предствители непризнанных официальной церковью религиозных течений, сектанты, многие страообрядческие священнослужители. В 1829 году здесь умер доведённый до сумасшествия декабрист князь Ф.Шаховской. Другие узники тюрьмы - "предсказатель" Авель, лидер секты скопцов Кондратий Селиванов, лидер секты прыгунов Максим Рудомёткин. В 1923 году тюрьма была превращена в политизолятор, а с 1935 года стала тюрьмой особого назначения. С 1943 года здесь был лагерь военнопленных, где содержались генералы и офицеры вермахта, итальянской, румынсокй, венгерской и испанской армий. В том числе, в лагере содержался фельдмаршал Ф.Паулюс. C 1946 по 1967 год в монастыре была воспитательно-трудовая колония для несоврешеннолетних преступников. С 1968 года монастырь стал музеем.