Скит первоначально образовался как пещерный, наподобие пещер Киево-Печерской лавры. Первую пещерку выкопал юродивый Филиппушка, пришедший сюда в 1847 году. Затем появилось ещё несколько подземных келий, в 1851 году появилась подземная церковь. Первоначально стены келий были земляными. Кирпичная и бетонная облицовка появилась в XX веке. В советское время на территории монастыря размещались тюрьма, затем интернат для инвалидов, подземные помещения использовались под склад. Сейчас в пещерах музей, в который водят экскурсии.