Дом на кремлёвском холме рядом с соборным комплексом был построен П.А. и Е.С. Воротиловыми для архиепископа Симона II Лагова в 1795 - 1796 годах.