Жилые палаты рязанских архиереев, традиционно называемые также дворцом Олега, построены в XVII-XVIII веках на месте, где предположительно находился княжеский двор. На фронтоне некогда помещалось изображение князя Олега Ивановича Рязанского. Дворец Олега - самое крупное гражданское здание кремля, имеющее длину 94 м и общую площадь 2530 кв.м. Здание возводилось в несколько этапов. В середине XVII века архитектором Ю.К.Ершовым построены первые два этажа, в конце того же века архитектор Г.Л.Мазухин достроил третий этаж, в 1778-1780 гг. по проекту архитектора Я.Шнейдера сделана восточная пристройка.