В здании с 1861 года размещалось Общество врачей, оказывавшее бесплатную медицинскую помощь жителям города и губернии. Для него специально был выстроен существующий дом с использованием нижнего этажа дома XVII века.