Угловой участок на набережной до пожара 1773 года занимал острог. Рядом с ним находилось лобное место с виселицей. В начале XIX века участок передали Успенскому кафедральному собору для строительства дома причта. Дом был построен в 1823 году по проекту губернского архитектора П.И.Фурсова. Дом причта является одной из первых серьёзных работ архитектора и представляет собой ценный памятник архитектуры эпохи классицизма.