Губернаторский дом построен в 1820 году на Волжском бульваре по проекту ярославского архитектора П.Я.Панькова. Дом строился по велению Александра I как царский путевой дворец. Его посещали все последующие российские монархи. В Дом жили и работали последовательно 17 ярославских губернаторов, начиная с А.М.Безобразова. Главный фасад, выдержанный в стогом стиле, выходит на набережную. Парковый фасад получил более декоративную архитектурную обработку и имеет два пандуса, украшенных вазами. В 1860-х годах дом перестраивался в стиле позднего классицизма. С 1970 года в бывшем Губернаторском доме размещается Ярославский художественный музей.