Первый, деревянный дом был построен на участке, принадлежавшем Юсуповым, в 1724 году. В середине XVIII века вместо него был построен обширный каменный дворец в формах барокко. На участке, простиравшемся до Садовой улицы, был разбит регулярный сад с фигурными прудами, каналами и цветниками. В конце XVIII века усадьба была капитально перестроена архитектором Д.Кваренги. Главный дом получил обработку в стиле классицизма. Вдоль набережной были построены два жилых флигеля с аркой ворот между ними. Сад был переделан в пейзажный. В 1810 году во дворце разместился Институт инженеров путей сообщения. Во время Великой Отечественной войны дворец сильно пострадал от артобстрелов, после войны был восстановлен. В нём размещаются несколько кафедр университета путей сообщения и музей университета.