В середине XVIIIв. участок принадлежал П.И.Шувалову. Стоявший здесь небольшой каменный дом был надстроен и расширен в 1760-х гг. архитектором Ж.-Б.Валлен-Деламотом. Он выделил центр главного фасада шестиколонным портиком, объединившим два нижних этажа, надстроенный третий этаж был решен как аттиковый. Сад отделяет от двора, расположенного за домом, монументальная ограда с воротами, декорированными колоннами. В 1830-х гг. по проекту А.А.Михайлова 2-го был пристроен флигель вдоль набережной. Во втором этаже флигеля создан большой белоколонный зал. Тогда же переделаны другие парадные помещения второго этажа. Живописные плафоны Красной и Синей гостиных - прекрасные образцы декоративных росписей первой половины XIXв. Изысканная простота танцевального зала, отделанного искусственным мрамором, контрастирует с пышностью белоколонного зала, украшенного коринфской колоннадой и обогащенного золочеными люстрами тонкой работы, скульптурными вставками и росписями. Домашний театр получил существующее декоративное оформление во второй половине XIXв., часть комнат первого этажа была заново отделана в 1910-х гг. Кроме самого дворца интересны некоторые дворовые постройки. На красной линии улицы Декабристов расположен садовый павильон, построенный в 1750-х гг., обработанный колоннами и декорированный скульптурой. В 1958г. оформление фасадов павильона, искаженное перестройками XIX и XXвв., было восстановлено в первоначальном виде. В годы Великой Отечественной войны дворец Юсуповых пострадал от прямых попаданий фугасов и артиллерийских снарядов, вызвавших пожар. В послевоенные годы он был восстановлен.