Двухэтажный с подвалами каменный дом существует с 1750 г. Тогда он был главным домом усадьбы П.М.Апраксина, а с 1761 г. - Р.И.Воронцова. В 1770 г. в нем помещался так называемый Знаменский театр. В 1780г. сгорели флигели по сторонам парадного двора, дом сильно пострадал в пожаре 1812 г. и был перестроен в 1816-1825 гг. при Мусиных-Пушкиных или при С.И.Гагарине. На фасадах под штукатуркой сохранились элементы декора середины XVIII в.: фрагменты белокаменного карниза, следы сбитых наличников. После перестройки здание приобрело ярко выраженный ампирный характер.