Каменный дом выстроен не позже 1760гг. в усадьбе, принадлежавшей сыну Н.М.Зотова, воспитателя Петра I. В конце XVIIIв. дом имел компактный объем и скромное оформление с шестью плоскими пилястрами в центре фасада. В 1806г. построен мезонин, ризалиты с задней стороны, в 1812г. вдоль Лебяжьего переулка построен длинный двухэтажный корпус с пилястровым портиком в центре. Около 1817г. главный дом получил нарядную ампирную обработку фасада с шестиколонным ионическим портиком, несущим балкон мезонина. Позже был частично изменен лепной декор парадного фасада и полностью переделан мезонин.