В основе здания постройка конца XVIII века. В 1810-1812 годах тогдашний владелец обер-гофмейстер Р.А.Кошелев начал строительство каменного дома на угловой части участка. Строитльство было завершено в 1816 году при князе А.М.Голицыне. Позднее дом перестраивался и расширялся. В конце XIXв. в доме жили князья Орловы. Последней владелицей дома была О.К.Орлова, здесь художник В.А.Серов писал её портрет, одно из своих лучшх произведений, хранящийся ныне в Русском музее. После Октябрьской революции дом был перестроен и расширен, в нем размещалась школа, позже учреждения Министерства энергетики.