Дом с чертами барокко и раннего классицизма построен в начале XIX века для купцов Рыжковых, богатых торговцев мануфактурой. Находился в средней части улицы Московской, ныне Карла Маркса. После заполнения водохранилища значительная часть улицы ушла под воду, и дом оказался первым на улице и носит номер 1.