Об особняке Новиковых-Свешниковой сложены мрачные легенды, и он описан в рассказе В.Вересаева "Проклятый дом". Согласно одной из легенд, архитектор не успевал построить здание к сроку, расстроился и повесился прямо внутри недостроенного дома. Настоящий автор особняка, архитектор С.Гончаров в 1907 году завершил строительство и прожил после этого до 1935 года. Другая, ещё более ужасная легенда повествует, что дочь купца, поселившегося в недостроенном доме, влюбилась в итальянского певца и сбежала с ним, а затем вернулась беременная. Разгневанный отец за это запер её в небольшом помещении, возможно, под крышей башни, где она то ли умерла в муках при родах, то ли родила ребёнка и вместе с ним страдала в заточении, издавая страшные крики. Этих криков злодей-купец не выдержал и уехал за границу, бросив опустевший особняк. А крики и стоны якобы иногда раздаются до сих пор, теперь их издают призраки. Вид на башню открывается из окна одной из уединённых комнат второго этажа.