Гостиный двор был построен на Торговой стороне в XVII веке. Представлял собой каре с двумя башнями. В конце XVIII века Гостиный двор был перестроен в стиле классицизма, имел две аркады. Во время Великой Отечественной войны здания были сильно разрушены. Было решено их не восстанавливать, большая часть руин была разобрана, сохранена и отреставрирована только западная аркада.