В центре северной стены крепости, перед Днепровским мостом первоначально стояла самая главная, Фроловская башня. Многоярусная башня со сквозным сводчатым проездом ворот была самой величественной в городе. На месте этой башни в 1793г. было построено существующее здание церкви. С двух сторон он него на крепостной стене симметрично поставлены две небольшие классические колокольни. В 1814г. здание было восстановлено архитектором М.Н.Слепневым.