Крепость, примыкавшая к городской стене и защищавшая город со стороны реки Шельды, возможно, возникла еще в VII веке. Существующий замок построен в XIIIв. С 1303 по 1831г. здесь была тюрьма. С 1890-х гг. в нем размещался археологический музей, сейчас – Национальный музей мореплавания. Перед замком в 1963г. поставили памятник Длинному Вапперу, персонажу антверпенских легенд.