Главный вход в Королевский ботанический сад находится рядом с музеем Прадо. На нынешнем месте сад был открыт в 1781 году. Сюда его перенесли по указанию Карла III с прежнего места на берегу реки Мансанарес, где он существовал с 1755 года. В работах по устройству сада, которые велись в 1774-1781 годах, принимали участие архитекторы Франческо Сабатини и Хуан де Вильянуэва. В 1797 году ботанический сад существенно расширился за счёт растений, привезённых географом и путешественником А.Маласпиной. В 1857 году была построена оранжерея. В 1974-1981 годах была проведена реконструкция с восстановлением первоначальной планировки.