Дворец, построенный для эрцгерцога Людвига Виктора Австрийского, младшего брата императора Франца Иосифа I в 1863-1865 годах архитектором Генрихом фон Ферсетлем, стал первым зданием на площади Шварценбергплац, созданной на месте венского глассиса - части городских укреплений.