Der Schlossgarten wurde im Jahre 1509 gegründet und während einiger Jahrhunderte erweiterte sich in impozante Fläche von 64 Hektar. Von Anfang an veränderte sich seiner Inhalt und seines Aussehen. Es wurde von Gemüse- und Obstgarten in einen Barockgarten im 17. Jahrhundert umgebaut. Im 19.Jahrhundert wurde Landschaftspark) und heute werden über 200 seltener Baumarten Bäume bepflantzt.
Die Anfänge desBaus des Schlossgartens reichen bis zum Ende des Mittelalters und der frühen Renaissance zurück, als sie unter den Bischöfen der Olomouc-Bischöfe Stanislav Thurz und später Vilém Prusinovský neben dem Schloss nicht nur der übliche Hausgarten angelegt wurde, sondern auch ein kleinerer Wildpark und ein Ziergarten mit mehreren Wasserspielen und einer Reihe von reich verzierten Blumenbeeten.
Die berühmte Zeit des Wohlstands und der allmählichen Erweiterung des Gartens fand erst mit dem Beitritt des gebildeten und kultivierten Karl von Lichtenstein-Castelcorn zum Bischofssitz in der zweiten Hälfte des 17. Jahrhunderts statt. Der neue Bischof kam in eine Stadt, die stark vom Dreißigjährigen Krieg geprägt war. Neben vielen anderen großen Bauprojekten konzentrierte er sich jedoch auf den Bau von zwei Ziergärten – Lustgarten und Schlossgarten.
Das Jahr 1777 markierte Höhepunkt für Olmützer Erzdiözese. Das Bistum wurde zum Erbistum erhoben und Antonín Theodor Colloredo-Waldsee zum ersten Erzbischof gewählt.Er betrete kulturelle Umfeld des Kremsiers mit vor allem originelle Umgestaltung des Schlossgarten, die in sich die Kombination eines formalen Rokoko-Parterre mit einem komponierten Naturpark und einer Reihe von kuriosen Bauzubehörteilen widerspiegelte, sei es in griechischer, chinesischer, türkischer, pazifischer oder anderer Art.
Der neue Garten wurde für ungefähr 10 Jahre (1790-1800) angelegt.