Ogród Przypałacowy został założony w 1509 roku, a w ciągu kolejnych stuleci rozrósł się do imponujących 64 ha. Od samego początku zmieniała się jego zawartość i wygląd. Ogród warzywno-owocowy przebudowano w XVII wieku na ogród barokowy, ten zaś w XIX wieku na stylowy park krajobrazowy. Dziś rośnie tu ponad 200 rzadkich gatunków drzew z różnych części Europy, Ameryki i Azji.
Początki budowy kromieryskiego Ogrodu Przypałacowego sięgają czasów schyłku średniowiecza i wczesnego renesansu, kiedy to w okresie rządów biskupów ołomunieckich Stanisława Thurzona, a później Wilhelma Prusinovskiego i Stanisława Pawłowskiego u podnóża pałacu wyrosła, oprócz typowego dla tamtych czasów ogrodu użytkowego, niewielka zagroda ze zwierzyną płową oraz ogród ozdobny z kilkoma elementami wodnymi oraz licznymi klombami w rozmaitych kształtach.
Słynny okres rozkwitu i stopniowej rozbudowy ogrodu nastąpił dopiero w drugiej połowie XVII wieku wraz z objęciem stolca biskupiego przez światłego Karola von Liechtensteina-Castelcorna. Nowo wybrany biskup przybył do miasta mocno naznaczonego wojną trzydziestoletnią. Mimo to nie skoncentrował się wyłącznie na dużych projektach budowlanych, lecz również na wybudowaniu dwóch ogrodów ozdobnych – tzw. Libosadu czyli Ogrodu Przyjemności (Ogród Kwiatowy) oraz Ogrodu Przypałacowego.
Rok 1777 stanowił przełomowy moment w historii archidiecezji ołomunieckiej – biskupstwo podniesiono do rangi arcybiskupstwa. Pierwszym arcybiskupem został Anton Theodor von Colloredo-Waldsee-Mels. Na kartach Kromieryża zapisał się on głównie dzięki oryginalnej przemianie Ogrodu Przypałacowego, która łączyła rokokowy parter formalny z naturalnie skomponowanym parkiem obfitującym w kuriozalne obiekty budowlane w stylu greckim, chińskim, tureckim, pacyficznym itd. Nowy ogród powstawał przez około dekadę (1790–1800).