Etwa um 1900 begannen die Städte eigenständig Gärten als öffentliche Grünanlagen zu planen. Ausgangspunkt dazu waren oft die mittelalterlichen Verteidigungsanlagen wie Wälle und Gräben.

Auch der im Jahre 1864 gegründet Herzberger Verschönerungsverein erklärte sich zur Aufgabe, Herzberg mit gartenähnlichen Anlagen zu schmücken. Doch erst seit dem Jahr 1886 wurde die Kultivierung des Stadtparkes intensiv betrieben, indem man den Weg entlang der Gärten der Schliebener Straße als nördliche Begrenzung anlegte. Außerdem wurden 70 Alleenbäume und ca. 1000 Bäume und Sträucher in diesem Jahr gesetzt.

1888 wurden dann die Parkanlagen weiter ausgebaut und verschönert, indem auf insgesamt 6 Morgen Fläche ca. 4800 verschiedene Gehölze angepflanzt wurden. Die ehemaligen Färberwiesen erhielten allmählich das Antlitz eines Bürgerparkes. Eine praktische wie schöne Tradition entwickelte sich zudem, indem zu bestimmten Anlässen im Herzberger Stadtpark Eichen gepflanzt wurden, so auch die Kaisereiche, die Friedenseiche 1871 und 1883 die Luthereiche.

Das große Hochwasser des Jahres 1926 setzte auch den Park ¾ Meter unter Wasser und fügte den Gewächsen großen Schaden zu. So mussten zum Beispiel die alten Linden durch Platanen ersetzt werden. Nach 1945 verwahrloste der Park zunehmend, doch in den letzten Jahren bemüht sich die Stadt, die Parkanlagen wieder in einem gepflegten Zustand zu versetzen und bereicherte ihn überdies mit einem Spielplatz.