Александровский парк находился между городом и крепостью, занимая достаточно большую на то время площадь. Впервые парк на этом месте заложили в 1785 году по распоряжению Г.А.Потемкина, но с упадком Херсона парк был заброшен, а деревья вырублены. В первой половине XIX века на его территории устроили плац-парадную площадь, и до 1868 года здесь проводились конные скачки.
В 1869 году вице-губернатор Денис Гаврилович Карнович принял решение восстановить парк и распорядился высадить здесь деревья. Позже, когда парк перешел в ведение городского управления, высадка деревьев была окончена и парк получил название Денисовский в честь своего основателя.
В 1880 году в память 25-летия царствования императора Александра II парк переименовали в Александровский. Здесь всегда была публика, особенно по выходным. Прежде всего потому, что главная диагональная аллея удобно связывала район Военного форштадта и крепости с главной улицей города Суворовской.
В 1897 году мещанин Владимир Матаков построил в парке беседку, в которой торговал соками и водами. Ровно через десять лет он заменил беседку деревянным павильоном. В сентябре 1897 года был утвержден проект А.И.Сварика на постройку в Александровском парке деревянных зданий для эстрады, сцены и буфета.
Парк имел регулярную лучевую планировку, что необычно для Херсона. Судя по представленному проекту, первоначально его планировка стремилась к пейзажной (английской), где прямые аллеи перемежались с прихотливыми тропинками, линейные посадки - со свободно сгруппированными деревьями. Важно отметить и отсутствие ключевого объекта парка - дуба в центре. Видимо, к регулярности (французскому типу) проектировщики пришли немного спустя, по ходу устройства парка, вероятно, после того, как был посажен знаменитый черешчатый дуб, который потребовалось планировочно выделить. От дуба, окруженного оградой, в разные стороны разошлись восемь прямых аллей.
В 1927 году Александровский парк был переименован в Тарасо-Шевченковский, а в 1939 году он уже назывался «парк Культуры и Отдыха им.Ленина».
