Первоначально Окружной суд размещался в здании Губернского управления на ул. Суворовской, а впоследствии - на Потемкинском бульваре. Городское управление еще в 1889 году хлопотало о строительстве на Потемкинском бульваре нового здания суда. 20 июля 1891 года Херсон посетил директо Департамента юстиции тайный советник Красовский. Он рассмотрел все предложения и решил избрать другое место - на Павловской площади. Министерство юстиции выкупило у города 700 сажень площади оплатило треть затрат на строительство здания.
15 января 1892 года Дума утвердила двухлетний план строительных работ: в первый сезон с весны до осени 1892 года должно было строиться само здание, а в году должна была завершиться внутренняя и внешняя отделка. Стоимость строительства была определена 120 тысяч рублей, а разработка проекта и технической документации возложена на архитектора В. А.Домбровского. Строительство затянулось и суд въехал в новое здание только в 1894 году.
Здание строилось на главной площади города, поэтому большое значение имело решение главного фасада. Во втором этаже центрального ризалита Домбровский применил портик "храма в антах" ионического ордера, который фланкировали скульптуры богинь: правосудия - Фемиды и наказания Немезиды, расположенные в нишах.
В 1923 году в здании находились: Херсонское уездное бюро юстиции, камеры народных судей 1,2 участков, следственная часть выездной сессии Одесского губернского революционного трибунала Херсонскому уезду, в 1940 году - прокуратура, суд, горфинотдел и госстрах, с 1944 года - облисполком,; затем - облсовпроф, Стройбанк и облсобес. В 1978 году, к 200-летию Херсона, здание было переда Херсонскому краеведческому музею и 12 октября 1982 года здесь открылась новая экспозиция (ул. Ленина 9).