В начале 1871 года по инициативе наиболее интеллигентной части населения во главе с Г.Н.Ге (братом известного русского живописца) в Херсоне начало формироваться библиотечное товарищество с целью основать библиотеку. Статут библиотеки был утвержден Министерством внутренних дел 21 января 1872 года, а 26 марта 1872 года на общем собрании основателей выбрали первый состав дирекции библиотеки. Это была первая организация, открывшаяся на деньги и по инициативе населения города. Библиотеке предоставлено было во временное пользование помещение Дворянского собрания, и 18 июня 1872 года дирекция открыла библиотеку.
По мере увеличения книжного фонда чувствовалась теснота и неудобства частных квартир для помещения библиотеки, и в 1882 году на общем собрании было решено обзавестись собственным зданием. За 1883 -1893 годы было собрано 12 тысяч рублей пожертвований отдельных граждан и организаций, а Городская Дума на строительство библиотеки ассигновала 26 тысяч рублей.
В 1894 году городское управление, войдя в рассмотрение ходатайства дирекции библиотеки об отводе на одной из городских площадей места для постройки здания библиотеки и об оказании денежного пособия на постройку, постановило: предоставить в пользование Херсонской библиотеки на Старообрядческой площади место в 200 кв. саж. и отпустить на постройку здания единовременно 18 тысяч рублей. Постройка длилась с августа 1896 году до октября 1897 год. Здание было построено по проекту одесских архитекторов Николая Константиновича Толвинского (1857-1927) и Феликса Викентьевича Гонсиоровского (1815-1894) в стиле неоклассицизма. Фасады были решены в ионическом ордере, главный выделен четырехколонным портиком коринфского ордера, а треугольный фронтон украшен гербом города Херсона (ул.21 января, 24).
31 мая 1898 года в библиотеке состоялось открытие Губернской ученой архивной комиссии и Губернского археологического музея, размещенного в здании библиотеки и принятого Губернской ученой архивной комиссией в собственное ведение. В 1925 году библиотека называлась: «Центральная советская библиотека». До 1941 года фонд библиотеки составлял 300200 томов и ее услугами пользовались около 10 тысяч читателей.В советское время библиотеке было присвоено имя Горького. В настоящее время библиотека переехала в новое здание на улицу Днепропетровскую №2 и получила название Областная универсальная научная библиотека им.Олеся Гончара.
