Здание гимназии было построено в 1896 году в стиле эклектизма романтического направления. Архитектурный комплекс включал учебный корпус, пансион со сквером и гимназическую церковь св. Александры, построенную в 1902 году. В 1858 году директор училищ Херсонской губернии Коленко, при поддержке губернатора Т.Ф.Панкратьева, поднял вопрос об открытии в Херсоне женской гимназии. Однако тогда было дано разрешение только на открытие при уездном училище женской воскресной школы, а заведование школой было поручено супруге директора училищ Коленко.
В 1862 году воскресная школа, заметно укрепив свое положение, была преобразована в женскую приходскую школу с постоянным составом преподавателей. Через год, 8 декабря 1863 года, школа была преобразована в четырехклассную прогимназию. Благодаря дружной и сплоченной общественной поддержке прогимназия существовала вполне обеспечено. В 1867 году педагогический совет прогимназии добился права этому учебному заведению именоваться, в память бракосочетания наследника цесаревича Александра Александровича и супруги его Марии Федоровны, Мариинско-Александровской. Первой начальницей прогимназии была А.Я.Максимова. В 1872 году был открыт четвертый класс. Прогимназия находилась в ведении Попечительного совета, состоявшего из местных преподавателей средних учебных заведений и представителей разных сословий и обществ.
В 1874 году для практической подготовки к исполнению обязанностей учительниц в начальных школах, при прогимназии был открыт педагогический курс.
Во все время своего существования, прогимназия помещалась в наемном доме. Под новое здание был отведен участок земли в 1.937 кв.саж. на Пестелевском бульваре и к 1896 году было выстроено красивое здание, отвечающее всем требованиям для учебного заведения того времени.
В 1898 году Мариинско-Александровская прогимназия была преобразована во 2-ю Мариинско-Александровскую женскую гимназию.
В 1917 году в здании закрытой гимназии разместили эвакуированный из Эстляндии Юрьевский (Тартусский) учительский институт, который прибыл в Херсон в октябре 1917 года. 4 июля 1919 года он был преобразован в Херсонский государственный педагогический институт, а 10 октября 1919 года начались занятия. В 1923 году это Институт народного образования (ИНО).
С 1924 года Херсонский пединститут носит имя Н.К.Крупской. В настоящее время в этом здании находится инженерно-педагогический факультет Херсонского государственного педагогического университета (ул.Перекопская, 3).
