В конце XVIII века на углу улицы и площади находился острог. В 1827 году его снесли и вскоре построили лютеранскую кирху, так как в этом районе жило много иностранцев. Тогда же на улице вырос католический костел, перестроенный в конце XIX века.

В 70-х годах XIX столетия на Мало-Сумской, был дом преподавателя электротехники, приват-доцента университета Н. С. Сыцянко. Его сын Александр был членом харьковского народовольческого кружка, организованного С. Л. Перовской. Квартира Сыцянко стала своеобразным клубом революционеров, здесь часто бывали видные народовольцы, в том числе А. И. Желябов. По некоторым источникам, в доме Сыцянко находилась народническая типография и склад народнической литературы.

В конце XIX века улица значительно застроилась. Здесь открылась 3-я мужская и Вознесенская женская гимназии.

В 1927 году на улице Гоголя открылся Сад печатников, на территории которого позже построили здание клуба печатников, со временем переданное русскому драматическому театру.

В 1972 году в помещении бывшей 29-й школы начал работу старейший факультет Харьковского университета — филологический.