4-я московская мужская гимназия основана 1 июля 1849 года (по одним сведениям - вместо 2-го кадетского корпуса, по другим - отделившись от Московского дворянского института).
Тогда в гимназию поступило 146 учеников, приблизительно по 20 человек в каждый из семи классов: дети профессоров, врачей, инженеров, помещиков, священников, военных, купцов. Преобладали дворянские дети— 115 человек, детей чиновников было 21 и прочих сословий— всего 10.
В период с 1849 по 1861 год гимназия размещалась в доме Пашкова, построенном В. И. Баженовым в 1780-ых годах. Сейчас это здание занимает Государственная Российская библиотека (до недавнего времени Государственная библиотека им. В. И. Ленина). Это здание в середине 19 века решено было передать Московскому университету и Румянцевскому музею, переезжавшему из Петербурга в Москву. Чтобы переселить гимназию, они купили для нее усадьбу Трубецких на Покровке (современный дом 22). В этом доме 1 сентября 1861 года для трехсот мальчиков начался новый учебный год, двенадцатый со дня основания гимназии.
К 1898 году в гимназии обучалось уже 442 человека. Теперь дворяне составляли лишь 50%. Все больше стремились получить образование дети третьего городского сословия, на их долю приходилось 32% от общего числа гимназистов.
В ряду других гимназий 4-я числилась в разряде классических с преподаванием двух древних языков. В этой гимназии сложился коллектив прекрасных преподавателей: учитель физики К. Д. Краевич, математики - Малинин и Буренин, русского языка и словесности Поливанов, истории Пржевальский.
Среди выпускников — будущие правовед-историк Сергеевич, словесник Поливанов, артист и режиссёр К.С. Станиславский, философ Вл. С. Соловьёв, учёный-механик Н.Е. Жуковский, предприниматель С. Т. Морозов, филолог А. А. Шахматов, писатели Н. Н. Евреинов, А. М. Ремизов., известный врач Пучков, историк Виноградов., зоолог Зернов., антрополог Зограф., экономист Каблуков , артист Хохлов, отец гениального композитора Скрябин .
Распорядок дня и занятий были общими для всех гимназистов, а кормили разночинцев похуже. Поднимали учеников рано утром по звонку. Необходимо было быстро умыться, одеться, почистить обувь и мундир, до блеска натереть медные пуговицы и построиться. Надзиратель осматривал строй и в 6 часов вел ребят на молитву, а потом все отправлялись в классы и повторяли уроки. В 8 часов 30 минут подкреплялись черным хлебом, который в корзине приносили прямо в класс. С 9 часов начинались занятия с преподавателями. В 2 часа пополудни гимназисты обедали. Обычно подавали суп с мясом и гречневую кашу. До 17 часов они отдыхали, после чего два часа отводилось для подготовки уроков. В 20 часов ученики получали по кружке молока с хлебом и расходились по спальням. Шалунов и нерадивых гимназистов сурово наказывали, для чего возами закупали розги и секли провинившихся по средам и субботам.