Идея прокладки стальной магистрали в сторону Ярославля во многом принадлежала профессору математики МГУ Федору Чижову, будущему крупному теоретику промышленно-торгового развития России. К строительству "первой русской" (т.е. без участия иностранного капитала) частной железной дороги от Москвы до Сергиева Посада он привлек группу московских купцов. Активным его помощником стал состоятельный и деятельный купец Иван Федорович Мамонтов, отец будущего известного мецената Саввы Мамонтова.

В 1859 году императором Александром II было Высочайше утверждено решение о строительстве железной дороги от Москвы до Сергиева Посада с условием в ближайшие три года продлить её до Ярославля, так как дорога только до Сергиева Посада считала «роскошью» и, по мнению Главноуправляющего путями сообщения, серьёзной транспортной нагрузки нести не могла.

Место для расположения станции выбиралось с большим трудом. Предлагалось разместить вокзал у Сухаревой башни, у Крестовской заставы, или вообще его не строить, а отправлять поезда с уже существовавшего вокзала Петербурго-Московской железной дороги. После долгих споров решили строить вокзал на Каланчёвской площади.

Проектирование вокзала было поручено архитектору М.Ю. Левестаму, однако, его проект не одобрило Правление дороги. Окончательный проект вокзала составил архитектор Р.И. Кузьмин. Это было небольшое П-образное изящное двухэтажное здание с башенкой в середине, близкое по архитектуре вокзалу Петербурго-Московской железной дороги. Вокзал был тупикового типа с раздельными платформами для прибытия и отправления поездов. Новая железная дорога, названная Троицкой, была открыта в 1862 году. Для освящения вокзала был приглашён митрополит Филарет, который раньше никогда не видел ни железной дороги, ни поезда. Поэтому специально для него от поезда отцепили паровоз и он совершил несколько манёвров по станции, что крайне заинтересовало митрополита.

С продлением дороги до Ярославля в начале 1870-х годов вокзал был перестроен. Полностью сохранился фасад, выходящий на Каланчёвскую площадь, но были надстроены боковые корпуса, что создало довольно нелепую композицию из небольшого центрального объёма и значительно превышающих его по размерам боковых корпусов.

В 1898 – 1899 железная дорога дотянулась до Архангельска, к ней примкнули другие линии, вокзал в Москве стал тесным. Новый проект перестройки вокзала был составлен архитектором Л. Н. Кекушевым, вскоре для дальнейшей перестройки здания был приглашён архитектор Ф. О. Шехтель. Однако Шехтель придал вокзалу совершенно иной вид – к нему был пристроен фасад, прообразом которого послужил павильон Русского Севера, выполненный по проекту художника К. А. Коровина для Нижегородской ярмарки 1896 г. Здание вокзала включило в себя элементы древнерусской архитектуры, творчески осознанные и переработанные мастером. Высокая, как у древнерусских теремов, кровля, широкий фриз из зелено-коричневой глазурованной плитки, майоликовые вставки с сюжетами по «северным» рисункам Шехтеля, устремленная ввысь боковая левая башня, гигантская входная арка вестибюля с килем-козырьком и полукруглыми башенками по бокам – все эти элементы перетекают друг в друга и создают неповторимый былинно-эпический образ здания. Удачное расположение башен приводит к совершенно разному восприятию здания из разных точек Каланчёвской площади.

С 1907 года вокзал стал называться Северным. 20 июня 1929 года от его перрона отправился первый московский электропоезд.

В 1966 году вокзал приобрёл современный вид. В нём до сих пор отчётливо видны как боковые фасады первоначального здания, построенного по проекту Р.И. Кузьмина, так и более поздние перестройки Л. Н. Кекушева, Ф. О. Шехтеля и нашего времени. Внутри здания сохранились массивные колонны, стоявшие некогда на перроне отправления поездов.