Первое, основное здание дворца было построено в 1697-1698 годах по заказу царя Петра I для его друга и сподвижника Франца Лефорта, генерала и адмирала, участника многих петровских военных кампаний. Строительство велось за казенный счет, руководил им «каменных дел мастер» Дмитрий Аксамитов. Здание дворца, состоявшее из нескольких разновысотных объемов (теремов), главным своим фасадом было обращено к Яузе. В центральной части в уровне первого этажа были устроены три проездные арки, второй этаж занимал большой парадный двусветный зал, предназначенный для приемов и праздников – он мог вместить одновременно до 1500 человек. В боковых двухэтажных частях дворца располагались жилые покои. Три дворцовых терема соединялись между собой сенями, где были устроены парадные подъезды с лестницами; каждый из объемов здания был увенчан высокой черепичной кровлей, выполненной на европейский манер. На главном фасаде здания, в центральной его части, была устроены открытая галерея, с которой открывался прекрасный вид на Яузу и окрестности. Фасады выглядели очень нарядно – белокаменные наличники окон, пилястры, декоративные консоли, гирлянды; по всему фасаду шел резной белокаменный поясок с растительным орнаментом; некоторые окна были сделаны витражными. Перед дворцом расстилался парк с прудами. Помещения дворца поражали роскошью – стены главного зала были обиты красным сукном и украшены картинами и зеркалами, а также голландскими печами с расписными изразцами. Стены других комнат были обиты кожей и парчой, обставлены европейской мебелью, украшены предметами китайской работы и картинами, привезенными из Европы.

Праздник по случаю новоселья, в феврале 1699 года, продолжался несколько дней. Дворец был торжественно «освящен» во имя бога Вакха Никитой Зотовым, «всея Яузы и всего Кокуя патриархом». Но Лефорту не суждено было долго наслаждаться новым домом – месяц спустя он неожиданно заболел и скончался.

Дворец перешел в ведение казны и в последующие годы служил Петру I для устройства посольских приемов, праздников и ассамблей.

В 1707 году Петр I подарил дворец другому своему соратнику – светлейшему князю Александру Меньшикову. Новый владелец расширил дворец, пристроив к основному зданию двухэтажные флигеля с открытыми галереями, которые образовали квадратное замкнутое каре. Для проезда во двор была построена монументальная въездная арка, увенчанная треугольным фронтоном. Здание отличалось цельным ордерным решением фасадов, лаконичным и вместе с тем монументальным. Автором проекта перестройки дворца выступил итальянский архитектор Джованни Мария Фонтана.

Однако в 1727 году Меньшиков попадает в опалу, все его владения конфискуются и Лефортовский дворец опять переходит в ведение казны.

В 1728 году во дворце поселился император Петр II, тут и умер от оспы в 1730 году. Именно здесь принималось решение о призвании на престол Анны Иоанновны, здесь на встрече с дворянами она символически разорвала Кондиции, которые должны были ограничить ее самодержавную власть.

С середины 1860-х гг. и по сию пору здесь располагается Военно-исторический архив (РГВИА).

В 1737 году дворец сгорел и при восстановлении был снова перестроен. В дальнейшем дворец почти не использовался для представительских нужд, в нем жили служащие Дворцовой конторы, а в 1771 году здесь был устроен чумной карантин и лазарет.

Во время коронации Павла I дворец стал на время составной частью единого комплекса, объединившего три соседних дворца; сам Павел I разместился в Слободском дворце, а здесь поселились великие княжны. Тогда же во дворе были построены одноэтажные циркумференции.

Во время московского пожара 1812 года дворец обгорел и был окончательно восстановлен лишь в 1830-1840-х годах, при этом его центральная часть надстроена до трех этажей.