Каменные палаты, которые мы знаем как Английский посольский двор – одно из старейших зданий Москвы за пределами Кремля. Они вероятнее всего были построены в конце XV века, для богатого купца-сурожанина Ивана Бобрищева. Сурожане – купцы, торговавшие дорогими западноевропейскими, византийскими, восточными товарами и связанные с городом Судак, древний Сурож, в Крыму. Каменный дом в деревянной Москве был необходим не только ради престижа, но и как несгораемое хранилище товаров.

В 1556 году дом был отдан Британской Московской компании, которая одновременно была и официальным представителем Британской короны в Москве. Компания имела право беспошлинно торговать на территории всей России. Англичане привозили оружие, оловянную посуду, сукно и вывозили обычные для России товары: пеньку для канатов и верёвок, воск, кожу, меха.

Дом имеет некоторые необычные для Москвы черты. В верхней части фасада из стены выпущена деревянная балка, служившая для разгрузки и подъёма товаров в верхние этажи. Обширные белокаменные подвалы использовали для хранения товаров, помещения второго этажа были парадными, здесь принимали гостей, проходили совместные трапезы. Известно, что англичане получали от московских властей ежедневное продуктовое содержание.

Прекрасные отношения и беспошлинная торговля для англичан закончились в 1649 году. Царь Алексей Михайлович не мог простить британцам казнь короля Карла Первого. Имущество компании было конфисковано, а сами купцы высланы. После англичан долго владел палатами царский тесть, боярин И.А. Милославский. После него здание принадлежало разным владельцам. Среди них Посольский приказ, Нижегородское подворье и даже Арифметическая школа. С середины XVIII столетия здание было только в частном владении, его хозяевами были московские купцы. Они постепенно перестроили дом до такой степени, что все забыли про его славную историю. Ничто уже не напоминало про Английский посольский двор, хотя древние стены сохранялись в составе постройки. До 1966 года в здании работала Библиотека Иностранной литературы.

В 1960-е годы рядом со зданием началось строительство гостиницы Россия, дом был приговорён к сносу, на его месте был предусмотрен съезд для транспорта с Варварки к подъезду первого этажа северного вестибюля гостиницы. В процессе исследований перед сносом реставратор П.Д. Барановский нашёл старинные стены и подвалы. Дом сохранили и реставрировали по проекту И.И. Казакевич и Е.П. Жаворонкова. Здание стало филиалом Музея Москвы, экспозиция в нём открылась 18 октября 1994 года. Музей открыли королева Великобритании Елизавета II и принц Филипп, посетившие Россию с официальным визитом.

В музее развёрнута экспозиция, рассказывающая про русско-английские связи в XVI-XVII веках, проводятся концерты средневековой музыки, которая могла звучать в стенах Английского посольского двора.