На рубеже XVII-XVIII веков на землях бывшей Мясницкой слободы стали охотно селиться представители дворянства и купечества. Мясницкая улица, ставшая к тому времени одной из главных городских артерий, украсилась немалым количеством каменных домов. Одним из новых домовладельцев стал купец Гостиной сотни Федор Козмин (Казьмин), который и выстроил, с отступом от красной линии улицы, каменные барочные палаты.

Шли годы, менялись хозяева, менялась и архитектурная мода. И в середине 1760-х годов новым владельцем становится генерал-аншеф П. И. Панин, известный военачальник Семилетней войны, позже командовавший подавлением Пугачевского восстания. При нем старый особняк был перестроен. По обеим сторонам к главному дому были пристроены крылья, изменился декор фасадов. А еще через тридцать лет князем Александром Ивановичем Лобановым-Ростовским, ставшим в 1791 году владельцем усадьбы, была затеяна новая перестройка. 

Очень часто автором проекта, придавшего главному зданию классический облик, сохранившийся и поныне, называют одного из самых известных московских архитекторов Матвея Федоровича Казакова. Однако никаких документальных свидетельств этому нет. Фасад здания вошел в знаменитые «Архитектурные альбомы» зодчего, но Казаков включал в альбомы не только свои творения, но также планы и фасады понравившихся ему «партикулярных строений», созданных другими архитекторами – его современниками. Вполне вероятно, что строителем был зодчий Франческо (Франц Иванович) Кампорезе. Скорее всего, по его проекту двухэтажный особняк был удлинен по уличному фасаду путем пристройки с востока и запада дополнительных объемов с парадными залами. Центральная часть главного фасада получила украшение в виде коринфского колонного портика, увенчанного массивным аттиком с полукруглым окном мезонина, создающего впечатление триумфальной арки. В свою очередь два боковых пилястровых ионических портика лаконичны и легки. И наружные стены, и интерьеры здания украшены богатым лепным декором.

В конце1820-х годов (скорей всего, после 1828-го, см. исследования) здесь размещалась «Школа рисования в отношении к искусствам и ремеслам», основанная графом С. Г. Строгановым, – предтеча Строгановского училища. А в 1826 году усадьбу приобрел управляющий Московским архивом Коллегии иностранных дел, известный историк Алексей Федорович Малиновский. В это время здесь не раз бывал Александр Сергеевич Пушкин. А хозяйка дома, Анна Петровна, хорошо знакомая с семьей Гончаровых, приняла активное участие в сватовстве поэта.

В 1836 году у владения появляются новые хозяева: известные механики, датчане братья Николай и Иоганн Бутенопы, владельцы завода по производству сельскохозяйственной техники, а помимо этого - еще и башенных часов. Часы, изготовленные на заводе Бутенопов, были установлены и на Большом Кремлевском дворце, и на Спасской башне Московского Кремля. Курантами они украсили и мезонин дома на Мясницкой. Сама же усадьба была приспособлена под производственные цели. 

В 1874 году владение приобрели братья Липгарты, владельцы «Товарищество Эмиль Липгарт и Ко». Во дворе усадьбы были возведены новые производственные корпуса по проекту архитектора А. Ф. Мейснера. В одном из строений разместилось реальное училище К. П. Воскресенского. В 1906 году для училища одним из известных мастеров московского модерна А. В. Кузнецовым был построен новый корпус (нынешнее строение 2).

После 1917 года в старинном здании расположился госпиталь, а потом сюда въехала Московская потребительская коммуна и Совет кооперации.

К середине 1980-х годов усадьба пришла в аварийное состояние. Ремонт, начавшийся в 1987 году, так и не был закончен. И только в середине 2000-х годов новым арендатором - Некоммерческим партнерством по развитию культуры и искусства «Меценат клуб» - была проведена полная комплексная реставрация. Усадьба находится на охране и включена в Единый государственный реестр объектов культурного наследия (памятников истории и культуры) России.