Усадьба на Бауманской (исторически — Немецкой) улице была построена, вероятно, в середине XVIII в., не позже 1770-х гг. Ансамбль усадьбы, стоящей по красной линии улицы, состоял из главного дома и двух симметрично расположенных флигелей, соединенных с главным домом арками ворот с белокаменными колоннами. Левый флигель был утрачен в 1960-е гг. Сохранился также один из хозяйственных флигелей в глубине владения.

Есть предположение, что автором проекта усадьбы был выдающийся русский архитектор Матвей Федорович Казаков Чертеж фасада усадьбы был помещен в «Альбомы партикулярных строений Москвы», составленные М.Ф. Казаковым в начале XIX в. и включавшие лучшие, по мнению архитектора, частные дома Москвы.

Декоративное оформление фасада главного дома относится уже к послепожарному периоду: дом горел в 1812 г. и был восстановлен к 1815 г. Примечателен полукруглый центральный ризалит здания, украшенный сдвоенными коринфскими пилястрами и изящными лепными барельефами с сюжетной композицией; фасад по бокам от ризалита также оформлен лепными барельефами и растительным фризом. Внутри сохранились сводчатые помещения подклета и — частично — оформление парадных интерьеров первой трети XIX в.

В конце XVIII – начале XIX вв. владельцами усадьбы была дворянская семья Карабановых — сначала Федор Леонтьевич Карабанов, бригадир, бывший одно время тверским вице-губернатором и губернским предводителем дворянства. Потом усадьбу унаследовал его сын Павел Федорович, прославившийся как знаток и коллекционер древностей. Почти всю жизнь он посвятил собиранию древностей: церковной утвари, медалей, монет, картин и гравюр. В его собрании было более 3000 портретов исторических деятелей, богатая библиотека древних книг и рукописей. Его коллекция, известная как «Русский музей Карабанова», размещалась в его доме на Петровке (Петровка, 23), куда он переселился из отцовской усадьбы на Немецкой улице и где прожил большую часть жизни.

Свое собрание Павел Карабанов завещал государству. Коллекция древностей была передана в Оружейную палату, портретная галерея — в Эрмитаж, большая часть рукописей и книг — в Императорскую публичную библиотеку. Некоторые труды Карабанова были изданы уже после его смерти: «Исторические рассказы и анекдоты, записанные со слов именитых людей», «Списки замечательных лиц русских»; его исторические записки и рассказы печатались также в журнале «Русская старина», а собранные им генеалогические сведения использовались при составлении Российской родословной книги.

После Карабановых усадьба на Немецкой улице перешла к семье уральского заводчика Ивана Яковлева-Собакина, которая и восстанавливала дом после пожара 1812 г. Последним владельцем усадьбы был дворянин Николай Александрович Занковский, член Русского Фотографического общества, владелец фирмы «ЭНЗЕ», производившей фотографические пластины.

В советские годы в усадьбе размещались различные учреждения, сейчас в главном доме располагается банк.