Основатель известной в XIX в. кожевенной династии Алексей Федорович Бахрушин в 1830-х гг. пришел в Москву пешком из Зарайска. Поселился он с супругой и старшим сыном на зарайском подворье на Таганке. Но уже через несколько лет Бахрушины купили большой участок на Кожевнической улице и основали там кожевенный завод. Соседний с родовым дом 8/4, стр. 1 они приобрели у купца Ардалиона Котельникова в 1856 г. В семье Бахрушиных бытовала легенда, что когда-то на месте их дома находился загородный охотничий замок Потемкина. И от тех времен остались двухаршинные стены и ворота. Справа от дома был разбит большой сад с прудом и островом на нем, куда был перекинут мостик. Сейчас на этом месте расположен музей Российской железной дороги с паровозом, на котором в Москву привезли тело Ленина. Другая часть сада отошла под кожевенный завод.

В доме жила семья Александра Алексеевича Бахрушина. Дом был большой и несколько неудобный, по воспоминаниям его внука. Посредине располагалась двухсветная большая зала с хорами для оркестра, где в табельные дни — дни рождения хозяев, на Рождество и Пасху устраивались большие семейные торжества. В этом доме родились и выросли все его дети: знаменитый создатель Театрального музея Алексей Александрович, известный московский благотворитель и попечитель Пятницкого попечительства о бедных Владимир Алеександрович, коллекционер и балетоман Сергей Александрович.

Второй этаж был занят семьей Александра Алексеевича и его старшего сына Владимира, а первый этаж был отдан детям Владимира. В старинном флигеле помещалась контора кожевенной фабрики, и жили служащие завода.

После смерти деда домом владел Сергей Владимирович Бахрушин —профессор Московского университета, видный в советское время ученый, москвовед. После революции Бахрушиных из дома выселили. Вместо кожевенной фабрики оборудовали фурнитурный завод. Дом отдали заводу.

В 2010-е гг. на месте завода соорудили бизнес-центр «Вивальди Плаза», а дом укоротили (на три левых окна) и перестроили до неузнаваемости — одни только стены и остались.