В 1803 г. Дмитрий и Александр Грачевы приобрели владения Михневой и Карнауховых с целью завести здесь ситцевую мануфактуру. А. Д. Грачев выстроил жилой усадебный комплекс, куда входили сохранившийся до сих пор дом и два флигеля.

В 1812 г. дом Грачевых не пострадал от пожара. Жилая часть владения была отделена от фабричной. Первая включала в себя двухэтажный главный дом с мезонином в глубине и два одинаковых одноэтажных флигеля, симметрично стоявших по сторонам парадного двора и выходивших торцами на красную линию улицы. Они были построены в 1816—1817 гг. В 1834, 1843, 1849 и 1850 гг. жилая часть достраивалась: были сделаны пристройки к дому, расширен западный флигель, появилась каменная ограда по линии улицы. В 1846 г. этот участок перешел во владение к купцу С. Шушарину, который приспособил здания под химический завод с красильными и сушильными цехами. В свою очередь, фабричную часть в 1847 г. выкупили братья Ганешины, в 1871 г. зарегистрировав заведение как Товарищество суконной и прядильной фабрик братьев В. и Н. Ганешиных и Ко. Через четыре года они выкупили жилую часть усадьбы, восстановив ее территорию в прежних границах. При Ганешиных жилые здания приобрели хозяйственную функцию: в 1875 г. были реконструированы оба флигеля, восточный приспособлен под контору, а в главном доме был устроен склад шерсти.

В 1879 и 1880 гг. главный дом был перепланирован под квартиры для работников фабрики, также был надстроен третий этаж. В конце XIX в. участок приобрела кружевная фабрика. После 1917 г. она была национализирована. На базе старого производства появилась сначала Кружевная фабрика «Ливерс» треста «Мострикотаж», а затем, с 1940‑го, Гардинно-кружевная и тюлевая фабрика имени Э. Тельмана. В главном доме располагались сначала общежития для рабочих, а затем детский сад и фабричная контора.

В 2003—2007 гг. в восточном флигеле был укреплен фундамент; произведена вычинка кирпичной и белокаменной кладки, а также сводов подвала; заменена кровля, отреставрированы фасады. Были восстановлены интерьеры: воссоздан паркет, карнизы и двери.

В настоящее время усадьба на реставрации.