Небольшой усадебный дом надворного советника Николая Николаевича Грачева был построен после пожара в 1820 году. Дом несколько раз перестраивался, пока в 1850-е не получил свой современный вид. Портик с фронтоном, ставшие немодными, удалили, а центр фасада акцентировали тремя полукруглыми окнами.

Около 1860 года дом был продан владельцем вместе со всей обстановкой и собранием живописи богатому московскому купцу Д.С. Лепёшкину, а в 1872 году домовладение с коллекцией картин перекупил Дмитрий Семенович Грачёв для своей семьи. Он недавно женился на богатой купеческой дочери Марье Андреевне Клаповской и у них уже родился первенец. Дом был записан на ее имя. На первом этаже была квартира, которую сначала занимал брат Дмитрия Семеновича – Сергей Семенович, а после его смерти - семья Николая Ивановича Тютчева, внука поэта, с которым дружил хозяин дома. В конце 80-х годов XIX века Дмитрий Семенович перестроил третий этаж, увеличив число комнат для подрастающих восьмерых детей.

Дмитрий Семенович умер в 1893 году от болезни сердца. Через год вдова внесла восемь тысяч рублей на содержание в Алексеевской психиатрической больнице одной кровати, имени ее покойного супруга, потомственного почетного гражданина Дмитрия Семёновича Грачёва.

Мария Андреевна была членом «Общества друзей Румянцевского музея». В 1915 году представила на выставку часть картин из домашней коллекции, организованной этим Обществом в пользу сербов и черногорцев, пострадавших от войны.

В 1912 году старший сын Грачёвых Семен Дмитриевич женился на Надежде Ивановне Флоринской и заказал ее брату, архитектору И.И. Флоринскому, построить дом рядом с родительским.

Дом Грачёвых был гостеприимным. А.Н. Скрябин тут показывал свои опыты цветомузыки. Среди хороших знакомых семьи были К.Т. Солдатенков, С.И. Мамонтов, Н.К. фон Мекк, М.В. Нестеров, И.Э. Грабарь, А.Н. Бенуа. В 1918 году, заботясь о сохранности коллекции картин и по совету А.Н. Бенуа, Марья Андреевна передала их Румянцевскому музею.

После 1917 года дома на Кисловке несколько раз уплотняли, превратив в коммунальные. В старом доме до своих последних дней дожили лишь Мария Андреевна (умерла в 1928 г.) и ее дочь Елизавета Дмитриевна. Семью Тютчевых тоже уплотнили и они переехали в две комнаты на втором этаже. Остальные дети Грачёвых разъехались, в большинстве не по своей воле. Последними из дома на Кисловке в конце 1950-х выехали дети Елизаветы Дмитриевны Грачёвой, в замужестве Шелленберг.