Когда-то на углу Среднего и Малого Кисловских переулков стояла церковь Космы и Дамиана, что во Ржищах. В 1781 (по другим данным, в 1784) ее разобрали, а в 1812 бывшую церковную землю купил генерал-майор Григорий Аполлонович Колокольцев. У него торцом к Среднему Кисловскому переулку стоял двухэтажный дом с подвалами. В 1858 г. владение приобрел купец Василий Иванович Якунчиков. В его руках позднее соединились несколько участков – №№ 5 и 7 по Ср. Кисловскому и № 10 по М. Кисловскому переулкам.

Василий Иванович, начав в молодости свое дело с откупов, заработанные деньги потратил на учебу в Англии, откуда вернулся англоманом и создал под Наро-Фоминском свою текстильную фабрику с английским мастерами. Ему принадлежали магазины основанного им Товарищества Петровских торговых линий, два кирпичных завода: в селе Троицкое-Черемушки и на ст. Одинцово Звенигородского уезда Московской губернии. Соучредитель Московского Торгового банка совместно с Н.А. Найденовым и П.М. Рябушинским. Из темно-красных якунчиковских кирпичей в Москве много строили.

Женат Василий Иванович был дважды. Первый раз на Екатерине Владимировне Алексеевой (1833–1858), тетке К.С. Алексеева-Станиславского, от которой у него было трое детей. В 1861 г. в этот дом Якунчиков ввел новую хозяйку, 18-летнюю красавицу Зинаиду Николаевну Мамонтову, из большой семьи купца Николая Федоровича Мамонтова. Ее сестра Вера Николаевна чуть позже выйдет замуж за Павла Михайловича Третьякова. Во втором браке у Якунчикова было 9 детей, до взрослого возраста дожило только пятеро.

Хозяева особняка были хорошими музыкантами. Василий Иванович играл на скрипке, а Зинаида Николаевна была почти профессиональной пианисткой. Якунчиков был одним из устроителей Московской консерватории. Тут в гостиной часто собиралась молодежь из известных купеческих фамилий, близких родственников хозяев – Алексеевых, Сапожниковых, Третьяковых, Мамонтовых. У Якунчиковых сначала был танцкласс известного балетмейстера Линдрота. Затем младшие дети играли в куклы, а старшие расходились по интересам. Обедали в пять вечера. По воспоминаниям дочери Третьякова Александры, "на первом этаже накрывался стол человек на тридцать. Бывало очень весело… После обеда молодежь играла в зале в игры. В 9 часов ехали домой".

Концерты проходили в огромной бальной зале с двумя колоннами, люстрами, зеркалами и канделябрами, где стояли два рояля. Сюда на музыкальные вечера, где часто выступали с фортепианными концертами Николай и Антон Рубинштейны или заезжие знаменитости, собиралась вся культурная Москва. На них присутствовал и великий князь Сергей Александрович, генерал-губернатор Москвы. По словам Бориса Пастернака, во время концертов художники Леонид Пастернак и Валентин Серов рисовали на долговязого князя карикатуры.

Хотя дом Якунчиковых стоял в центре Москвы, жили тут по-деревенски. Посередине просторного чистого двора стоял колодезь. В большом сарае размещались лошади, кареты и пролетки, которыми заведовали несколько кучеров. По воспоминаниям внучки Якунчикова, «у дедушки была своя корова (это в начале ХХ века), она присоединялась к стаду, поднимавшемуся вверх по Средней Кисловке. Стадо заворачивало к Арбатской площади, по Пречистенскому бульвару спускалось к Москве-реке и по Каменному мосту переправлялось на пастбище".

Все дети Якунчиковых были натурами художественными. В этом доме выросла знаменитая Мария Якунчикова-Вебер. Она не раз рисовала и сам дом, и переулок из окна. Старшая дочь Наталья стала женой Василия Поленова.

После революции Якунчиковых из дома выселили. В 1953 г. двухэтажный особняк достроили еще пятью этажами, и получился семиэтажный дом для преподавателей Московской консерватории. А в усадебных постройках еще раньше сделали коммунальные квартиры.