Двухэтажный каменный особняк с оградой был возведен в стиле классицизм. Переулок, появившийся на карте Москвы в 1838 году, назван в честь одного из владельцев дома – действительного статского советника и сенатора Андрея Дашкова (1790–1865).

Первые сведения об усадьбе датируются 1816 годом, когда она принадлежала генерал-майору Якову Мерлину. Помимо главного дома, в комплекс зданий входило несколько деревянных жилых флигелей и хозяйственных построек. До наших дней они не сохранились. Однако уцелела белокаменная ограда с металлическими ограждениями и воротами. Сейчас она находится между домами № 5 и 7 в Дашкове переулке.

От Мерлина усадьба перешла к Андрею Дашкову. В 1840-х годах в главном доме проживал и его сын Василий Дашков (1819–1896) – будущий директор Румянцевского музея в Москве, который располагался в Доме Пашкова на Ваганьковском холме (улица Воздвиженка, дом 3/5, строение 1). В нем в том числе хранилась богатейшая коллекция старинных рукописей и книг, летописей и древних грамот, которые собирал граф Николай Румянцев. Также в доме Андрея Дашкова жил его зять – художник и вице-президент Академии художеств князь Григорий Гагарин (1810–1893).

После смерти Андрея Дашкова в 1865 году особняк сменил несколько владельцев, некоторые из них сдавали его в аренду. В советское время в здании были коммунальные квартиры, а также располагался Госснаб Казахской ССР. 

Дом в Дашкове переулке имеет не только мемориальную, но архитектурную ценность. Это типичный образец жилой застройки столицы начала XIX столетия. В лаконичности его декоративного оформления прослеживаются черты классицизма. Внутри особняка сохранились изразцовые печи и историческая лестница. А на полу первого этажа можно увидеть узоры, выложенные из метлахской плитки. Главный фасад здания украшен ризалитом (выступом) с квадратными полуколоннами и прямыми лепными карнизами. На крыше располагаются слуховые окна.

В 2017 г. начались работы по реставрации дома и приспособлению его к современному использованию. Прежде всего была разобрана поздняя деревянная пристройка к юго-восточному фасаду дома, которая закрывала исторические оконные проемы. Были усилены и частично заменены несущие конструкции дома, усилены деревянные перекрытия, отреставрирована кирпичная кладка стен, восстановлена архитектурно-декоративная отделка фасадов здания. Растесанные оконные проемы дома были восстановлены в прежних размерах. В них установили двойную столярку, выполненную по аналогам XIX в. 

Работы с крышей включали в себя замену сгнившей стропильной системы и покрытие крыши кровельным железом. Кроме того, была воссоздана конструкция слуховых окон. Реставраторы воссоздали каменное крыльцо главного входа и отреставрировали белокаменный цоколь по всему периметру дома. 

В ходе работ была возвращена историческая объемно-планировочная структура здания с учетом минимальных изменений, связанных с приспособлением дома к современному использованию. В интерьерах были раскрыты и отреставрированы старинные изразцовые печи на первом и втором этажах. Каменные ступени лестницы были полностью изношены, реставраторы воссоздали их по образцу подлинных ступеней.  

Работы по реставрации и приспособлению дома к современному использованию завершились в феврале 2019 г. Дом стал лауреатом конкурса Правительства Москвы на лучший проект сохранения и популяризации объектов культурного наследия "Московская реставрация – 2019". Сейчас в нем расположено детское отделение лечебного центра.