В начале переулка сохранился почти неприметный особнячок. Это дом архитектора Афанасия Григорьевича Григорьева, построенный им для себя и своей семьи.
В XVIII в. эта территория входила в обширное владение Глебовых. В 1842 г. владение разделили и продали по частям. Землю под дом купил и Григорьев.

Архитектор, которого, как и О.И. Бове, справедливо называют мастером московского ампира, родился крепостным помещика В. Кретова. Он же и определил смышленого мальчика на обучение к архитектору Ивану Дементьевичу Жилярди.

Григорьев проявил незаурядные успехи, но зависимое крепостное положение не давало ему права работать самостоятельно. Вольную он получит лишь в 1804 г. и со следующего года стал архитектором Ревизион-Коллегии. После нашествия Наполеона архитектор принял активное участие в Комиссии для строений, восстанавливая Москву: Большой Манеж, Московский университет, Воспитательный дом на Солянке, построил ряд особняков.

Григорьев был женат дважды. Первый раз — на сестре архитектора Ф.М. Шестакова. Она умерла, умер и ее брат. Григорьев и жена Шестакова остались вдовцами, горе сблизило их, и они поженились. В семье появилось трое сыновей, и пришло время задуматься о собственном доме.

Приобретя участок в Милютинском переулке, Афанасий Григорьевич построил дом, удобный для жизни большой семьи и для своей работы: каменный, в пять окон, с верхним антресольным этажом. Внутреннее пространство компактно и рационально: первый этаж был разделен на парадную половину и пониженные задние комнаты. Парадная часть состояла из зала и кабинета-приемной с камином. Окна этой части полуциркульные и выходят на улицу. Задние комнаты — с четырехчастными окнами, выходят во двор. В этих комнатах были столовая и чертежная — рабочее место архитектора. Лестница ведет на антресоли, где были спальни членов семьи.

В 1844 г., в возрасте шестидесяти двух лет, Григорьев с женой и детьми переехал в свой дом и прожил в нем до своей кончины в 1868 г. Наследником стал младший сын Михаил — живописец.

В 1923 г. в доме располагалось книгоиздательство союза анархо-синдикалистов «Голос труда». Они издали полные собрания сочинений М. Бакунина, П.А. Кропоткина и др.

Печально, что в этом уютном доме, построенном с такой любовью, больше никто не живет. Сюда приходят лишь на работу сотрудники офисов.