Дом в глубине двора за каменной оградой с цоколем, с массивными столбами ворот и кованой решеткой можно считать смысловым центром переулка. В 1714 г. этот участок земли, тогда еще в Казенном переулке, привлек внимание истопника Петра I Алексея Яковлевича Милютина. В 1690 г. Милютин стал придворным комнатным истопником при царе Иоанне Алексеевиче и царице Прасковье Федоровне и по наследству перешел к Петру I.

Алексей Яковлевич построил здесь свой дом и фабрику, производившую шелковые, парчовые и позументные ткани. С энтузиазмом принявшись за развитие шелковой фабрики, для технического руководства он нанял лучших мастеров — как по обработке шелка-сырца, так и по художественному ткачеству. Прикрепив к ним учеников, он позаботился о воспитании собственных специалистов. В конце XVIII в. это была самая старая и самая большая мануфактура в Москве: небольшое деревянное строение постепенно было перестроено в камне и обросло многочисленными каменными же домами различного назначения. Наследники на этом не остановились, создав в переулке своего рода небольшую Милютинскую империю и дав переулку свое имя. Империю постигла та же участь, что и все империи: она рухнула и была распродана по частям.

Младший брат, Андрей Яковлевич, активно помогал Алексею, у которого не было детей, и после смерти унаследовал все его владения, затем перешедшие его сыновьям — Алексею и Михаилу Милютиным. При сыне последнего мануфактура закончила свое существование.

В 1829 г. главный дом городской усадьбы Милютиных приобрела М.Ф. Секретарева. Она отремонтировала обветшавшее здание, внеся ампирный декор. По улице была воздвигнута ограда с двумя воротами по сторонам дома. Через несколько лет дом был продан полковнику Херодинову, который сдавал помещения внаем. В 1873 г. одним из жильцов был Яков Кузьмич Брюсов с женой. Здесь у них родился первенец, Валерий Яковлевич Брюсов — поэт, организатор символистского движения в России.

В 1896 г. дом принадлежал Елене Александровне Бардиной, затем — купцу Василию Андреевичу Родионову, а в самом начале XX в. — Анне Николаевне Арбатской.