Флигель входит в состав городской усадьбы XVII–XIX вв., объекта культурного наследия федерального значения.

У усадьбы на углу Армянского и Сверчкова переулков – длинная и сложная история — и владельческая, и строительная. Палаты XVII века, принадлежавшие, возможно, боярину Милославскому, составили ядро усадебного дома, который впоследствии перестраивался. С 1790 года, когда усадьба переходит к князьям Гагариным, ее преобразованием в соответствии с канонами московского классицизма занялся знаменитый архитектор М.Ф. Казаков. Он и создал традиционную классическую композицию с главным домом в глубине участка и симметричными флигелями, выдвинутыми на красную линию Армянского переулка.

Затем усадьбой владели Тютчевы (здесь жил и знаменитый поэт Федор Тютчев), а впоследствии она использовалась под разного рода социальные учреждения – от Горихвостовской богадельни до советского «Дома соцобеспечения имени Некрасова» 1920-х гг., описанного Ильфом и Петровым в романе «12 стульев» под именем «2-го Дома Старсобеса». Но общая композиция усадьбы уже не изменялась – и сегодня мы видим ее такой, какой задумывал ее М.Ф.Казаков.

Южный флигель, выходящий в Армянский переулок, в отличие от северного флигеля, соединен с главным домом усадьбы. За флигелем расположен узкий дворик, изолированный окружающими его корпусами от парадного двора усадьбы. Южный флигель поставлен, в отличие от северного, с отступом от границы домовладения, оставляя свободное пространство между ним и соседним домом по переулку.

Со стороны Армянского переулка южный флигель, как и северный, представляет собою одноэтажное здание в пять осей-окон. Центр фасада, обращенного к переулку, выделен небольшим ризалитом. Характерной приметой архитектуры XVIII столетия, восходящей к раннему русскому классицизму, являются вертикальные ниши для окон. Они видны и на фасаде по переулку, и на стенах, обращенных к усадебному двору. Аналогично декорированы фасады корпуса, соединяющего южный флигель с главным домом, перпендикулярного переулку. Разность в количестве оконных осей с «симметричным» ему северным флигелем усадьбы (соответственно 5 и 7) может указывать на то, что М.Ф.Казаков в 1790-е годы перестраивал под классический канон уже существовавшие строения.