На протяжении почти трех столетий во владении, где позже разместилось Филаретовское училище, располагалось Заборовское подворье Чудова монастыря. Сам монастырь, один из старейших в Москве, находился в Московском Кремле, но был снесен большевиками в начале 1930-х гг. Малый Харитоньевский переулок до начала XIX века назывался Заборовским, а переулок, который вел к подворью, получил название Чудовского, в советские годы он был переименован, а уже в новейшие времена переулку было дано имя Огородная слобода – в память о слободе огородников, существовавшей здесь до начала XVIII века.

Монастырское подворье, основанное в 1670-х годах, просуществовало до середины XIX века. Вскоре после упразднения подворья, его владение было отдано для размещения Филаретовского епархиального училища. Деревянные строения, стоявшие здесь, были разобраны, и в 1861 году на их месте был выстроен двухэтажный дом по проекту архитектора А.О. Вивьена. Это было здание простой архитектуры, со скромно отделанным фасадом (портика тогда еще не было). Училище въехало сюда в 1865 году. В 1878 году архитектор М.Г. Пиотрович надстроил здание третьим этажом. Внутри была устроена домовая церковь Филарета Милостивого, действовавшая до 1919 года, когда она была упразднена большевиками.

Филаретовское женское епархиальное училище было основано в 1832 году по инициативе знаменитого митрополита Московского и Коломенского Филарета (чье имя оно потом и носило) для «воспитания девиц духовного звания». Первоначально училище существовало в качестве воспитательного отделения при Доме призрения Горихвостова, который располагался в усадьбе Гагариных-Тютчевых в Армянском переулке (д. 11). И дом призрения, и училище находились в ведении Московского попечительства о бедных духовного звания. Впрочем, в училище в качестве воспитанниц принимали не только дочерей священников – здесь, например, училась Мария Павловна Чехова, младшая сестра знаменитого писателя (в 1877-1883 гг.). Правда, на казенный кошт ее не взяли, и обучение Марии в итоге оплатил таганрогский купец Сабинников, друг семьи Чеховых (своих средств на оплату учебы дочери у них не было).

Филаретовское училище было упразднено вскоре после революции 1917 года. В бывшем училищном здании разместилось Управление внутренней охраны ЧК-ОГПУ, а в 1925 году оно было передано в ведение Военно-морского флота СССР. На рубеже 1920-1930-х гг. главное здание было перестроено по проекту архитектора П.А. Голосова, именно тогда у него и появился парадный портик.