Усадьба Тимофея Тутолмина — главная доминанта Швивой горки. Когда-то этот дом по своей красоте не уступал знаменитому на всю Москву Пашкову дому.

В начале XVIII века во времена Петра I на этом месте строит себе палаты Григорий Дмитриевич Строганов, наследует Александр Григорьевич Строганов. Позже владение перешло к его дочери княгине В.А. Шаховской.

Во второй половине XVIII века старинные палаты были разобраны, и в 1788 году начинается строительство главного дома в стиле классицизм для одного из богатейших купцов того времени В. В. Суровщикова.

В самом начале XIX века усадьба была достроена Тимофеем Ивановичем Тутолминым, который с 1806 по 1809 годы занимал должность московского генерал-губернатора. Говорят, что на одну только парадную лестницу Тутолмин потратил баснословные 150 тысяч рублей. Около 1800 года дом Тутолмина был включён в число замечательных московских зданий, фасады и планы которых собраны в знаменитые «Альбомы» М. Ф. Казаковым. Вскоре после своего назначения на должность московского главнокомандующего Тутолмин продаёт усадьбу брату знаменитого екатерининского и павловского сановника графу И. А. Безбородко.

Со стороны Гончарной улицы дом был отодвинут вглубь участка, перед ним первоначально находился круглый парадный двор. Садовым фасадом особняк был обращён в сторону реки, и там, со смотровой площадки бельведера, открывался невероятный вид на Кремль и Москву-реку. В интерьерах особняка выделялись огромный двусветный квадратный зал, перекрытый куполом, и примыкавший к нему овальный бальный зал в северном крыле. В южном крыле, как предполагают историки, помещался зимний сад.

В непростой для Москвы 1812 год в особняке Тутолмина находилась вторая резиденция Мюрата, который убежал от пожара из соседней усадьбы Баташева, отсюда - в усадьбу Разумовского на Гороховом поле, что, правда, не уберегло её от огня и разорения. После пожара дом долго стоял разорённым со сгоревшим бельведером, потом его продали Тимофею Васильевичу Прохорову, одному из московских текстильных магнатов. Он решил открыть здесь фабрику-школу, и уже в 1833 году началась перестройка и переоборудование дома. А с сентября начались занятия, и было открыто мануфактурное производство. Фабрика-школа просуществовала здесь до 1850-х годов, когда особняк превратился в обычный доходный дом с квартирами и конторами внаём.

В начале XX века в дом Тутолмина въехала известная в Москве частная женская гимназия Е. Е. Констан. В 1903-1904 годах архитектор В. В. Шервуд перестраивает дом: дугообразные крылья заменили четырёхэтажными прямоугольными корпусами в единую линию главного дома, сохранились лишь остатки центрального ризалита с шестиколонным коринфским портиком. В 1930-х годах дом был снова надстроен.

В 1980-е была проведена реставрация здания, выделившая цветом историческое ядро. В результате на сегодняшний день особняк Тутолмина, потерявший своё было великолепие, напоминает скорее советское здание во вкусе номенклатурной элиты.