Эта оригинальная трехъярусная постройка эпохи позднего классицизма включает квадратный каменный цокольный этаж, на котором расположена деревянная ротонда с тонкими деревянными колоннами. Колонны образуют широкую, окаймляющую второй этаж крытую террасу. Вторая колоннада окружает верхний ярус. Здание завершено крышей с люкарнами и куполом. Ко входу в здание ведут полукруглые лестницы. Портик оформлен парой сдвоенных колонн.

Точных сведений о постройке здания не сохранилось. Некоторые историки предполагают, что его автором был архитектор М. Ф. Казаков. Но никаких официальных документов, подтверждающих это, нет. В москвоведческой литературе высказывается предположение, что здание было подарено Екатериной II графу А. Г. Орлову-Чесменскому. Оно стало одним из корпусов его летней усадьбы.

По другим сведениям, этот участок никогда не принадлежал Орловым. В пользу этого свидетельствует тот факт, что «голубятня» (а она выстроена частично из дерева) не входит в перечень построек, уцелевших во время Отечественной войны 1812 г.

Происхождение современного названия также неизвестно. Согласно одной версии, название образовалось просто из-за необычного внешнего облика. По другой версии, здание действительно использовалось как голубятня.

До революции «голубятня» принадлежала скульптору К. Ф. Крахту. Здесь же находилась его мастерская. В советский период в здании располагались художественная коммуна «Венок» и воинская часть. В конце 1950‑х гг. после реставрации и приспособления в нем разместилась детская библиотека. С начала 1990‑х в «голубятне» расположился клуб «Граф Орлов».

Согласно легенде, из Данилова монастыря, расположенного неподалеку, в особняк вел подземный ход. Частичное подтверждение этому удалось найти при благоустройстве парка вокруг здания в 1996 г. В 1999 г. была завершена реставрация: были усилены фундаменты, отреставрированы фасады и интерьеры. При этом удалось сохранить круглые планы второго этажа и бельведера.