Двухэтажное каменное здание входит в ансамбль музея-усадьбы XVIII-XIX веков Люблино и является памятником архитектуры. Оно было построено рядом с оранжереей Дурасова в 1801-1806 годах архитекторами Р.Р. Казаковым и И.В. Еготовым для дворянских детей, чьи семьи разорились или потеряли кормильца. 
В конце XIX века, после продажи имения купцам Конону Голофтееву и Петру Рахманинову, здание пансиона, как и другие постройки усадебного ансамбля, превратили в летнюю дачу и стали сдавать в аренду. Летом 1866 года на даче жил писатель Федор Михайлович Достоевский – он гостил у сестры Веры, семья которой снимала этот дом. Здесь прозаик работал над пятой главой «Преступления и наказания», планом романа «Игрок», а также задумал повесть «Вечный муж». О своем пребывании в Люблине Достоевский потом писал: «…нестерпимая жара, а пуще всего знойный ветер заставили меня бежать из Москвы… А в Люблине, окруженном лесами, всегда было тихо и спокойно».