Купеческая усадьба занимала угол Большой Ордынки и Климентовского переулка. Её название соединило фамилии купцов Долговых, строителей усадьбы, и последнего перед 1917 годом владельца, Николая Ивановича Жемочкина, торговавшего кожей и приводными ремнями.. По обычаю XVII - XVIII веков, главный дом усадьбы поставлен в глубине владения, перед ним простирается обширный парадный двор. Он отделён от улицы каменной оградой с решёткой в формах московского ампира начала XIX века. Ограда с небольшими скруглениями по краям, сделанными для расширения тротуара, то есть для удобства въезда на парадный двор, была снесена в ХХ веке и восстановлена в прежних формах. Пилоны ворот украшены лепным фризом и карнизом большого выноса, они служат пропилеями, подготавливающими въезжающего в усадьбу к восприятию парадного двора.

Главный дом усадьбы построен в 1770-е годы в стиле раннего классицизма. При строительстве здания были использованы стены сводчатого подклета. Они относятся к рубежу XVII - XVIII веков. Первоначальная архитектура здания была очень проста -не было ни портика, ни фронтона. Окна двух этажей были объединены плоскими вертикальными нишами. При реставрации ХХ века первоначальная декорация дома была воссоздана на южном фасаде здания. Чтобы его посмотреть, надо войти во двор со стороны Климентовского переулка. Там же можно увидеть восточный, садовый фасад дома с белокаменной полукруглой лестницей.

Долгое время строительство здания связывали с архитектором В. И. Баженовым. Он был женат на дочери хозяина дома, А. И. Долгова. Однако архитектура здания не несёт характерных примет творчества В. И. Баженова.

После пожара Москвы в 1812 году дом перестроили. Перестройка фасада была связана не только с необходимым ремонтом, но и с изменением архитектурной моды. Центр фасада был выделен пилястровым портиком с фронтоном. Гладкие стены, прорезанные проёмами окон, служат спокойным фоном для высококачественной лепнины. Она сосредоточена в верхних частях здания, во фронтоне, во фризе на антаблементе, между этажей. После перестройки усадьба стала одним из лучших образцов московского ампира. Обычно постройки этого стиля и такого высокого качества связывают с архитектором О. И. Бове. После 1812 года он возглавлял комиссию, утверждавшую фасады зданий в восстанавливающейся Москве.

Дом Долговых составляет ансамбль со стоящей на противоположной стороне Ордынки церковью Божьей Матери Всех Скорбящих радости. Интересен вид на дом Долговых с церковного двора, издали, и вид на храм с парадного двора дома Долговых, от портика.

Вначале ХХ века здание арендовала Третья женская гимназия. После 1917 года дом стал жилым, в нём жило около 250 человек. С середины ХХ века усадьбу занимал Институт востоковедения РАН. Сейчас же здесь располагается Институт Латинской Америки РАН.