Владение между Петропавловским и Певческим переулками с конца XVIII века принадлежало старинному дворянскому роду Свиньиных (до 1929 года Певческий переулок носил название Свиньинского или Свиньина). Само владение было треугольной формы и граничило с двором и кладбищем церкви Святых апостолов Петра и Павла за Яузскими воротами.

Посредине участка стоял главный трёхэтажный дом с колонным портиком и двумя одноэтажными каменными флигелями по обеим сторонам, выходящими в Свиньинский переулок. Между флигелями находились главные въездные ворота на территорию усадьбы. Кто был строителем особняка неизвестно, но фасад здания вошёл в «Архитектурные альбомы» М. Ф. Казакова, куда знаменитый зодчий включал не только свои творения, но также планы и фасады понравившихся ему «партикулярных строений», созданных другими архитекторами – его современниками.

В 1802 году владельцем усадьбы числился генерал-лейтенант, действительный тайный советник и кавалер Пётр Сергеевич Свиньин, через пятнадцать лет уже его сын действительный статский советник и кавалер Павел Петрович Свиньин. Позже владение перешло к сыну Павла Петровича отставному ротмистру Петру Павловичу Свиньину.

Сам Пётр Павлович в усадьбе подле Хитровской площади не жил – у него был ещё один дом, на Покровке. А особняк в Свиньинском переулке сдавался внаём. До 1843 года здесь располагалась 3-я Московская мужская гимназия, а позже, по крайней мере, до середины 1860-х годов - квартиры служащих Императорского Воспитательного дома.

В 1869 году владение принадлежало уже инженер-капитану И. А. Ромейко. Ромейко по границе владения, вдоль Петропавловского и Свиньинского переулков строит трёхэтажный доходный дом с тупым углом, выходящим на Хитровскую площадь, который местные жители прозвали «Утюгом». При этом в объём «дома-утюга» были включены три каменные постройки начала XIX века. В старом господском доме Ромейко устроил ночлежку, а в «доме-утюге» - дешёвые меблированные комнаты.

В 1888 году владение было приобретено потомственным почётным гражданином Иваном Петровичем Кулаковым. К концу XIX столетия бывшая дворянская усадьба превратилась в одну из самых мрачных ночлежек Хитрова рынка. 

Вот что писал о ней В. А. Гиляровский: «”Кулаковкой” назывался не один дом, а ряд домов в огромном владении Кулакова между Хитровской площадью и Свиньинским переулком. Лицевой дом, выходивший узким концом на площадь, звали «Утюгом». Мрачнейший за ним ряд трехэтажных зловонных корпусов звался «Сухой овраг», а все вместе – «Свиной дом»... Отсюда и кличка обитателей: «утюги» и «волки Сухого оврага»… В «Кулаковку» даже днём опасно ходить - коридоры тёмные, как ночью. Помню, как-то я иду подземным коридором «Сухого оврага», чиркаю спичку и вижу - ужас! - из каменной стены, из гладкой каменной стены вылезает голова живого человека. Я остановился, а голова орет:  

- Гаси, дьявол, спичку-то! Ишь шляются!»

В 1880-1882 годах «дом-утюг» был перестроен при участии архитектора-реставратора В. Д. Померанцева.

В 1923 году все ночлежки были закрыты. Главный дом усадьбы Свиньиных по причине своей ветхости был снесён. Сейчас на его месте детская площадка. От самого дома сохранились только подвалы. Те самые, о которых писал Гиляровский. В годы Великой Отечественной войны там располагалось бомбоубежище.

А «дом-утюг» в 1925 году созданным тогда же жилищным товариществом был перестроен и надстроен двумя этажами по проекту архитектора И. П. Машкова.

С тех пор это жилой дом. Он находится на охране, как исторически ценный градоформирующий объект и входит в состав выявленного объекта культурного наследия «Достопримечательное место «Хитровка».