Во второй половине XVIII века на месте здания располагалось подворье князей Щербатовых. Усадебный дом в стиле раннего ампира, предположительно построенный по проекту архитектора Осипа Бове, появился на его территории в 1800 году.

В 1816 году здание приобрело военное ведомство для размещения батальонов, занимавшихся ремонтными и строительными работами по благоустройству города. Особняк был переоборудован в казармы. В связи с близким расположением к Петровским воротам Белого города дом получил название «Петровские казармы».

В 1827 году под руководством архитектора Фёдора Шестакова здание было перестроено, после чего стало использоваться как место предварительного заключения. В 1834-м среди арестантов, помещённых в Петровские казармы, был поэт и общественный деятель Николай Огарёв.

В 1842 году в Петровских казармах разместились Управление 2-го округа Корпуса жандармов и прикомандированный к нему жандармский батальон.

После Октябрьской революции дом был передан московской милиции. По состоянию на 1927 год кроме главного здания в её распоряжении были также служебные и хозяйственные постройки XIX века. В 1931 году в бывший особняк был переведён Московский уголовный розыск. В том же году в главном здании ГУВД Москвы открыли Музей истории Московского уголовного розыска. Музей располагался там до своего закрытия в 1979-м. В 2015 году он был восстановлен в другом здании комплекса.

В 1952—1958 годах дом был перестроен по проекту архитектора Бориса Мезенцева. В результате реконструкции выполненный в стиле ампира каменный двухэтажный особняк с пристроенными боковыми флигелями утратил свой первоначальный облик. На его основе было создано шестиэтажное здание, крылья которого образовали глубокий курдонёр. Боковые фасады здания, обращённые во двор, имели характерную для сталинского ампира структуру: три нижних этажа надстроенных флигелей заняли лоджии с арочными проёмами, верхние этажи украсили четырёхколонные портики с фронтонами.

В 1977 году во внутреннем дворе здания был установлен бюст главе ВЧК Феликсу Дзержинскому работы скульптора Анатолия Бичукова. После августовского путча 1991-го сотрудники милиции демонтировали памятник и передали его в коллекцию Музея истории московской милиции. 8 ноября 2005 года бюст был возвращён во двор здания.

В 2018-м правительство Москвы объявило о планах установить в сквере у ГУВД Москвы бронзовый памятник генералу уголовного сыска Российской империи Аркадию Кошко.