Дом занимает важную градостроительную позицию, начиная улицу Большая Полянка. Перед ним, на Болотном острове, на низком берегу долгое время не было никаких построек. Дом был виден из Кремля, от Большого Каменного моста, начиная ряд зданий, оформлявших набережную Водоотводного канала. Он был построен в середине XVIII века на более старом цоколе, оставшемся от предыдущего строения. Возможно, предыдущий дом был деревянным на каменном фундаменте.

Неизвестный нам архитектор – автор дома учитывал расположение здания при разработке проекта. Поэтому он применил на фасаде пилястровый портик во всю высоту дома. Его крупные формы хорошо видны издали. Скруглённые углы дома первоначально были украшены небольшими полукруглыми балконами, поставленными на невысокие изящные колонны. Скругление углов у домов, расположенных на углах улиц, вошло в употребление в середине XVIII столетия, одновременно с началом строительства в стиле раннего классицизма. Вход в здание был сделан со двора. Большие пилястры портика этого дома хорошо воспринимались издали. При приближении зритель концентрировал своё внимание на угловых балконах. Эти балконы уничтожил очередной хозяин дома, купец Григорий Иванович Котов, в 1842 году. Перед ним, в 1830-е годы, домом владели купцы первой гильдии Григорий и Спиридон Рыловы.

Кажется, что за представительным фасадом здания должны быть парадные интерьеры богатой усадьбы. Но это не так. Все купцы – хозяева усадьбы не только жили здесь, но и держали своё производство. Во второй половине XIX века в усадьбе было «жестяное заведение» Абрама Хаймовича. С 1888 года дом принадлежал Козьме Петровичу Юдину. Он тоже занимался изделиями из жести. Следующий хозяин заведения, Герман Леонтьевич Розенберг, жестяную фабрику закрыл.

После Г. Л. Розенберга в доме поселились врач-отоларинголог Нахим Вульфович Зак и торговец дровами, купец второй гильдии Давид Беркович Левин. Н. В. Зак числился среди жителей дома и в 1917 году.

При строительстве Малого Каменного моста уровень земли на прилегающих к мосту участках был поднят, поэтому, осматривая дом, надо помнить, что в XVIII веке он был несколько выше, казался не таким приземистым, как сейчас.