Мархлевский сознательно выбрал жизненный путь революционера, борца за права рабочих, несмотря на то, что родился в помещичьей, хотя и обедневшей, семье. Его мать Августа Рикерсфельдт (нем. Rückersfeldt) (1836–1918) была немкой и говорила с детьми  преимущественно по-немецки (помимо Юлиана в семье было еще три сына и три дочери), а отец Юзеф Мархлевский (1830–1907) был поляком и общался дома как по-польски, так и по-немецки.

Работал на красильных фабриках в Варшаве, а затем в Германии. В 1889 участвовал в организации Союза польских рабочих. В 1891 арестован и выслан за границу. Соратник Розы Люксембург и Яна Тышки, один из основателей в 1893 Социал-демократии Королевства Польского, с 1902 член её Главного правления. Редактировал газеты Красное знамя (польск. Czerwony Sztandar), Социалистический обзор (польск. Przegląd Socjalistyczny) и Рабочее дело (польск. Sprawa Robotnicza).

В 1896 году окончил Цюрихский университет. Со студенческих лет дружил с А. Л. Гельфандом. С 1902 года работал совместно с Гельфандом в созданном последним мюнхенском Издательстве славянской и северной литературы. В октябре 1905 года Гельфанд, оставив дела в Германии Мархлевскому, уехал в Санкт-Петербург. Издательство, финансовое положение которого к тому времени оставляло желать лучшего, вскоре обанкротилось, что стало причиной размолвки Мархлевского с Гельфандом.

Участник революции 1905 года. Снабжал оружием боевые организации СДКПиЛ. В 1907 делегат 5-го (Лондонского) съезда РСДРП, избран кандидатом в члены ЦК РСДРП. Делегат 3, 5-9-го конгрессов Второго Интернационала. Начало Первой мировой войны Мархлевский встретил в Берлине, где вместе с Р. Люксембург и К. Либкнехтом включился в формирование союза «Спартак». За антивоенную и антиправительственную деятельность 22 мая 1916 г. он был заключен германскими властями в концлагерь, где и встретил известие о событиях Февраля и Октября 1917 г. Выйти на свободу он смог только после подписания Брестского мира. 22 мая 1918 г. его обменяли на пленного немецкого генерала, после чего он вместе с семьей приехал в Советскую Россию и семь лет, вплоть до своей смерти, прожил в Москве.

Участвовал в организации Коминтерна и МОПРа. В сентябре-октябре 1919 от имени советского правительства вёл переговоры с представителями Пилсудского о приостановке военных действий между Красной Армией и поляками, которая позволила Красной Армии разбить Вооружённые силы Юга России Деникина.

Мархлевский — автор многих исторических сочинений. Он владел несколькими языками и был блестящим знатоком литературы и искусства стран Европы. Он являлся также автором многочисленных искусствоведческих статей, переведенных на многие языки. По праву считается одним из ведущих представителей марксистско-ленинской эстетики и социологии искусства. Его статьи всегда отличались энциклопедическими знаниями и широчайшим охватом рассматриваемого вопроса.

В 1920 возглавил Временный революционный комитет Польши в Белостоке.

С 1922 года — ректор Коммунистического университета национальных меньшинств Запада, председатель ЦК Международной организации помощи борцам революции (МОПР), созданной по его инициативе.

Умер в 1925 году во время отдыха в Италии. В 1950 останки перевезены в Польшу и похоронены на варшавском кладбище Воинское Повонзки.