На II съезде РСДРП, который был организован при большом участии Мартова, между им и Лениным произошел раскол. Сторонников Ленина стали называть большевиками, а мартовцев — меньшевиками. После съезда Мартов вошел в бюро меньшевиков и в редакцию новой «Искры». Участвовал в революции 1905, член Петербургского совета. На Женевской конференции меньшевиков (апрель — май 1905 г.) настаивал на выборности всех партийных органов. Что же касается его отношения к Ленину, то в статье «На очереди» впервые для определения взглядов Ленина он ввел термин «ленинизм».
Вернувшись в октябре 1905 г. в Россию вместе со своим другом и соратником Ф. Даном, Мартов участвовал в работе Петербургского Совета рабочих депутатов, вошел в Организационный комитет (меньшевистский партийный центр), работал в редакциях газет «Начало» и «Партийные известия». С декабря 1905 г. стал членом ЦК объединенной РСДРП, отвергал тактику бойкота Государственной думы, активно выступал на митингах и собраниях.
В 1906 г. он дважды подвергался аресту. В феврале содержался в одиночной камере, затем — под надзором полиции. А в июле по решению Особого совещания был приговорен к трехгодичной ссылке в Нарымский край, которая в сентябре была заменена высылкой за границу. Сначала Мартов жил в Женеве, затем в Париже. В 1907 г. он присутствовал на V съезде РСДРП. На Штутгартском конгрессе 2-го Интернационала вместе с Лениным и Р. Люксембург он внес радикальные поправки в резолюцию об отношении к войне.
