1920年8月，由李汉俊、陈独秀等7人发起，上海共产主义小组成立，并由李汉俊起草共产党章程草案，公开树立共产党的旗帜。当年12月，陈独秀离开上海去广州办教育，上海共产主义小组书记由李汉俊代理。这期间，他和李达一道，为召开中共第一次全国代表大会，做了大量具体的准备工作。
1924年6月，列宁委派马林为共产国际代表，到中国建立联系，最早联络的是李汉俊和李达。李汉俊即刻给李大钊、陈独秀写信，建议尽快召开中国共产党第一次代表大会。为了开好“一大”，李汉俊又和董必武一道负责“一大”文件起草工作。1921年7月，中共一大在上海如期召开。从此，中国共产党正式宣告成立了。
中共一大后，李汉俊为党的建设做了大量工作，撰写了《中国的乱源及其归宿》，《我们如何使中国的混乱尽快终止》等著名文章，影响广泛而深远。
由于和陈独秀、张国焘意见不和，李汉俊离开了上海，到武昌高师任教。在中共召开“二大”、“三大”时，他写信给陈独秀，陈述自己的意见，中共三大时，他依然被选为候补中央执行委员。在武汉执教期间，他依然不改初衷，向青年学生宣传马克思主义。此时，董必武、陈潭秋在湖北领导女师学潮里，李汉俊极力支持学潮运动，发表了《第三阶段妇女解放运动》《第四阶段妇女解放运动》两篇文章，对女师学潮起到了推动和指导作用。
不久武汉发生了京汉铁路工人大罢工，李汉俊坚决支持工人运动，由于遭到反动当局镇压，为了避开敌人的迫害，李汉俊离开了武汉，来到北平。与李大钊同在北平女师大任教。