1923年春，不滿北洋政府教育總長彭允彝破壞法制的行為，提出辭職，離京南下。秋間轉(zhuǎn)赴歐洲，從事研究和著述，并參與要求英、法等國退還庚子賠款興辦教育事項。

1924年1月在國民黨第一次全國代表大會上，經(jīng)孫中山提名，當選為候補中央監(jiān)察委員。1926年初回國。在上海參加蘇浙皖三省聯(lián)合會，配合北伐戰(zhàn)爭，策劃三省自治運動，遭孫傳芳通緝。

1927年起，在南京國民政府任大學院院長、司法部長和監(jiān)察院長等職。1927年3月28日，蔡元培任國民黨中央監(jiān)察委員會會議主席，對吳稚暉提出的彈劾共產(chǎn)黨表示附議，主張“取消共產(chǎn)黨人在國民黨之黨籍”。

4月2日，蔡元培再次擔任主席，蔡元培再次附和吳稚暉關(guān)于彈劾共產(chǎn)黨的文告，并拿出了《共產(chǎn)黨禍黨證據(jù)及共產(chǎn)黨在浙禍黨之報告》。國民黨南京政府成立后最初兩年內(nèi)，蔡元培在政治上仍然站在蔣介石一邊，支持“清共”。

但與其他人不同的是，在清黨的實施過程中，他不支持濫殺，而是希望將這種政治上的彈壓行動納入比較規(guī)范的法治范圍，即同意清黨但反對殺人。

在清黨的初期，蔡元培就曾對浙江清黨委員會的草菅人命提出了嚴厲的批評，并要求在清黨中必須執(zhí)行三條原則，而且出面營救過可能遭國民黨逮捕的共產(chǎn)黨人和革命青年。

為勸阻南京國民黨當局濫殺行為，蔡元培曾專門撰文勸告國民黨當局繼承孫中山的高尚人格，以德服人，停止濫殺。