陶謙后來喜歡學習，先是考上諸生，在州郡為官，后被舉為茂才，拜尚書郎，先后出任舒縣令、盧縣令。其后遷幽州刺史，被徵拜為議郎。

中平二年（185年）三月，北宮伯玉等率領羌胡進犯三輔，靈帝派遣左車騎將軍皇甫嵩率軍討伐，皇甫嵩表請武將隨行，召拜陶謙為揚武都尉一同出征，將叛軍擊敗。七月，皇甫嵩因先前得罪中常侍趙忠、張讓，在他們的誹謗下被貶官削爵。

朝廷另委派司空張溫為車騎將軍前往討伐，張溫請?zhí)罩t為參軍，接遇甚厚，但陶謙素來輕蔑張溫的作為，心懷不服。

后大軍回朝，陶謙在百官宴會上公然羞辱張溫，張溫大怒，意圖將陶謙遷往邊關，在別人的勸說下才將陶謙追回。張溫于宮門迎接陶謙，陶謙并不領情，但張溫對陶謙還是像以前一樣好。

二、經(jīng)營徐州

中平五年（188年）十月，青、徐兩州黃巾復起，攻打郡縣。朝廷任命陶謙為徐州刺史，鎮(zhèn)壓黃巾軍。陶謙一到徐州就任用亡命東海的泰山人臧霸及其同鄉(xiāng)孫觀等為將。

結(jié)果一戰(zhàn)便大破黃巾軍，剩下的黃巾軍也被迫逃出徐州境內(nèi)。黃巾破走后，陶謙上表拜臧霸、孫觀為騎都尉，令其屯瑯玡郡治開陽，駐守徐州北面。

初平元年（190年）正月，關東牧守擁立袁紹為盟主，矛頭直指在洛陽的董卓。當時天下郡縣響應，大興義兵。但陶謙并未加入關東聲討董卓的軍事行動之中。

初平二年（191年），名將朱儁屯駐在中牟縣，傳信給各個州郡，召請部隊討伐董卓。陶謙得知此事后，立即派來精兵三千，其他州郡只派了一些兵來，陶謙又上表奏任朱儁代理車騎將軍。