據(jù)《明史》記載，朱元璋對手握大權(quán)的丞相李善長心懷不滿，有意收拾他，因為李善長與劉伯溫關(guān)系不睦，便想讓劉伯溫出面來懲治李善長，劉伯溫此時并沒有因為舊惡而對李善長落井下石，反而向朱元璋進言，稱李善長是開國元勛，在朝政中發(fā)揮著重要的作用，懲治李善長對朝廷不利。

劉伯溫此舉表面上是為李善長開脫，實際上他是不愿看到殘害功臣的局面出現(xiàn)，深知唇亡齒寒道理的劉伯溫，自然不愿幫助朱元璋開重懲元勛重臣的先河。這以后，深知伴君如伴虎的劉伯溫心灰意冷，第二年便找了個理由告老還鄉(xiāng)去了。

歸隱后的劉伯溫深居簡出，每天以飲酒下棋為樂，口不言功，盡量避免與官府中人交往?！睹魇贰分杏涊d了這樣一件事，青田縣令想拜訪劉伯溫，劉伯溫都婉言謝絕。無奈之下，青田縣令扮成百姓去見劉伯溫，正在洗腳的劉伯溫讓兒子把縣令帶到屋內(nèi)，還讓人做飯招待。

當(dāng)縣令對劉伯溫說：“我是青田知縣?！眲⒉疁丶泵ζ鹕碜苑Q小民拜見縣令，然后便離開房間，不再見縣令。盡管劉伯溫已經(jīng)刻意保持低調(diào)，但多疑的朱元璋并不放心，他將劉伯溫的兒子留在京城當(dāng)官，表面上是重用功臣后代，其實卻是將劉伯溫的兒子作為人質(zhì)。

然而，小心謹慎的劉伯溫最終還是沒有能夠逃脫政治斗爭的漩渦。早在建國之初，朱元璋曾就丞相人選詢問過劉伯溫的意見，劉伯溫認為胡惟庸并不適合這一職位，胡惟庸獲悉此事后便對劉伯溫懷恨在心，后來終于當(dāng)上丞相后，便時刻尋找報復(fù)的機會。

當(dāng)時甌、閩間有個叫談洋的地區(qū)，是鹽販、盜賊聚集的地方，劉基委托兒子劉璉上奏，建議應(yīng)在該地區(qū)設(shè)立巡檢司以加強管理。胡惟庸得知后便讓刑部尚書吳云彈刻劉伯溫，稱談洋踞山臨海，有君王之氣，劉伯溫是想要在這里建自己的墓地，當(dāng)?shù)匕傩詹淮饝?yīng)，便想要在那里設(shè)置巡檢司為難當(dāng)?shù)孛癖姟６嘁傻闹煸跋铝顒儕Z了劉伯溫的官祿。