不過，作為史上有名的大奸臣，即使是為了生存而不惜味著良心文過飾非，搞死自己也搞死皇帝，卻也不是一個沒有七情六欲的酷吏，甚至于還是一個十分注重家庭和睦的典范(這一點(diǎn)和史上有名的奸臣秦檜、蔡京都一樣)，即使對自己的聲名十分不利，他還是不想破壞家庭和諧，大肆縱容家人腐敗，甚至于還積極參與其中，樂此不疲。

自從他的結(jié)發(fā)妻子死后，“性驕淫”的續(xù)弦孫氏及其前夫之子夏侯儼便依仗虞世基受皇帝寵信而大肆斂財，公開賣官索賄，他也是“恣其奢靡”，自己還由此“無復(fù)素士之風(fēng)”，開始“雕飾器服”，過上豪奢的生活。

盡管如此，他和其弟虞世南(隋唐時期書法大家，與歐陽詢、褚遂良、薛稷并稱“唐初四大家”，他也是詩人，以后再表)的“兄弟情深”，卻是他身上的唯一閃光點(diǎn)。

虞世基、虞世南兩兄弟，在隋代曾被人美譽(yù)為西晉的“二陸”( 即陸機(jī)、陸云兩兄弟，他們是打敗劉備大軍的東吳名將陸遜之孫)，兩兄弟自小就頗有才名，盡管性格不同，一個搞溜須拍馬取得高官厚祿，一個卻在亂世中潔身自好，視富貴如浮云。

盡管人生信條和政治理念，但是他們卻沒有齷齪，十分和睦地住在一起，一個即使“不愛富”，另一種也能不嫌貧，而且這種兄弟情義也是貫徹始終的，甚至于虞世基在宇文化及“江都兵變”要被殺的兇險時刻，弟弟虞世南也能挺身而出要代兄受死，想起來都倍感溫馨。

為此種不顧一切的“血濃于水”，且不論此中是非曲直，單單就如此的濃濃親情，也是可以大書特書一筆的，盡管時人對虞世基不曾扶助“清貧不立”的弟弟而頗有微詞。