房彥謙出生于公元547年，一生先后經(jīng)歷了東魏、北齊、北周和隋四個(gè)王朝的更替換代。

房氏原籍清河。到房彥謙七世祖房湛時(shí)期，因?yàn)樽鲞^(guò)燕國(guó)的太尉椽，隨著南燕國(guó)遷都青州，也把家人帶到了齊地。今濟(jì)南市歷城區(qū)在南北朝隋唐時(shí)期屬于齊郡。從此以后，房彥謙一直就把歷城當(dāng)作了自己的故鄉(xiāng)。

從十六國(guó)到房彥謙時(shí)，200多年間，歷城房氏家族幾乎一直都為官?gòu)恼?，房彥謙曾祖父是齊郡和平原郡的太守，祖父則做過(guò)南朝宋的太守，父親從州主薄(相當(dāng)于今天的秘書(shū)長(zhǎng))起家，也做到了郡守的職務(wù)。

大家族的文化熏陶和動(dòng)蕩的政局變換，鑄就了他的清正品格和嫻熟的從政能力，18歲時(shí)，他就擔(dān)任了家鄉(xiāng)齊郡的主薄，并一直在政府任職，40歲時(shí)被郡守舉薦進(jìn)京，做了監(jiān)察御史，職責(zé)是“分察百僚，巡按郡縣，糾視刑獄，肅整朝儀”。

其職責(zé)既像今天的紀(jì)律監(jiān)察干部，還兼具司法監(jiān)督和整治朝廷風(fēng)氣的責(zé)任。官品雖然不高，權(quán)力卻也不小。后遷為河南長(zhǎng)葛縣令，在全國(guó)官員考核中，因其清正廉潔，被評(píng)為“天下第一”，并因此而晉升郡司馬(州郡軍事官員“二把手”)。

史書(shū)記載，當(dāng)他離職高升之時(shí)，地方百姓攔路挽留，并為其立碑頌德。隋大業(yè)九年(613年)，隨從皇帝到遼東，擔(dān)當(dāng)了一陣扶余道(今東北地區(qū))監(jiān)軍。后來(lái)，因過(guò)于耿直，得罪了權(quán)貴，被遷為涇陽(yáng)縣令，69歲病逝于任上。

房彥謙為官清廉，所得俸祿大多周濟(jì)了同事親友，以至于史書(shū)稱(chēng)其為“家無(wú)余財(cái)”。他曾經(jīng)和其子房玄齡說(shuō)過(guò)：“人皆因祿富，我獨(dú)以官貧，所遺子孫，在于清白耳?！彼倪@種高風(fēng)亮節(jié)得益于他的人生經(jīng)歷，雖然他出自名家士族，但他幼年時(shí)期生父就亡故，15歲過(guò)繼給叔父，繼母去世時(shí)，他絕食五日，以示孝心。