房玄龄，齐州临淄县人。小时候就很聪明，广泛地阅读了经书、史书，善于写文章。十八岁时，应举于进士科。吏部侍郎高孝基以知人著称，说：“我见过的人很多，还没见过这样的年轻人，(他日后)一定是国家的栋梁。”补任牒城尉，见中原正乱，慨然而有忧天下的志向。适逢父亲生病，历时十旬，玄龄衣不解带服侍;待父亲去世后，五天滴水不进。太宗率兵巡行渭北，房玄龄杖策拜见太宗于军门，太宗与他一见如故。玄龄已经遇到了知己的人，偏用尽自己的全部心力，知道的没有不马上去做的。每次平定贼寇，众人争着去寻找珍宝古玩，只有玄龄先接受杰出人物，安置到幕府中。当有谋臣猛将，都跟他们暗中互相结交，各人都表示愿为太宗竭尽死力。玄龄在李市民秦王府中十多年，常负责管理文牍，每逢写军书奏章，停马立即可成。文字简约义理充足。一开始就不用草稿。高祖曾经对侍臣说：“这个人深重地了解机宜，足能委以重任。每当替我儿陈说事务，一定能了解人的心理，千里之外，好像对面说话一样。”
隐太子李建成因为玄龄、如晦为太宗亲近礼遇，很憎恶他们，在高祖面前说他们的坏话，因此玄龄跟如晦一起被驱斥。隐太子将要发动兵变时，太宗令长孙无忌召玄龄和如晦，叫他们穿道士的服装，暗中带进内阁商量大事。等到太宗成为太子之后，提升玄龄担任太子右庶子，赐绢五千匹。贞观元年，玄龄代萧瑀为中书令。太宗论功行赏，把玄龄跟长孙无忌、杜如晦、尉迟敬德、侯君集五人作为第一等，进爵为邢国公，赐实封千三百户。
贞观三年，任命他为太子少师，他坚决推辞不接受，代理太子詹事，兼礼部尚书。第二年，代长孙无忌为尚书左卜射，改封魏国公，监编国史。已担任总领百司的官职以后，日夜虔诚恭敬，用尽全部的心力，不想让每一个人才失去应当处的位置。听到他人的长处，好像自己拥有一样高兴。他对行政事务明晰练达，并且用文献经典来加以整治。他审查修订法令，意在宽容和平稳。他不以求全来选人，不用自己的长处来要求他人，看他的才能任用，不因他人的地位卑贱而排斥，议论的人都称赞他是良相。
高宗成为太子之后，加玄龄为太子太傅，仍或主持门下省事务，监管编撰国史像原来那样。不久因撰写《高祖太宗实录》成，赐下玺书表彰，赐物一千五百段。这一年，玄龄因继母去世丁忧服丧离开职位，朝廷特地下诏在昭陵赐给他墓地。不久，他又从回本官职位。太宗亲征辽东时，命玄龄在京城留守，亲手写诏书说：“你担负萧何一样的重任，我没有后顾之忧了。”军队的兵器、战士的粮食，都交给他下令处置调发。玄龄多次上书说不可轻敌，尤应当警惕小心。不久跟中书侍郎褚遂良受诏重编《晋书》。
贞观二十三年，皇上驾临玉华宫，当时玄龄老病复发，皇上下诏令他睡在总留台。到他渐渐病重，玄龄追赴玉华宫，坐偏轿入殿，将近到皇帝御座才下轿。太宗对他流泪，玄龄也感伤悲咽得不能自我控制。下诏派名医救治。掌管皇帝膳食的官员每天对他供应御膳。如果他的病略能减退，太宗就高兴得露出喜色;如果听说病情加重，就变得满面凄怆。后病情加重，就凿开宫墙开门，多次派宦官问候。皇上又亲自光临，握手叙别，悲不能忍;皇太子也去跟他诀别。不久去世，享年七十。朝廷三日不上朝。