房玄龄精通典制政令，时值天下初定，朝章国典还很不完备，他与尚书右仆射杜如晦共掌朝政，亭台楼阁等建筑物的规模以及法令、礼乐、制度以及历代遗留下来的有价值的东西，都是他们二人所制定，在当时获得美誉。
在修定律令方面，房房玄龄秉持“审查并确定法律和命令，将宽厚平和做为宗旨”的思想，简化律令，又除去了隋朝的苛酷刑法。自房房玄龄等更定律、令、格、式以后有唐一代都没有发生过多大变动。
房玄龄改封魏国公，为尚书左仆射，监修国史，房玄龄尽心竭诚，早起晚睡，加之他明达吏事，法令宽平，任人惟贤，不分卑贱，人们都称他为良相。房玄龄护高祖山陵制度，以功加封开府仪同三司，封梁国公，加太子少师，留守京师。任宰相十五年，女为韩王妃，儿子房遗爱娶高阳公主，显贵至极，但常常深自卑损，不敢炫人傲物。
房玄龄病重，李世民派名医为其医治，每日供给御膳，并亲临探望。临终之时，房玄龄对诸子说：“当今天下清平，只是陛下东讨高丽不止，正为国患。主上含怒意决，臣下莫敢犯颜。我知而不言，就会含恨而死啊。”于是，抗表进谏，请求李世民以天下苍生为重，停止征讨高丽，李世民看见奏表，感动地对房玄龄儿媳高阳公主说：“此人病危将死，还能忧我国家，真是太难得了。”临终之际，李世民亲至其病床前握手诀别，立授其子房遗爱为右卫中郎将，房遗则为中散大夫，使其在生时能看见二子显贵。
房玄龄与世长辞，终年七十岁，李世民为之废朝三日，追赠太尉，谥号“文昭”，陪葬昭陵，与初唐其他二十三位开国功臣一起画像并供奉于“凌烟阁”，后配享太宗庙廷。
房玄龄次子房遗爱与其妻高阳公主被指谋反，房遗爱被处死，公主赐自尽，诸子被发配流放到岭表，房玄龄嗣子房遗直也被连累，被贬为铜陵尉，房玄龄配享太庙的待遇也因而被停止。