褚遂良的父亲褚亮去世，他不得不暂时回乡守孝，后被起用为黄门侍郎，中书令，成为继魏徵之后，与刘洎、岑文本、马周、长孙无忌一样，在唐代政坛上起着举足轻重作用的大臣。唐太宗李世民在弥留之际，将长孙无忌与褚遂良召入卧室，对二人说：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托诸葛，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”对太子李治说：“有长孙无忌和褚遂良在，国家之事，我就放心了。”于是命令褚遂良起草诏书。
李治继皇帝位，封褚遂良为河南县公，次年，又升为河南郡公，后借故把他贬为同州刺史。三年后，高宗又把他召回身边，征拜为吏部尚书，同时监修国史，加光禄大夫，又兼为太子宾客，又升为尚书右仆射，执掌朝政大权，这是他政治生涯中的顶峰。
在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图，高宗召太尉长孙无忌、司空李积、尚书左仆射于志宁以及褚遂良，进官商议废后立后之事。褚遂良发了一通议论，给皇帝泼了一瓢冷水，而他的那种不要命的态度——将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血——更使皇帝大为恼火，让士兵把他强行拉了出去。而坐在皇帝后边的武氏则恨不得立刻将他处死，在关键的时候，善于迎合旨意的李积却说了一句话：“此乃陛下家事，不合问外人。”这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。
武氏被册封为皇后，褚遂良也被武皇后赶出朝廷，褚遂良调到离京师极远的桂州去任都督。武则天则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。晚年的褚遂良又一次被贬——这一次是被贬到更远的爱州，褚遂良在绝望之中，上了一封陈情书给高宗，诉说自己曾长期为高祖与太宗效劳，最坚决地支持高宗继位等等，结果仍是无济于事。
禇遂良在爱州带着遗憾离世，享年六十三岁，在他死后，武则天等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙后代也流放到爱州。神龙政变后恢复官爵，后追赠谥号“文忠”，配享高宗庙庭；唐德宗时追赠太尉；唐懿宗时经安南观察使高骈奏请，将褚遂良在爱州的坟墓及后裔归葬于阳翟。
褚遂良工于书法，初学虞世南，后取法王羲之，与欧阳询、虞世南、薛稷并称“初唐四大家”，传世墨迹有《孟法师碑》《雁塔圣教序》等。