1840年，经过两年在庶常馆的学习和磨砺，曾国藩以优异的成绩完成学业，被授检讨一职，正式步入仕途。从此，他开启了长达三十余年的宦海生涯，在风云变幻的晚清政治舞台上，书写着属于自己的传奇篇章。
在京的十余年里，他历任侍读、国史馆协修、礼部右侍郎、工部左侍郎等职，结识了诸多人才，并拜唐鉴为师学习理学，为他日后的人生奠定了坚实的思想基础。
1852年，曾国藩在前往江西担任乡举试察的途中，得知母亲去世的噩耗，急忙回籍奔丧。此时，太平天国起义正如火如荼，清政府岌岌可危，谕旨他在京兴办团练。曾国藩怀着对朝廷的忠诚和对国家的责任感，毅然接下重任。
他以罗泽南的“湘勇”和江忠源的“楚勇”为基础，抽调各县练勇，成立“大团”。1853年，太平天国定都天京，势力愈发壮大，曾国藩深感局势严峻，将所办团练的丁勇招募为官勇，模仿戚家军的编制编练新军，“湘军”由此正式形成。随后，他又敏锐地意识到水师的重要性，在衡州委任彭玉麟、杨载福招募水勇，组建湘军水师。
1854年2月，曾国藩率领练成的水陆兵勇各十营共五千人出征。然而，初战便遭遇接连失利，在岳州、靖港等地屡战屡败。曾国藩愤懑不已，甚至投水自杀，幸被救起。但他性格坚韧，有着不服输的精神，并未被挫折打倒。
回到长沙后，他痛定思痛，认真总结经验教训，重整军队，确立了“早起早食，严厉营规”等严格的要求，以此来提升湘军的战斗力。
经过几个月的休整，湘军再度出击。在城陵矶水战中，虽水师失利，但陆军取得了胜利。湘军攻毁太平军花园大营，成功占领武昌。咸丰皇帝起初任命他为湖北巡抚，但后来因军机处进言，收回成命，改为赏赐兵部侍郎衔，令其继续东下攻打江西、安徽的太平军。
占领武昌后，湘军在田家镇与太平军交战，夺占要隘。但在进攻九江时，遭到石达开、罗大纲率军的顽强阻击，连日攻城未奏效，湘军陆师被分为两支，遭遇湖口惨败。尽管战事艰难，但曾国藩始终坚守信念，不断调整战略战术，为镇压太平天国起义而努力。
1865年，曾国藩奉命前往山东地区围剿捻军。然而，到任一年之中，剿捻却未见成效。面对复杂的局势和强大的对手，曾国藩并未推卸责任，而是主动承担起失败的后果，于次年返回南京原任。
1868年，曾国藩被授为武英殿大学士，调任直隶总督。在查办“天津教案”期间，他主张向法国求和，严查“凶犯”。这一做法虽然是出于维护国家大局的考虑，但却遭到了天津人民的指责。曾国藩顶着巨大的压力和舆论的谴责，坚守自己的判断，展现出了他沉稳冷静、敢于担当的性格特点。1870年11月，他又回到两江总督任上。