倪宽，字仲文，千乘郡人。幼年家境贫寒，每下地劳动，总是把《五经》挂在锄钩上，有空即读，后从欧阳生学《尚书》，由郡国推选诣博士。授业于孔安国，精通经学和历法，善于文辞，后因精通经学为汉武帝所赏识，负责治理京城长安所在的关中地区民政，历仕廷尉文学卒史、奏谳掾、侍御史、中大夫、左内史。参与泰山封禅，联合司马迁、公孙卿、壶遂推算和制订《太初历》。
倪宽，在任期间，首倡在郑国渠上游南岸开凿六辅渠，促进了关中地区农业发展；其以儒家思想治理政务，极力推行劝农桑，缓刑罚，理狱讼，体恤民情，务在于得人心，从而使吏民大信爱之。参加编定的《太初历》，第一次把二十四节气订入历法，是中国历史上第一部比较完整的历法，是历法史上第一次大改革。
倪宽，幼时聪明好学，但家中贫穷，上不起学，就在当时的郡国学校伙房帮助做饭，以此求得学习的机会。还时常被人家雇用做短工，每当下地干活的时候，总是把经书挂在锄把上，休息时就认真诵读，细心研究。这就是为人们传颂的“带经而锄”的故事。
由于他勤学好问，得到了西汉着名学者、今文《尚书》《欧阳学》的开创者欧阳生的身传亲授，后来又受业于孔子后裔、西汉经学博士孔安国。所以在经学、特别是《尚书》研究方面有了很深的造诣，被当时的郡国选诣为博士。
后来，倪宽通过答辩考试，做了掌握礼乐制度的掌故。不久，补为协助廷尉办理文字的官。这时，张汤为廷尉，主管刑狱。
张汤刑法残酷，素有酷吏之称，所用之人，都是些善于施用严法酷刑的人。倪宽为人温良清廉，擅长文学，不善于动武。所以，在廷尉府以不熟悉刑律为名，不被重用，被派到北地管理畜牧数年。由于他勤恳从事，牛羊大为蕃息，回廷尉府送回报材料时，正直廷尉府有疑案未决，几次奏报，均被汉武帝驳回。
主办奏报的人甚为恐慌，不知如何是好，倪宽知道了，便为他重新写了奏章，写完后，读给大家听，都很佩服。有人将这件事告诉了张汤，张汤大为惊疑，便亲自召见倪宽谈话，非常惊奇他的才能。倪宽写的奏章送上去后，立刻得到汉武帝的批复。
第二天，张汤见到汉武帝，汉武帝问：“这次的奏章不是一般俗吏所能写出来的，是谁的手笔？”张汤说：“是倪宽所写。”汉武帝说：“早就听说过这个人。”于是，张汤提拔倪宽为专门起草奏章的秘书官。
倪宽在廷尉府，说服张汤和廷尉府官吏，学习经学，按照《尚书》中《尧典》、《舜典》的教义来治理狱讼，成绩卓着，非常被张汤重用。张汤做了御史大夫，推荐倪宽为侍御史，掌握纠察举荐官吏之权。汉武帝召见倪宽，让他讲论经学，倪宽引经据典，把《尚书》中的《尧典》《舜典》讲得非常精辟、透彻。汉武帝大悦，提升他为中大夫，专管朝廷议论之事。