贞观三年（629年）二月，魏徵被任命为尚书右丞兼秘书监，开始参与朝政决策。当时房玄龄和王珪负责朝廷内外官吏的考核工作，治书侍御史权万纪上奏称考核过程存在不公之处。李世民命令潞国公侯君集重新审查此事。魏徵劝谏道：“房玄龄和王珪都是陛下信任的老臣，他们长期忠诚正直地为国效力。即使考核中出现个别失误，也绝非出于私心。如果现在因为质疑而重新审查，不仅损害了他们的信誉，也影响了陛下对大臣的信任。此外，权万纪在考核过程中并未提出任何异议，直到自己未获理想评价才发声，这显然是为了博取陛下的注意，而非真心为国考虑。”李世民采纳了魏徵的意见，停止了进一步的调查。
另一次，濮州刺史庞相寿因贪污被解职，但他以曾在秦王府供职为由请求复职。李世民念旧情，打算重新启用庞相寿。魏徵劝阻道：“秦王府有许多旧僚现居要职，若因个人情感偏袒一人，恐让其他正直之士寒心。”李世民接受了魏徵的建议，仅赐帛给庞相寿作为抚慰。
到了贞观四年（630年），高昌王麴文泰准备来京朝见，西域各国也想借此机会派遣使节进贡。李世民最初同意派厌怛纥干迎接这些使节。但魏徵警告说，国家刚刚经历战乱，百姓尚未完全恢复元气，若此时大规模接待外国使节，不仅劳民伤财，还可能引发不必要的混乱。他引用东汉光武帝的例子，指出当年光武帝拒绝西域设置都护的要求，正是为了避免消耗过多资源。李世民认为魏徵的观点非常有道理，立即派人追回已经出发的厌怛纥干，取消了这次接待计划。
长乐公主李丽质是唐太宗李世民与长孙皇后所生的女儿，深得父母宠爱。在准备她与长孙无忌之子长孙冲的婚事时，即贞观六年（632年，《旧唐书·魏徵传》记载为贞观五年），李世民表达了对长乐公主的特别钟爱，并有意给予比其姑姑永嘉长公主更为丰厚的嫁妆。众大臣附和皇帝的心意，请求加倍礼数，李世民欣然同意。然而，魏徵却提出反对意见，指出这样做会逾越礼制，破坏家族内部应有的秩序。李世民将此事告知了长孙皇后，皇后对魏徵能够“引礼义抑人主之情”表示赞赏，并派人赏赐给魏徵绢四百匹、钱四百缗，同时传达口讯：
“听闻你正直，现在见识到了，希望你一直保持，不要改变。”
不久之后，魏徵被晋爵为郡公。
到了贞观七年（633年），魏徵接替王珪担任侍中，面对尚书省长期积压未决的诉讼案，尽管他不大熟悉法律，但凭借抓住根本原则和实际情况处理案件的能力，赢得了众人的信服。
贞观八年（634年），陕县丞皇甫德参上书批评朝政，触怒了李世民。魏徵则提醒皇帝古来谏言往往言辞激切，以打动君心，因此不应简单地将此视为诽谤。李世民接受了魏徵的观点，下令赏赐皇甫德参帛二十段，显示了他对直言进谏的接受和包容。
长孙皇后于贞观十年（636年）去世，李世民对她思念不已，在宫中建起层观眺望昭陵，甚至让大臣陪同悼念。一次，李世民问魏徵是否看清了昭陵，魏徵巧妙回应，提醒皇帝不要只顾及思念亡妻而忽略了父亲高祖的陵寝献陵。李世民听后明白魏徵的用意，下令拆除了层观。
李世民还命令魏徵主编《周书》等五部史书，完成后魏徵获加授左光禄大夫，进封郑国公，并获得丰厚赏赐。贞观十一年（637年），当李世民因州县官吏供奉不周而谴责他们时，魏徵借隋炀帝杨广之事提醒皇帝避免浪费。