北汉自郭威建立后周时便与之为世仇，建宋之后两国交恶的形势依旧没有改变。
赵大为铲除割据政权，完成统一全国的大业，与宰相赵普商议，参考后周显德二年（公元955年）北部郎中王朴所献“平边策”，制定了“先南后北、先易后难”的统一战争战略方针，准备首先吞并南方各割据政权，在取得南方雄厚的人力物力后，再集中力量对付北面的强敌辽国，消灭北汉。
因北汉比较弱小，且处于战略要地河东，为阻遏其与辽军南下来袭，宋军常对北汉以攻为守，先后发动多次进攻，企图相机进取。
譬如在乾德元年（公元963年）七月，赵大在平定荆湖谋伐后蜀之际，就曾派安国节度使王全斌等进入北汉边地试探性的征伐北汉。
北汉睿宗刘钧向辽乞援，想对宋打反击战。
王全斌等则趁辽尚未发兵，夺占北汉乐平，并攻打辽、石二州，未果而撤退。
次年正月，宋军又来进攻辽、石等州，北汉辽州刺史杜延韬降宋，北汉再次向辽告急，辽穆宗耶律璟发骑兵六万驰援，将宋军击退，成功助北汉解围。
开宝元年（公元968年）平定后蜀之后，北汉国主刘钧刚死，人心未定，赵大趁机突然转兵大举进攻北汉。
八月宋军进兵太原，九月北汉内部便发生动乱，时任供奉官的侯霸荣杀死北汉新主薛继恩，司空郭无为又设计杀死候霸荣，迎立太原尹刘继元为国主。
新君刘继元见宋军已入其境，急忙向辽请援，同时命侍卫都虞候刘继业、冯进珂等领兵扼守团柏谷以拒宋军，可惜敌我实力相差悬殊，宋军轻而易举的击败北汉守军击，直逼太原城下。
十月，赵大遣使至太原劝降，刘继元拒绝降宋。
十一月，辽军兵马总管塔尔率大军救援北汉，逼进太原。
时任昭义军节度使的李继勋因久攻太原不下，辽军又至，遂引兵南归。北汉军乘机发动追击，进掠大宋晋、绛两州人口、粮草、牛羊归北汉者无可计数。
开宝二年（公元969年）二月，赵大命曹彬、党进各领兵先赴太原，又御驾亲征在后，誓要一战灭北汉国。
刘继业、冯进珂二将得知赵大已至潞州，并派李继勋率前军赶往团柏谷，自知寡不敌众，放弃太谷奔还太原。
因大雨连绵十多日，等到三月时赵大才赶到太原。
因先前数次较量中清楚的认识到了太原城之坚固，又恰巧暴雨诱使河水猛涨，遂征发当地民工数万人，修筑长墙包围太原，并筑长堤，引汾水灌城，多方进攻。