为了消灭北汉，周世宗柴荣曾御驾亲征，却是无功而返。赵匡胤登基后，一直想找机会消灭这个蕞尔小国。
大宋这次挥师河东，是第三次。早在五年前（乾德元年），赵匡胤就打过一次北汉。
乾德元年（963）七月，荆南和湖南刚刚平定，赵匡胤就派安国节度使王全斌（后来的伐蜀总司令），领兵闯入北汉边境。北汉向大辽求援，睡王耶律璟发来六万铁骑，王全斌看看不能取胜，攻克乐平（今山西省昔阳县）后，俘获敌人数千人而归。
乾德二年（964），赵匡胤命李继勋与康延泽等率步骑万余人进攻北汉的辽州（今山西左权），太原（亦称晋阳）将领郝贵超领兵来援，两军激战于辽州城下，宋军大获全胜。辽州刺史杜延韬见大势已去，便率领冀进、侯美籍等部下与三千士卒，献城投降。
北汉再次向契丹求援，耶律璟又发步骑六万人来取辽州。赵匡胤复命李继勋与曹彬、罗彦环、郭进等领六万大军迎战，大破契丹与北汉军于城下。
有了征灭荆南、湖南、后蜀的战斗经验，这次重整旗鼓，再战北汉，赵匡胤对其势在必得。在选将上，他首先想到的是征伐后蜀的大将曹彬，还有自己的“义社十兄弟”之一的李继勋。
李继勋，大名府元城（今河北大名东）人。郭威镇守邺都（大名府）时，李继勋投入郭威门下，后周初任殿前司散员都指挥使。高平之战，因功升任殿前都虞候，领永州防御使。柴荣攻辽，李继勋任战棹左厢都部署，后升为安国军（邢州）节度使。赵匡胤陈桥兵变，李继勋在邢州，没能参与。李筠叛乱，李继勋为昭义军节度使，镇守潞州，负责进攻北汉。乾德五年（967）加同平章事，为使相。
李继勋与北汉有过多年的战事交锋，对北汉的山川地理、用兵战法可以称得上了如指掌。此次征讨北汉，他也是最合适的主帅。
开宝元年（968年）八月，赵匡胤命昭义节度使李继勋统率一路大军从潞州进军，宣徽南院使曹彬统率一路大军从汾州进军，兵锋直指太原。
九月，北汉内部发生兵变，供奉官侯霸荣杀死北汉新主刘继恩，宰相郭无为又杀死侯霸荣，迎立太原府尹刘继元为国主。
北汉内部政权动荡，外部又有大宋步步紧逼，北汉陷入内忧外患、生死存亡的一线之间。刘继元见宋军来势凶猛，急急地向大辽请援，同时命侍卫都虞侯刘继业、冯进珂等领兵扼守团柏谷（今山西祁县东南），抵御宋军。
十月，宋太祖遣使到太原送去诏谕：若刘继元归附，可授平卢节度使；另外，赵匡胤也送给郭无为一份诏书，若北汉归宋，郭无为可授安国节度使。郭无为得诏后十分高兴，劝刘继元向大宋称臣。刘继元不肯，郭无为只能独自跟大宋进行间谍往来。
十一月，辽军兵马总管塔尔率大军驰援北汉，逼近太原。李继勋见久攻太原不下，现在又有辽军增援，为了保存实力，决定撤兵回师。
大宋又一次无功而返。