1945年日本无条件投降后，华中敌占区被中国抗日军民相继收复。但盘踞在江苏高邮、邵伯一带的日伪军，在国民党顽固派的指使下，依靠坚固的防御工事，拒绝向新四军缴械投降。新四军华中野战军司令员粟裕决定集中15个团兵力，向驻高邮日伪军发起攻坚战。

粟裕将作战分两个阶段实施：第一阶段，新四军第七纵队和苏中军区部队从南面攻打邵伯及扬泰线上的日伪据点，控制国民党军北援通道——运河大堤，并以第八纵队肃清高邮外围；第二阶段，以第八纵队从北面向高邮发动总攻，全歼守敌，以第七纵队及苏中军区部队坚决阻援，并相机歼灭扬泰线增援日伪的国民党军。苏中地方政府专门成立支前总后勤部，动员广大人民群众积极支前，为部队提供物资，帮助运送弹药，先后调集民船500余只、民工1.5万余人，组织民兵3000余人直接参战，运送粮草7.5万余吨，有效保障战役的顺利实施。

12月19日夜7时，新四军在南北40公里、东西20公里的战场上同时发起攻势。粟裕亲到一线指挥作战。第七纵队从北、东、西三面发起猛攻，战至20日中午，除东门的净土寺塔外，高邮城外围据点均被清除。21日，新四军攻克了邵伯等日伪据点，切断了高邮城日伪军的退路，在邵伯、丁沟一线构成对扬州、泰州国民党顽固派的防线，并为打援准备了良好的战场。22日清晨，粟裕来到高邮城外东北角的村子，与八纵司令员陶勇一同勘察了高邮城外地形，进一步作了详细的作战部署。

在高邮外围据点被清除后，新四军一面积极做好攻城准备，一面大力开展政治攻势，采用话筒喊话、放日本歌曲、挂劝降标语、用风筝和迫击炮发放传单等方法，特别是敌工部的同志和日本籍战友宫本、“日本反战同盟”“朝鲜独立同盟”的几十位同志来到前线，用日语劝降，高声宣读日本天皇投降诏书，播放日本人民十分熟悉的《思乡曲》……这情理交融的劝说、幽怨柔和的曲调，渐渐攻破敌心理防线，敌士气明显低落，有日本士兵偷偷溜出城，向新四军投诚。

发动攻城的动员会是在高邮东边的一个村子里召开的。会上，粟裕发布作战命令，张鼎丞进行战斗动员。12月25日夜，攻城突击队在炮火支援下，冒雨从西北、东、南三个方向猛攻，战士们利用老百姓送来的棉被，裹着方桌当作“土坦克”，强行越过开阔地，一部以云梯登城突破，与守军展开激烈的争夺战，打退敌军的多次反扑，扩大了突破口。很快，新四军主力登上城墙，与敌人进行白刃格斗。经7小时激战，伪军被全歼。26日凌晨，新四军攻进日军指挥部，日军残部顿时缴械投降。同时，由扬州北援的国民党顽固派也被击退。战斗结束后，国民党以为高邮城还未克复，为给日伪打气，派飞机飞抵高邮上空，空投了大批粮食武器，被新四军悉数缴获。