湘军主力进攻湘潭首战告捷，原本在长沙监视靖港石祥桢部的曾国藩探知靖港的太平军数量不多，加上湘军在湘潭首胜的鼓舞，曾国藩决定率军主动出击，打算用优势兵力痛打石祥桢一番。1854年4月28日，曾国藩率领留守长沙的湘军水陆并进，向靖港发起攻击。曾国藩对攻占靖港胸有成竹，他希望湘军在湘潭、靖港同时开花，使入湘的太平军首尾不能相顾而一举歼灭之。
曾国藩进军靖港的石祥桢部
曾国藩率领水师五营，战船共计四十余只，加上八百陆勇，由长沙奔赴靖港。是日中午，南风骤起，曾国藩坐镇靖港二十多里外的白沙洲指挥作战，湘军水师长驱直入，战船借着风力迅速驶进靖港。驻守靖港的太平军在石祥桢的指挥下奋起炮击。曾国藩的水师遭到岸上太平军隐蔽炮火的猛烈射击，前锋船只和指挥舰被击伤，后面的战船急忙降下船帆，场面一片混乱。遭到阻击的湘军水师急忙躲进靖港对面铜官渚水域，准备重整队形再战。不过石祥桢没有给湘军喘息的机会，太平军马上出动二百余只小舟对泊于靖港对面水面的湘军船队发动袭击，湘军水师被打了个措手不及。
靖港
曾国藩获知水师被太平军围攻，立刻命陆勇向靖港发起进攻，试图施以“围魏救赵”的军事战略，挽救被围于铜官渚的湘军水师。令曾国藩错愕的是，湘军陆勇看到水师被围，靖港的太平军又气势汹汹地杀出城来，他们一下子慌了阵脚，纷纷调头撤退。曾国藩目睹此情此景怒不可遏，，他执剑督战，并在阵前插下军旗，传令道：过旗者杀无赦！在兵败如山倒的阵势面前，曾国藩的警戒线并没起任何作用，撤退的士兵根本不理会统帅的禁令，纷纷越过红线撤离阵地。
曾国藩兵败靖港
在靖港，湘军水陆部队遭遇惨败，枪炮等器械损失了四分之一。湘军水师损失尤为严重，他们的先进战船被摧毁三分之一，战船被太平军击毁的湘军水勇纷纷逃到湘江东岸，甚是狼狈。曾国藩原本想在靖港打一场胜仗却遭遇了丢盔弃甲的惨败，眼看者自己苦心经营的水师被太平军这些小舟打掉了那么多他痛心疾首。靖港之败极大地伤害了曾国藩的自尊心，羞愤之余，他写下遗书，投水自杀，幸好被部下及时救起。曾国藩狼狈回到长沙，其实局势远没有他想象的那么糟糕，反倒是太平军在湘潭的惨败远比曾国藩在靖港的惨败严重得多。石祥桢在靖港虽然打了漂亮的胜仗，但是这里不是主战场，他的胜利根本无法抵偿林绍璋主力在湘潭的巨大损失。
