南条武の出獄を迎えにきた亡父の親友三野組の弥五郎は、途中の汽車の中で、何者かに殺された。手掛りといえば、特徴ある短刀の鞘と、弥五郎の最期の「水上のよろい」という言葉だけであった。やがて、水上の町の料亭観月楼に板前として現われた武は、新興やくざ鎧組に狙いをつけた。料亭の女将さだや、小日向組源八は共に仁侠に篤い人だったが、鎧組に押され気味である。そんな時海軍兵学校から帰省したさだの息子勝巳の制服姿を見て、武はかつての自分を思い感慨深いものがあった。続いて、艦隊が入港し、親友竹村少佐と会った武は、町の芸妓千代竜の身請金の金策を頼んだ。千代竜は五年前の海軍粛正運動の責を負って自刃した秋月中佐の遺児だったのである。鎧と手を握る高利貸の佐藤は千代竜を手に入れようとしていたが、次第に武の存在が目ざわりになってきた。そこで鎧組は、小日向組の者に暴行を加え、源八の娘英子と勝巳の逢引を狙って、勝巳を監禁した。知らせを聞いた武は、軍服を着て乗り込み、勝巳を救い出した。やがて、竹村少佐からの金が届き、千代竜は身請けされ、さだの養女に迎えられたが、その頃さらに勢力を伸ばそうとする鎧の手で源八が殺された。その遺骸を引取りに行った武は、鎧組三羽烏の一人三田村の匕首を見て、彼が弥五郎殺しの犯人であることを知った。汽車に残された鞘とぴったり合うのである。いまは、武は隠すことなく、自分が南条組二代目であることを名乗った。そして、源八の通夜の日、親分遺愛の短刀を手にした武は暴れ込む鎧組の者を斬りまくり、千代竜をかばいながら、三田村、鎧を斬った。やがて、すべてが終った後、武は千代竜に自分の本当の名前を明かさず、ただ元海軍少尉とだけ告げて、水上を去っていった。