昭和初期の大阪。港湾荷役を請負う北駒一家と、土木工事関係を握る安達組が何かと対立していた。北駒の信用が厚く、若い者の信望を集めている小頭の栄次郎は、ある日、恋人美津の兄清吉が安達組の賭場で騒ぎを起したのを収めたが、安達組の一人を傷つけたため自首して出た。短かい刑を終えて戻った栄次郎は、自殺しようとした女郎小菊を助け何かと面倒をみてやった。代貸の岩嶋はそんな栄次郎の人気を妬んで、彼が女狂いしているという噂をひろめた。そのため、美津の悩みを知った小菊は秘かに満州行きを決意するのだった。しかし、栄次郎が北駒を襲って失敗した安達組の本田に指をつめさせたことから両者が騒然となり、間に立った大阪の大立物中井の仲裁で栄次郎が少しの間旅に出ることになった時、小菊は彼を追った。それは薄幸の女小菊の生命のほとばしりと思われた。だが、女郎の足抜きは渡世の掟にはずれた行為だったから、岩嶋の命令で清吉は後を追った。その清吉も、病床について息を引取る間際の小菊を、栄次郎が必死に看病しているのを見て心を打たれるのだった。渡世人としての義理は欠いたが、人間の誠を尽して戻った栄次郎に北駒は堅気になることを勧めた。北駒はかねてから心にかけていた荷役専門会社の設立を栄次郎に託すと、老齢の上に高血圧をこじらせて亡くなった。その後、栄次郎の創設した北駒荷役会社は繁盛した。一方、北駒亡きあとの地位を、岩嶋が狙い、こともあろうに安達と手を結んで栄次郎の仕事を妨害し始めたのだ。その岩嶋に腹を立て一人殴り込んだ清吉は無残な死を遂げた。それを知った栄次郎は岩嶋の二代目襲名の日、死装束に白鞘の長脇差を握って殴り込み、岩嶋と安達を斬り捨てたのだった。