アメリカ・ボストン郊外でアパートの便利屋として働くリー・チャンドラー（ケイシー・アフレック）。ある日、一本の電話で、故郷のマンチェスター・バイ・ザ・シーにいる兄のジョー（カイル・チャンドラー）が倒れたことを知る。リーは車を飛ばして病院に到着するが、ジョーは1時間前に息を引き取っていた。冷たくなった兄の遺体を抱き締めお別れをしたリーは、医師や友人ジョージと共に今後の相談をする。ジョーの16歳の息子で、リーの甥にあたるパトリック（ルーカス・ヘッジズ）にも父親の死を知らせるため、ホッケーの練習をしている彼を迎えに行く。見知った街並みを横目に車を走らせながら、リーの脳裏に仲間や家族と笑い合って過ごした日々や、美しい思い出の数々が浮かび上がる。リーは兄の遺言を聞くため、パトリックを連れて弁護士の元を訪れる。ジョーがパトリックの後見人にリーを指名していたことを知ったリーは絶句する。弁護士は遺言の内容をリーが知らなかったことに驚きつつ、この町に移り住んでほしいと告げる。弁護士の言葉でこの町で過ごした記憶が鮮明によみがえり、リーは過去の悲劇と向き合わなくてはならなくなる。なぜリーはこの町を出ていったのか？ なぜ誰にも心を開かずに孤独に生きるのか？ リーはこの町で、パトリックと共に新たな一歩を踏み出すことができるのだろうか？