初夏のニューイングランド地方。「ゴールデン・ポンド」と呼ばれる湖のほとりに、サイヤー一家の別荘があった。引退した大学教授ノーマン（ヘンリー・フォンダ）と妻エセル（キャサリン・へッブバーン）が、今年も夏をこの別荘で過ごそうとやってきた。もうすぐ80歳をむかえるノーマンは心臓が悪く、物忘れもひどくなっており、死への恐怖は増すばかりであったが、エセルはおだやかな愛情をもってノーマンを支えていた。ある日、彼らの1人娘チェルシー（ジェーン・フォンダ）から手紙が届く。ノーマンの誕生日を祝いにこの別荘に来るという知らせだった。チェルシーは離婚経験がある。13歳になるビリー（ダブ・マッケオン）という息子がいるボーイフレンドの歯医者ビル（ダブニー・コールマン）を伴ってやってきたチェルシーは、エセルには心から接すことができるが、父ノーマンとは相変わらずかみ合わない。さらに悪いことには、ノーマンはビルにまで皮肉を言い、激しい感情のぶつかり合いを展開する。やがて、チェルシーがビリーをおいてビルと共にヨーロッパへと旅立った。1人残されたビリーは、しかし、だんだんとノーマンになついていき、2人はウォルターと呼ばれる魚を探しに岩だらけの入江へと釣りに出かけた。夕暮れになっても戻らない2人を心配するエセル。彼女の心配をよそに、2人はその後も釣りに熱中し入江を訪れた。一方、ブリュッセルでビルとの結婚式を済ませて帰ってきたチェルシーは、エセルにノーマンの気持ちがわからないと告げ、逆に「あなたは彼の愛情深い人柄をまだわからないの」と責められる。ウォルターを釣って意気揚々と帰ってきたノーマンに、チェルシーは初めて素直な気持ちで口を開いた。「普通の父と娘のような関係になりたい。パパと仲良くなりたい」と…。