小石川養生所が主な舞台である．時にはキャメラはこの「臭い」とも言われる舞台を飛び出して界隈に入ることもあるが，そこもまた臭いような場所でもある．
ところで，そのキャメラに人物たちは，ひとりでおさまるということはない．つまり会話であってもシンプルな切り返しなどはなく，妙にフォトジェニックな人物配置や立体性が見えてきている．療養所では医師や患者だけでなく，賄いや入所者の家族など関係者も出入りし，心身の病気が核となってその周辺が見えてくる．
養生所には，臨終と荘厳がある．赤ひげ（三船敏郎）はこうした死の臭いと尊厳に見せられた者として，市井に身をおいて，その魅力を余すところ貪る存在であるとも言える．死に際にある六助（藤原釜足）だけでなく，外科手術の様子を保本（加山雄三）に見せ，保本は不意に狂女（香川京子）から往診を求められ，襲われ，その危機から保本は赤ひげに救い出される．この時，赤ひげには企みがあったのだろうか．狂女は語り出す．六助の娘（根岸明美）も語り出し，病床にある佐八（山﨑努）も虫の息で，おなか（桑野みゆき）とのいきさつを語り出したかと思うと，そのおなかも佐八の回想の中で，さらに回想を重ねるという重層的な語り口が示される．
思えば，前半は音楽がほどんどなく，効果音なども排除されている．しかし，こうした語りの中にメロディが奏でられ始める．ムジナ長屋には大雨が降り続けている．酔っ払っている平吉（三井弘次）も現れる．揺れる．崖崩れで骸骨が出てくると，障子を閉めてその災害は消される．しかし，地震が回想され，焼け野原の風と煙が見え，風鈴が一斉に鳴り出す．赤子が泣き出す．この養生所（に集まる人々の想像の中）には幻想が広がっていく．ここに導いたのは津川（江原達怡）で，保本は彼に案内されている．また，先輩医師の森半太夫（土屋嘉男）とお杉（団令子）というカップルもあり，お仕着せを着ているかどうかもポイントとなる．
外には，家老（西村晃）や松平壱岐（千葉信男）といった武士たちの世界もあり，また岡場所などとして女主人（荒木道子）が現れ，櫻屋のきん（杉村春子）が個性を発揮する．きんはのちに大根で殴られる．そこには折檻をされすぎて固まっているおとよ（二木てるみ）がいる．彼女は，まじまじと見つめてきて，彼女の目元に不自然なぐらいのスポットの光が当てられている．彼女は雑巾がけをして，お盆を拭いているのも異様に見える．そして保本のナレーションが入ってくる．それは日記を読んでいるようでもある．風が吹き，外は雪が降っている．梅の花が見え，ウグイスの声が聞こえ春にはったかと思うと，また雪が降ってくる．こうした背景の中で，保本の母（田中絹代）と父（笠智衆）が並んで見え，保本はまさえ（内藤洋子）は祝言をあげている．養生所には，衣類のほかに，布団が干してある場所がある．「小ねずみ」の長坊（頭師佳孝）は「馬になりてえ」というぐらい貧困と飢餓に喘いでいる．彼も布団に寝て，やばい顔をしている．彼には彼なりの幻想がある．