Lee Chandler travaille comme concierge dans un édifice à logements de Boston. Sa vie, morne et terne, s’assombrit davantage lorsqu’il apprend le décès de son frère aîné, Joe. Il revient alors dans son village natal, Manchester-By-The-Sea, pour s’occuper des funérailles. Lors de la lecture du testament de Joe, Lee est informé que celui-ci l’a désigné comme tuteur de son fils unique, Patrick. Déjà éprouvé par la mort subite de son grand frère, il doit de surcroît assumer un rôle qu’il n’a pas souhaité auprès de son neveu, un adolescent surexcité. Mais Lee n’est pas au bout de ses peines, car ce retour dans son patelin ravive des souvenirs douloureux qu’il avait fuis pour s’installer à Boston.