En 1935, Paul Edgecomb est gardien-chef au pénitencier de Cold Mountain en Louisiane, au bloc E, surnommé la ligne verte, où sont détenus les condamnés à la chaise électrique. Un jour, un nouveau détenu arrive. Il s'agit de John Coffey, un colosse, condamné pour le viol et le meurtre de deux fillettes, sœurs jumelles. Cependant, ces faits offrent un contraste très troublant avec la douceur et la gentillesse de John qui est, semble-t-il, doté de pouvoirs surnaturels.
Paul Edgecomb tient à ce que les prisonniers jouissent malgré tout d'un environnement paisible et humain. Percy, nouveau gardien sous les ordres de Paul, perturbe cette organisation bien huilée, notamment par la perversité dont il fait preuve envers les détenus. Mais, ni Paul ni Hal Moores, le directeur du pénitencier, ne peuvent agir contre lui, car il est « protégé » par sa famille, en particulier sa tante, dont le mari est le gouverneur de l'État de Louisiane.
Paul et son équipe vont chercher un prisonnier particulièrement dangereux, William Wharton — qui se surnomme lui-même « Billy the Kid » — condamné à mort pour le meurtre de trois personnes, dont une femme enceinte, dans un braquage. Quand ils le prennent en charge, William semble complètement anéanti, probablement drogué par une forte dose de calmants. En réalité il simule, et en arrivant dans le « bloc E », il se jette sournoisement sur le gardien Dean Stanton pour l'étrangler. Alors que Percy pourrait maîtriser William Wharton, il ne fait rien, de toute évidence tétanisé par sa lâcheté. Heureusement, les autres gardiens font preuve de plus de sang froid et réussissent finalement à délivrer leur collègue et à maîtriser le nouveau venu.
Hal, ami intime de Paul, lui apprend que sa femme a une tumeur cérébrale, inopérable. Paul souffre quant à lui d'une infection urinaire qui, non seulement le fait terriblement souffrir, mais en plus met à mal sa vie de couple. Un jour, John le soigne d'une manière miraculeuse : il l'empoigne et pose sa main