Ludo Fleury, le narrateur, vit avec son oncle, Ambroise. Ce dernier est une célébrité à Cléry, en Normandie, en raison des cerfs-volants qu’il fabrique avec passion. Un trait est commun à toute cette famille : leur extraordinaire mémoire, qui leur vaut une réputation d’originaux et de rêveurs.
Alors qu’il a dix ans, Ludo rencontre une fillette dont il tombe immédiatement amoureux, mais qui disparait le lendemain. Le jeune garçon passera les années suivantes à l’attendre, en vain…
Ce n’est que quatre ans plus tard que Ludo voit réapparaitre la jeune fille : il s’agit de Lila Bronski, fille d’aristocrates polonais. Elle l’invite chez elle, où on lui fait nettement sentir son infériorité sociale. Humilié, Ludo se persuade qu’il devra « devenir quelqu’un » pour conquérir Lila.
À deux reprises, Ludo subit les attaques d’un garçon jeune et frêle. Invité chez les Bronski, il apprend qu’il s’agit d’un cousin allemand de Lila, Hans, lui aussi amoureux de la jeune fille, tout comme Bruno, un prodige du piano protégé de la famille. Devant la bonne société invitée au manoir Bronski, Ludo fait une démonstration de ses dons de mémoire et de son incroyable capacité à manier les chiffres.
Impressionné, Stas Bronski, le père de Lila, homme d’affaire et joueur invétéré, propose à Ludo de lui servir de secrétaire chaque été, lorsqu’ils résident en Normandie. Ludo accepte et passe les étés suivants, de 1935 à 1938, auprès de Lila. Cette dernière répond à son amour, et ils vivent leurs premiers rapprochements.

Cependant, l’inquiétude pour l’avenir est omniprésente : Lila rêve de grandeur tandis que Ludo ne projette rien au-delà de son amour pour elle.
Stas Bronski espère que le don de Ludo pour les chiffres pourra lui permettre de gagner au jeu du hasard. Pour lui faire plaisir, Ludo truque alors les résultats, mais il est loin d’imaginer les conséquences : Bronski perd une fortune et doit rejoindre la Pologne pour éviter les créanciers. Les deux amoureux ignorent s’ils se