Bien que Diderot ne cesse de nier qu'il écrit un roman, il s'ingénie à entremêler plusieurs éléments structurant le récit.

En premier, le thème du voyage est le but affiché du roman, puisque c’est par là que commence l’histoire : ils voyagent pour « affaires » et pour l’enfant du Maître. La seule indication temporelle dans toute l’œuvre est au début, elle situe l’action en 1765, vingt ans après la bataille de Fontenoy, mais cette indication n’a rien de définitif puisqu’elle est suivie de nombreuses incohérences. Si l’on s’en tient à ce thème du voyage, on s’aperçoit bien vite qu’il est vide de toute action, Diderot semble renverser les priorités, tant pour le « thème principal » que pour la date et le but final du voyage qui est l’enfant et rien d’autre.

L’action véritable ne réside pas dans le voyage mais dans d’autres récits, et en particulier celui des amours de Jacques. Ces dernières occupent une place centrale, le Maître priant continuellement Jacques de lui narrer ses aventures galantes. Jacques va alors raconter son éducation sexuelle, ce qui constitue la trame principale du roman. Ce faisant, il bouleverse la chronologie sans jamais suivre un fil logique et dilate le temps en donnant beaucoup plus d’importance à sa première expérience sexuelle qu’à son enfance. La véritable chute du roman semble être l’arrivée du Maître chez la mère nourricière du fils dont il a endossé la paternité. Les amours de Jacques s’achèvent différemment selon les trois versions de la fin. Diderot, même s’il se refuse à écrire un roman structuré et chronologique, a tout de même fait aboutir Jacques à une sorte de conclusion de son récit, puisqu’il se marie avec Denise, la fille dont il était épris.

De même, le roman n’est pas construit autour d'un thème unique ou d'un seul récit, mais à partir d'une prolifération de récits annexes racontés par Jacques (histoires de son capitaine, de Pelletier, du Père Ange), par d’autres personnages (histoire de Mme de La Pommeraye par