Selon Raymond Carré de Malberg, l’Etat se définit classiquement comme la réunion de trois composantes : un territoire, une population et un pouvoir politique. Mais ce trio bien connu apparaît insuffisant lorsqu’il s’agit de distinguer les différentes formes d’Etat en fonction des relations entre le niveau national et local. En effet, on oppose traditionnellement l’Etat unitaire, caractérisé par un pouvoir central unique et une application uniforme des normes sur le territoire qui est lui-même indivisible, et l’Etat composé comprenant plusieurs centres de pouvoir. Le modèle de l’Etat composé est l’Etat fédéral : Il résulte de l’union d’états fédérés ayant abandonné une part de leur souveraineté à une superstructure qui se superpose à eux, l’Etat fédéral. Les états fédérés bénéficient en contrepartie d’une large autonomie et participent à l’élaboration de la norme fédérale. Ils ne sont pas des Etats sur le plan du droit international, ils conservent une souveraineté uniquement sur le plan interne et exercent les fonctions étatiques (pouvoirs constituant, législatif, exécutif et judiciaire) en conformité avec le cadre posé par la constitution fédérale. Le fédéralisme permet ainsi de prendre en compte les particularités et les traditions propres à chaque entité fédérée.
L’organisation du pouvoir n’est pas la même d’un état fédéré à un autre : par exemple, en Suisse, La constitution prévoit beaucoup d’outils juridiques au peuple. Chaque canton dispose d’un pouvoir propre et les citoyens sont appelés directement à élire leurs conseillers d’états. Dans chaque commune on a la présence d’un gouvernement avec une constitution dans chaque canton.
Chaque État fédéré est doté de compétences, et d'une organisation propre définie par la constitution fédérale. La séparation des trois pouvoirs se fait donc entre l’état fédéral et les états fédérés selon les modalités de la constitution fédérale.

Il existe deux formes d’état fédéral : par association, le fédéralisme naît