Les ninjas étaient a priori à l'origine de troupes formées entre le viiie et le ixe siècle, et de bushi vaincus sans seigneurs (rōnin), qui se sont réfugiés dans les provinces d'Iga et de Kōga (maintenant les préfectures de Mie et de Shiga, du côté du lac Biwa). Ayant en commun le déracinement et la défaite, ils développèrent des techniques de survie dans ces contrées sauvages, ainsi que des techniques de combat pragmatiques provenant d'origines diverses. Ils subirent sans doute l'influence :
Des pirates (海賊, kaizoku?) de la région de Kumano, à qui ils doivent les techniques d'utilisation des grappins, des yamabushi, ascètes vivant dans la montagne et adeptes du shugendō (pratiques mystiques), des moines bouddhistes de la région, notamment des bouddhistes ésotériques shingon, et des hinin, personnes de basse condition sociale utilisées pour les tâches jugées impures, notamment en relation avec le sang et le cuir.
À cette époque, Kibi no Makibi, ambassadeur japonais en Chine, amena au Japon les doctrines militaire chinoises, dont L'Art de la guerre de Sun Tzu (appelé Son Shi au Japon). Une autre hypothèse probable, est qu'à cette période, les futurs ninjas aient subi l'influence de sociétés secrètes chinoises, déjà structurées dans ce genre d'activités depuis des centaines d'années, dans les guerres incessantes dans l'Empire du milieu, qui auraient pu avoir quelques membres expatriés dans l'archipel nippon. Une chose est sûre, dans les progrès de celui du soleil levant, nombreux ont été les emprunts et améliorations, aux voisins locaux, dus aux échanges commerciaux et de populations, comme dans l'île d'Okinawa, berceau de certains types d'arts martiaux, de mélanges improbables. Dans le cas du développement des traditions purement japonaises, qui s'ensuivirent, et aboutirent à la perfection de ces troupes, il est incontestable que l'établissement dans ces contrées sauvages et entourées de montagnes, donc sans grand intérêt économique, et protégées des invasions