Il y a environ 1200 ans, Nara était la capitale du Japon et le quartier dans lequel se trouve le Tōshōdai-ji, qui semble aujourd’hui se trouver en périphérie de la ville, était alors au centre de la ville impériale. C’est en 759 que le fils de l’empereur Tenmu, le prince Nitabe Shinnō, attribua cette parcelle de terrain à la construction du temple. Son nom – Tōshōdai-ji – provient du patronyme de son fondateur et premier grand prêtre, le moine Ganjin. Originaire de la Chine des Tang (prononcé Tō en japonais), il fonda ce temple (ji) pour y enseigner lui-même les préceptes bouddhistes. Le Tōshōdai-ji est également connu sous le nom de Kenshoritsu-ji, terme qui souligne le fait qu’il fut le premier temple au Japon à représenter la secte bouddhique Nanzan, branche du Risshū en Chine. Le Tōshōdai-ji est encore aujourd’hui le temple principal de l’école Ritsu au Japon (Risshū signifiant littéralement « école Ritsu »).
En qualité de grand prêtre du Daimyō-ji en Chine, le moine Ganjin (également connu sous le titre posthume de Kakai-taishi) fut, à la demande de l’Empereur Shōmu, invité à venir enseigner les préceptes du bouddhisme chinois au Japon. Ganjin accepta cette noble tâche et sans faille fut la détermination dont il fit preuve pour la mener à bien. Après cinq tentatives infructueuses, il parvint à traverser l’océan douze années plus tard et put enfin rejoindre Nara en 754. Mais il souffrait alors déjà de cécité. Au Japon, Ganjin fit installer une estrade d’ordination devant la « salle du Grand Bouddha » (Daibutsu-den) du Tōdai-ji, depuis laquelle il prodigua ses enseignements à de nombreux moines, mais également à l’Empereur Shōmu et à l’Impératrice Kōken en personne. C’est à cette époque que le bouddhisme pénétra peu à peu les hautes sphères du Japon et l’on considère généralement que c’est grâce à la venue de Ganjin que le bouddhisme put s’installer durablement sur l’archipel. Figure essentielle de l’histoire du Japon, son apport pour la propagation du bouddhisme fut d’une importance cruciale.
Ganjin fit bâtir le Tōshōdai-ji puis, après avoir quitté le Tōdai-ji, s’y retira pour les quatre années à venir, suite à quoi il mourut le 6 mai 763 à l’âge de 76 ans. Ses disciples firent sculpter une statue de bois laquée le représentant au seuil de la mort. Trésor National (la plus haute des distinctions culturelles japonaises), elle n’est exposée au public qu’une seule fois par an, le 6 mai, jour anniversaire de sa mort, au pavillon Miei (Mieidō en japonais). Sa sépulture se trouve à l’est du complexe, à l’ombre d’un bosquet entourant le Mieidō. Après plus de 1200 ans, elle attire toujours les pèlerins et leurs prières.
A l’origine, le pavillon réservé aux sermons se trouvait sur le site du palais impérial de Nara, mais il fut transféré par la suite au Tōshōdai-ji. Le Kondō, ou « pavillon doré », est le plus remarquable des édifices témoignant encore aujourd’hui de l’architecture de l’ère Tenpyō au Japon. Le complexe entier du Tōshōdai-ji et les trésors qu’il renferme ont été élevés au rang de Trésor National et de Propriété Culturelle Importante. Le temple fait partie des « Monuments historiques de l’ancienne Nara », liste inscrite au patrimoine mondial de l’humanité de l’UNESCO.