Van de vroegste Japanse muziekgeschiedenis is weinig bekend, voor een belangrijk deel omdat het Japans geen schrift kende. Uit de Chinese annalen (3e eeuw n. C.) blijkt wel dat men in Japan (Yamato) toen al wel muziek, zang en dans kende bij begrafenissen. Net als in andere cultuuronderdelen is ook in de muziek de invloed van China van de 5de tot de 9de eeuw groot geweest. In de daaropvolgende Heianperiode (794 - 1133) zien we een steeds grotere eigen (Japanse) inbreng, de uitvoerende musici zijn nu vaker Japanners zelf. Ook doet boeddhistische muziek meer zijn intrede, zoals gezongen lofzangen met muziek. In de Japanse hof- en tempelmuziek herkent men nog steeds het Chinese vijftonensysteem, zonder halve tonen.

De Japanse Gagaku is de oudste klassieke muziek van Japan. Gagaku kan gezien worden als de oorsprong van de Japanse muziek en dans. Zij bestaat niet alleen uit inheemse liederen en dans die uit de oudheid zijn doorgegeven en uit instrumentale muziek en dans afkomstig van het Aziatisch continent en aangepast aan de Japanse cultuur, maar ook uit nieuw geschreven muziek, die in de 10de eeuw van onze jaartelling (Heian periode) zijn huidige vorm kreeg.
De muziek werd vooral aan het Keizerlijk Hof uitgevoerd, in aristocratische kringen en bij belangrijke tempels en heiligdommen. Anno nu is populaire muziek voor de jeugd vooral gericht op Zuid-Korea, de zogenaamde K-Pop, alhoewel er tegenwoordig ook veel belangstelling is voor de J-Pop (Japan Pop)