日本男排在20世纪60年代开始在世界赛场上扮演重要的角色，1960年首次世界杯亮相他们就取得了第八名的好成绩。之后日本排球处于一个上升的态势，在接下来的前苏联世锦赛(1962)和捷克斯洛伐克世锦赛(1966)上都获得第五。
日本最终跻身真正的世界强队是在70年代初，在1970年的比利时世锦赛和1974年墨西哥世锦赛上两度获得铜牌。强大的日本队在奥运会的比赛中也扮演了强队的角色，连续三次登上了奥运会的领奖台。1964年东京奥运会获得铜牌，四年后1968的墨西哥奥运会上夺得银牌，最后在1972年的慕尼黑奥运会上折桂。1984年在阿根廷举行的世锦赛上，日本队再次表现了强劲的实力，获得了第四名。
但是，日本男排从此开始走向低迷，1994年的希腊世锦赛和2002年的阿根廷世锦赛上，他们都仅获得第九名，这是他们近年来的最好成绩。尽管他们在90年代的亚洲比赛中一直表现良好，夺取了1994年亚运会和1995年第八届亚锦赛的冠军，但是在1998年日本世锦赛上，他们仅得到第15名的成绩，这个成绩使这支向来雄心勃勃的队伍遭受了痛苦的失落。
在2000年连续两次无缘奥运会后，任命一位受人尊敬的主教练以创造一个“新的日本男排”，一支能与世界强队对抗的强健队伍变得迫在眉睫。主教练的一个选择使日本前男排明星球员中田Mikiyasu，在他的带领下，日本重返2001年的世界男排联赛。2002年的成绩表明中田需要继续重塑这支队伍。2003年世界男排联赛中，日本男排在世界排协的排名为12，与法国、阿根廷和希腊同在D组。
北京奥运会上，日本男排成绩不佳，仅名列第11位。
