日本男排在20世纪60年代开始在世界赛场上扮演重要的角色,1960年首次世界杯亮相他们就取得了第八名的好成绩。之后日本排球处于一个上升的态势,在接下来的前苏联世锦赛(1962)和捷克斯洛伐克世锦赛(1966)上都获得第五。
日本最终跻身真正的世界强队是在70年代初,在1970年的比利时世锦赛和1974年墨西哥世锦赛上两度获得铜牌。强大的日本队在奥运会的比赛中也扮演了强队的角色,连续三次登上了奥运会的领奖台。1964年东京奥运会获得铜牌,四年后1968的墨西哥奥运会上夺得银牌,最后在1972年的慕尼黑奥运会上折桂。1984年在阿根廷举行的世锦赛上,日本队再次表现了强劲的实力,获得了第四名。
但是,日本男排从此开始走向低迷,1994年的希腊世锦赛和2002年的阿根廷世锦赛上,他们都仅获得第九名,这是他们近年来的最好成绩。尽管他们在90年代的亚洲比赛中一直表现良好,夺取了1994年亚运会和1995年第八届亚锦赛的冠军,但是在1998年日本世锦赛上,他们仅得到第15名的成绩,这个成绩使这支向来雄心勃勃的队伍遭受了痛苦的失落。
在2000年连续两次无缘奥运会后,任命一位受人尊敬的主教练以创造一个“新的日本男排”,一支能与世界强队对抗的强健队伍变得迫在眉睫。主教练的一个选择使日本前男排明星球员中田Mikiyasu,在他的带领下,日本重返2001年的世界男排联赛。2002年的成绩表明中田需要继续重塑这支队伍。2003年世界男排联赛中,日本男排在世界排协的排名为12,与法国、阿根廷和希腊同在D组。
北京奥运会上,日本男排成绩不佳,仅名列第11位。