伍绍祖是带着遗憾离开体育总局的。这遗憾不是调任职务的遗憾，他洒脱地说：“完全是正常调动，我在这个位置上干了12个年头，第10个年头就该动一动。”

　　“我任期内最大的遗憾是人民的体质增加得还不够快。”伍绍祖用力拍打着沙发的边缘，语调也有些激越，“日本人的体质就提高得比我们快，二战后他们的平均身高增加了12厘米，而我们不到4厘米。我1米68的个头，回到我的家乡居然算大个子，太不像话了。”

　　伍绍祖的家乡是湖南耒阳，他这次来湖南，是向家乡管体育与干体育的说声再见。5月18日，中央下文任命他为中直工委副书记。他将正式赴任时间锁定在下半年伊始的7月，这期间他的工作是交接与准备，完成角色转换。

　　1988年12月，伍绍祖出任国家体委主任，是年，中国在汉城奥运会获得5枚金牌，金牌数少于韩国。对媒体“受命于危难之际”的说法，伍绍祖坚决否认：“5枚金牌已经不少了，洛杉矶奥运会虽然拿了15枚，但那只是半个奥运会。”

　　伍绍祖对金牌很洒脱，自称拿金牌只是体育部门的一件小事。但令他欣慰的是，在他的任期内，中国体育健儿拿了963枚世界大赛的金牌，占新中国获得的1217枚世界大赛金牌的79%。问他有什么夺金牌的秘诀，伍绍祖站在自身的高度说了3点：毛泽东的体育思想、邓小平理论和群众体育的蓬勃发展。

　　伍绍祖淡化金牌，但不忌讳谈论金牌。请他估测中国代表团出征悉尼奥运的金牌总数，伍绍祖直言“应该超过16枚的历史纪录”。

　　16枚以上金牌将分布在哪些项目？“乒羽跳操射举柔，”伍绍祖回答得很快很干脆，“光是女子举重就可能拿4枚金牌。除以上7个拳头项目外，田径、赛艇、女足、女垒也可能有戏。”金牌大势不错，中国军团是否能保住第二集团的“领头羊”位置？伍绍祖的回答变得缓慢起来：“澳大利亚、法国都是强大的竞争对手，当然还有韩国。”

　　其实，伍绍祖的内心还有一大遗憾(甚至不止于遗憾)，那就是1993年北京申奥失利。现在，经过“七年之痒”的北京又开始了新一轮的申办。对于北京的申奥形势，伍绍祖作出了“希望很大，困难不小”的判断。“上次申奥，一些西方政客别有用心地利用‘六四风波’从中阻挠，这次他们肯定又会别有用心地拿西藏问题、台湾问题做文章。”

　　说起频遭指责的中国足球，伍绍祖用2个“非常”：“中国足球势头非常好，出现的问题非常正常。职业化之前，投入到足球项目的经费是190万元，现在是数千万元；参加足球训练的人数和观众人数都成倍增加。反过来，我倒是为了女足担忧，现在国内女足参加训练的只有200多人，而美国是15万。”伍绍祖将甲A出现的问题归纳为“作风不好、管理不严、法规不全、收入太高”。对于日前俱乐部有关人士呼吁建立职业联盟，伍绍祖直截了当地表明观点：“我反对！”

　　最后，伍绍祖有些动情地说：“尽管人离开了体育战绩，但我的心还会继续关注体育。”