伍紹祖屬於中共「太子黨」，其祖父伍如春爲毛澤東在湖南第一師範的同學，其父伍雲甫曾經任中共中央軍委祕書長。伍紹祖可謂少年得志，早在二十六歲時即擔任全國學聯主席、全國人大代表。後來又任國務院副總理王震的祕書，八五年更升爲國防科工委政委和中共中央委員。
在國防科工委期間，伍紹祖即參與領導氣功活動，八八年轉任國家體委主任亦繼續推動氣功活動。由於當時參與練習氣功或依靠氣功治病的中共元老甚多，伍紹祖在中共高層非常「吃得開」。以致朱鎔基九八年要將國家體委改爲體育總會時，遭到伍紹祖強力的反彈，最後朱鎔基不得不屈服，又將體育總會改爲正部級的體育總局。
北京政治觀察家對多維社說，伍紹祖做夢也沒有想到，法輪功圍坐中南海事件之後，江澤民龍顏大怒，法輪功被「欽定」爲邪教，伍紹祖的體育總局的局長烏紗帽也被摘掉。
不過，同爲「太子黨」背景的中組部部長曾慶紅還是給伍紹祖伸出了援手，將他安排到中直機關當副書記。
中直機關黨委書記一般由中共中央辦公廳主任兼任，曾慶紅任中辦主任時即兼任此職。曾慶紅升任中組部部長後，中直機關黨委書記由王剛兼任，原中組部副部長武連元任常務副書記，伍紹祖則被安排爲第二副書記。
消息人士對多維社說，由於武連元退休在即，伍紹祖將升爲常務副書記。這種安排雖然沒有體育總局局長那樣風光，但對於「因功成過」的伍紹祖而言還是一個不錯的落腳之處。(http://renminbao.com)