伍绍祖，衡阳市耒阳市南门外松茂堂人。父亲为中共中央军委秘书长、中国红军电台的奠基人、红军无线电通讯事业的创始人伍云甫，母亲为全国政协常务委员、民政部顾问熊天荆。伍绍祖的爱人是曾山同志的女儿曾晓前。

伍绍祖，1939年4月8日出生于陕西西安。1940年2月，随母亲熊天荆到延安。

1944年，在延安第一完小学习。

1946年，秋转入延安保育院小学，同年冬，加入儿童团。1946年9月，王震率南下支队北返延安，伍绍祖同志去慰问八路军，并写了一封慰问信，还刊登在延安的《解放日报》上，这也是他的名字第一次上报纸。

1947年3月，随延安保育院小学转移，参加二千里行军到达太行，被评为行军模范，入读西柏坡村机关小学。

1949年，加入中国少年先锋队。

1951年，毕业于北京育才小学。

1951年-1957年，在北京101中学读书，不仅德智体得到全面发展，多次被评为"三好"学生，而且几乎是全班最瘦小的他居然在一次班级的100公尺比赛中获得第一名。

1955年4月，加入中国共产主义青年团，多次被评为市、校级“三好学生”，毕业时获得北京市教育局颁发的银质奖章。

1957年8月，以优异的成绩考进了清华大学工程物理系，攻读理论核物理专业。

1958年12月，加入中国共产党。

1959年4月，担任清华大学工程物理系体协主席。

1960年上半年，在刻苦学习的同时，关心国家大事，积极投身青年工作，当选为清华大学工程物理系学生会副主席，9月成为清华大学工程物理系学生会主席、分团委委员，开始半脱产学习。1961年9月，被调到清华大学学生会任秘书长，主持学生会的全面工作，配合学校党委、团委，团结全体同学共同度过困难时期。

1962年4月，清华大学第15届学生代表大会上，被选为清华大学学生会副主席。1960年9月─1962年9月担任系学生会和校学生会半脱产干部。由于担任了两年政治辅导员，学习延长一年。

1964年7月本科毕业，考取清华大学理论核物理专业研究生。

1965年1月，当选第18届全国学联主席(1965年—1972年)、第4届全国青联常委，同年4月中止学习，调到共青团中央国际联络部。

1969年春夏之交，伍绍祖被下放到河南共青团中央机关“五七”干校劳动。1969年7月25日，伍绍祖请假回家，简单地办完了父亲的丧事，拭干眼角的泪水，又重新回到了干校。

1972年4月，伍绍祖调入国务院办公室担任国务院副总理王震秘书，主要协助王震做好分管国务院的业务工作。

1975年的一天，伍绍祖随王震前去拜望聂荣臻元帅。言谈中，聂帅不时地和王震身边站着的精精干干的年轻秘书拉起了家常。当这位我国国防科技事业的奠基人得知伍绍祖是一位学习理论核物理的研究生时，突然眼睛一亮，对王震笑着说：“你的秘书还要这么高的学历?找什么人不都可以干，年轻人还是让他搞专业吧!”话毕，聂帅拉过伍绍祖的手：“跟我干吧?小伙子!”没想到聂帅的一句笑言，真的改变了伍绍祖的人生命运。此后不久，他来到国防科工委司令部二局担任参谋，穿上了绿军装的伍绍祖，面对的是一幅全新的蓝图。

1975年7月-1982年7月，伍绍祖历任中国人民解放军国防科学技术委员会司令部二局参谋、科技部二局副科长、副局长，其间，1979年1月-12月，借调至团中央机关工作，同年5月任第5届全国青联副主席、第19届全国学联主席(1979年-1981年)。

1982年7月起，任新组建的中国人民解放军(国务院)国防科学技术工业委员会(现中国人民解放军总装备部)副主任、党委副书记，为当时最年轻的副大军区正级干部。

1985年，任国防科学技术工业委员会政治委员、党委书记兼纪委书记，中国新时代集团第二任董事长。

1988年10月，被中央军委授予少将军衔。先后参与和主持我国国防科技工业的领导工作，积极创新，开拓进取，尊重知识，尊重人才，注重加强国防科研试验部队政治工作，弘扬“两弹一星精神”，为国防科技培养了大批人才。认真贯彻党的改革开放政策，积极推动国防科技工业的改革、开放和对外合作交流，引进、消化和吸收国外先进技术。在领导和主管核工业的工作中，认真贯彻了中央关于“军民结合、平战结合”的方针，积极推进我国核技术、核工业的转型与发展。在领导国防科技工业的岗位上殚精竭虑，作出了突出贡献。

1988年12月底，任国家体育运动委员会主任、党组书记。

1989年12月─1992年7月，在北京体育大学研究生部在职学习硕士学位课程结业。

1990年，领导举办第十一届亚运会获得成功，运动员获得183枚金牌。伍绍祖深知体育科技在未来国际体坛极端重要，采取“科技兴体”的战略，在巴塞罗那奥运会中产生第一批“金牌效应”。中国体操、乒乓球、女子竞走、女子游泳等运动，依靠科技解决技术难点、弱点，收到良好效果，夺得金牌。

1995年-1999年，兼任中国奥林匹克委员会主席。

1996年被美国国立波尔大学授予名誉法学博士。

1999年4月，国家体育总局局长、中国奥委会主席伍绍祖与北京市市长刘淇飞赴瑞士洛桑，向国际奥委会主席萨马兰奇呈交了北京市2008年夏季奥运会的申办书。

1996年、1997年、1999年先后被聘为武汉体育学院、清华大学、南京体育学院客座教授。

1996年，率团参加亚特兰大奥运会，任中国奥运代表团团长。先后率团出征巴塞罗那奥运会和亚特兰大奥运会，取得骄人战绩，赢得了国内外的广泛赞誉。

1998年3月，国务院机构改革，国家体委改为国家体育总局，与中华体育总会一个机构两块牌子，任国家体育总局局长、党组书记，中国奥委会主席、中华全国体育总会主席和中央精神文明建设指导委员会委员，并兼任北京2000年奥运会申办委员会执行主席。伍绍祖坚持体育工作正确的政治方向，以民族振兴为目标，紧紧围绕党的中心工作，改革创新，开创了中国体育事业的新局面。

在国家体委、国家体育总局工作期间，还兼任中国奥委会主席、国际气功科学联合会主席和国际武术联合会主席、荣誉主席等职，为我国的体育事业和申办奥运做出了贡献。伍绍祖高度重视全民健身事业，组织制定并实施了“全民健身计划”。高度重视体育法制建设，为《中华人民共和国体育法》的制定实施作出了重要贡献。积极推动体育科学研究和科学技术的运用，大力推进体育事业改革和体育产业开发，积极促成体育彩票的发行，使我国体育事业在社会主义市场经济条件下得到全面、持续、健康的发展。

2000年5月起任中共中央直属机关工作委员会副书记。

2002年，任中共中央直属机关工作委员会常务副书记、中直机关党建研究会会长。主持制定并组织实施了中直机关党的建设五年规划，及时向中央党建工作领导小组汇报工作，为加强中直机关党的思想、组织、作风、反腐倡廉和制度建设作出了突出贡献。

2003年3月，成为第十届全国政协委员，并当选第十届全国政协常务委员。

2004年4月27日，中直机关侨联成立，当选为中直机关侨联第一届委员会主席。

2005年3月，当选为全国政协社会和法制委员会副主任，多次带领调研组赴全国各地考察、调研，提出了许多关系国计民生的提案和调研报告，多次得到中央领导同志的重要批示。还对人民政协理论进行了深入研究和探索，为贯彻落实中央《关于加强人民政协工作的意见》，推动人民政协制度的发展发挥了重要作用。

2005年1月，任中直机关侨联主席、中国延安精神研究会常务副会长、中华健康快车基金会副理事长、中国关心下一代健康体育基金会名誉理事长等职务。深入研究党史资料，撰写了大量理论文章，宣传、弘扬延安精神，为党的建设提供了宝贵的精神财富。经常深入市县农村，组织“健康快车火车医院”为白内障患者免费手术，使12万多患者重见光明，为全国21个省167所农村学校建成了太阳能浴室，对中国公益慈善事业作出了积极的贡献。

2006年伍绍祖同志出席了健康健美长寿研究会在泰国曼谷召开的研讨会。伍绍祖同志分别参加了北京、上海、曼谷举办的健康健美长寿论坛。中央九部卫成立了中央人体科学领导小组，这个领导小组由伍绍祖担任领导组长。经中央负责人同意，由伍绍祖同志担任国际气功联合会主席，这条通稿由新华社通讯员李春生发布。

中共第十二、十三、十四、十五届中央委员，第三、四届全国人大代表，第十八、十九届全国学联主席，第五届全国青联主席，中国核学会第二届副理事长。

2012年9月18日15时，因病逝世，享年73岁。