辛弃疾的词《永遇乐·京口北固亭怀古》中有句“斜阳草树，寻常巷陌，人道寄奴曾住。”意为斜阳照着长满草树的普通小巷，人们说那是当年刘裕曾经住过的地方。寄奴乃南朝宋武帝刘裕小名，他还有另一个更早的小名“奇奴”。从这两个小名上也能看出来刘裕出身在贫苦人家，辛弃疾这句话的意思正是感叹刘裕能咸鱼翻身，建功立业，自己也渴望成为他那样的人。
刘裕家里的穷是出了名的，《宋书》中有多处记载了刘裕家里的穷：
《卷01本纪第1武帝上》：“家贫”，“初，高祖家贫，尝负刁逵社钱三万，经时无以还。逵执录甚严，王谧造逵见之，密以钱代还，由是得释。”
《宋书卷四十七列传第七》：“初，高祖产而皇妣殂，孝皇帝贫薄，无由得乳人，议欲不举高祖。”意为其时家境贫苦，母亲更因分娩后疾病去世，父亲刘翘无力请乳母给刘裕哺乳，一度打算抛弃他。只因刘怀敬之母伸出援手，养育刘裕，才得以活下来。后来长大还得靠亲戚，也就是“养于舅氏”，寄养在舅舅家。
据载刘裕早年因家境过于贫寒，落魄到靠砍柴、种地、打渔和卖草鞋为生，有时为补济家用而去赌博樗蒲。刘裕家的穷是真的穷，虽然刘裕自称是汉高祖刘邦的后裔，但刘裕刚出生时一直到青少年时家里可比当年的刘邦穷多了。
众所周知，穷不过三代，因为容易娶不上媳妇从而断后。到该娶妻生子的年龄，刘裕还是京口里的一个布衣平民，不但穷苦潦倒，而且好斗性猛，令乡人侧目。可以推知，刘裕当年娶妻肯定是一件很费劲的事，而这也影响到了他个人的命运、他儿子们的命运以及刘宋王朝的命运。
武敬皇后臧爱亲，是宋武帝刘裕的结发妻子。祖父臧汪曾任尚书郎，父亲臧俊是一个郡功曹。这样的家庭在当时的门阀士族社会比上不足，比下有余，换句话说臧爱亲是大家闺秀中的末流，是小家碧玉的顶流。不管大家闺秀也罢，小家碧玉也好，可以想象，从小过惯了丰裕日子的臧爱亲在婚后过得有多艰难。婚后不久，臧爱亲生下了一个女儿，起名刘兴弟。顾名思义，在男尊女卑的古代社会夫妻俩也像其他家庭一样渴望生儿子，可是还没等着刘兴弟给父母带来众多弟弟，初为人父的刘裕却起了离家从军的念头。臧爱亲拗不过丈夫，只得眼巴巴地看着刘裕离开家乡。后来，刘裕时来运转，快马加鞭地封官晋爵，四十岁时更成了东晋王朝的股肱人物。从刘裕发迹时的年龄推算，夫妻重会时臧爱亲已经不年轻了，这也许是她始终未能给刘裕生下儿子的原因，长女刘兴弟成了她唯一的孩子。可惜的是，夫妻重聚后的日子并没有多长久，臧爱亲没能等到丈夫登基称帝的那一天。义熙四年正月甲午日，臧爱亲病逝于东城（今安徽省定远县），时年四十八岁。
这样一来臧爱亲就没有给刘裕留下子嗣，而刘裕当时已经出将入相，迫切需要儿子来继承“王位”。穷的时候刘裕是没有条件纳妾的，更何况夫妻情深，但眼看着臧爱亲年老色衰，聚少离多生不出儿子，刘裕心里必是非同一般的焦虑。何况刘裕当时正在筹备进行著名的义熙北伐，早已有帝王之志。于是，经人指点，刘裕便多纳妾室，甚至专挑寡妇。多娶媳妇好生孩子，果然不久之后刘裕的儿子们便像下饺子一样一个接一个降生了。义熙二年（年），长子刘义符生于京口。时宋武帝已年过不惑之年，还没有儿子。刘义符的出生，让宋武帝大为高兴。然而，这时刘裕早已人到中年，同龄人的儿子都有儿子了。唐人李延寿的《南史》记载，刘裕攻下长安后想要继续北征，无奈朝中最重要的心腹刘穆之的突然离世，后方空虚且子嗣尚幼，为防有变，只得率领主力南返。上阵亲兄弟，因为父亲穷娘又死的早，刘裕兄弟不多，只有继母所生二弟刘道邻、三弟刘道规，已经吃了很大的亏。打仗父子兵，刘裕早年纳妾无门，别的同龄人的孩子能上阵杀敌之时，自己儿子们连砍瓜切菜都费劲。可以设想，如果有足够多的兄弟和足够大的儿子助力，刘裕极有可能在生前就完成恢复中原的宏图大业。至少不会出现长安虽得而复失，良将劲兵损失颇多的可惜局面，因为刘裕留其十二岁的二儿子刘义真镇守长安，主幼将疑，给赫连勃勃可乘之机。
当然刘裕的七个妃嫔都挺给力，每个人各给刘裕生下一个儿子。《宋书列传第二十一武三王》：“武帝七男：张夫人生少帝，孙修华生庐陵孝献王义真，胡婕妤生文皇帝，王修容生彭城王义康，袁美人生江夏文献王义恭，孙美人生南郡王义宣，吕美人生衡阳文王义季。”七个儿子（包括皇太子）的母亲都仅仅封妃嫔而已，很明显她们只是纯粹的生育工具，刘裕和她们她们之间谈不上什么感情，他最爱的还是发妻臧爱亲。
然而令人惋惜的是，刘裕的七个儿子中没有一个是自然死亡：
长子刘义符，刘宋第二位皇帝，在刘裕死后继位，不久被废为营阳王，随后被杀，史称宋少帝；
次子刘义真，封庐陵王，官至司徒，少帝时被废为庶人，不久被杀，谥孝献王；
三子刘义隆，刘宋第三位皇帝，初封宜都王，后被拥立为帝，开创“元嘉之治”，被其太子元凶刘劭弑杀，庙号太祖，谥号文皇帝；
四子刘义康，封彭城王，官至司徒、录尚书事，领扬州刺史，曾执掌朝政，后被宋文帝废杀；
五子刘义恭，封江夏王，官至太宰，宋前废帝时密谋废帝而被肢解杀害，谥文献王；
六子刘义宣，封南郡王，参与讨平刘劭之乱，后谋反失败被捕，于狱中自杀；
七子刘义季，封衡阳王，官至征北大将军，刘义康被废后酗酒终日，病死，谥文王。
刘裕的儿子们这样的结局并非偶然，与他生子太晚有间接关系。古云“子不教，父之过”，因为刘裕的中年是在征战独身中度过的，妻女远在老家，他又洁身自好，忠于婚姻，所以没有机会生儿子。而当自己的儿子们出生时，他又已年近半百，正处于事业关键期，没有足够的精力悉心教导。更何况，义熙年间刘裕不是在北伐就是在北伐的路上，怎么可能随时随地都带着几个小家伙出生入死呢。
永初三年五月癸亥日（年6月26日），宋武帝去世，在位仅三年。同日大儿子皇太子刘义符即皇帝位，时年17岁。其他的儿子更小，小儿子刘义季当时更是只有七岁。刘义符为太子时，就好狎呢群小，在他父亲刘裕生病时，无人管束，更好玩乐。长子受监国之重，最受重视与教导，尚且如此，其他儿子就可想而知了。此外，由于儿子太小容易被人摆布，刘裕对顾命大臣们用人不专、有所保留。果然刘义符的所作所为，很快让他们失望了。谢晦、徐羡之、傅亮三人受顾命之重，深恐有负先帝托付之恩，便与南兖州刺史檀道济、江州刺史王弘一起商议，决计将刘义符废掉，另立新君。景平二年（年）6月的一天，文武将官徐羡之、檀道济等人带兵杀入，将酣睡中的刘义符带到岸上，收取了他的印玺，以张太后的名义废其为营阳王。不久被杀，时年仅19岁。徐羡之又派人杀刘义真于新安（今安徽省徽州市），后立刘裕三子刘义隆为帝。可以设想，如果刘裕的其他儿子已经长大成人，或者教养够好，那这几位顾命大臣是不敢也不会行废立之举的。废了之后怕被少帝或其他儿子报复，便一不做二不休直接杀了以除后患，也给自己埋下了另一种后患。
而三子刘义隆虽然因此做了皇帝，但已经有心理阴影了，必欲除之而后快，不久之后就诛灭宰相，参与废立之事者无一幸存，开启了刘宋王朝顾命大臣十之八九不得善终的循环。从此开始了刘宋王朝废杀不已的血泪动荡，至于刘裕的儿子们则没有一个人有好下场。因为顾命大臣的废立之举，后续皇帝比如宋文帝刘义隆不再充分信任外臣，征伐镇守和临终顾命时便以宗室为首，这样一来刘裕的其他儿子便承受了与自己才能不匹配的重任，容易娇惯奢僭，把握不准君臣之间、兄弟之间的界限平衡，最终仍然是被废被杀被逼反，形成了无法避免的恶性循环。