在2000-01赛季总决赛第二场比赛，艾弗逊率领的76人输给了湖人。比赛前一天是他26岁生日，可他没能用胜利来庆祝。在接受采访时，艾弗逊抱着他的两个孩子：5岁的女儿蒂娜和2岁的儿子杜斯。“我的两个小鬼，很淘气。我爱他们，我希望他们比我当年过得好，我还希望他们拥有钢铁般的意志，就像我一样，能够渡过生活中的难关。”这是艾弗逊对孩子们的希望。
生活给了艾弗逊太多考验。当他在乔治城大学打上主力时，母亲和妹妹还住在原来的小破屋里。“当你取得一定成就时，也意味着更大的责任和压力。家是我最珍惜的东西，我爱他们，我必须为他们而努力。”艾弗逊说。家庭似乎总是困扰着他，生父离他而去，养父又被判刑入狱，他成了家里唯一的男人。接着，他又入狱一段时间，然后就去了乔治城大学，母亲和两个妹妹一直住在汉普顿的廉价公寓，妹妹莉萨的病更是快叫家里破产了。
1995年，艾弗逊又多了一项责任。女儿蒂娜出世了，他当了爸爸。这一切，促使他产生了提前加入NBA的念头：“对我来说，家庭意味着一切，我不能看着它日渐没落。我必须挽救它，我珍爱我的家。”
在乔治城，艾弗逊生平第一次体会到了与同龄人在一起的快乐，但他知道，该是告别的时候了，他必须把家庭责任放在第一位。NBA的商业开发引诱着众多球员早日加入百万富翁行列，在艾弗逊升入大二时，就有谣言说他要参加NBA选秀。但在此之前，乔治城大学还没有一个人在毕业前加入NBA，其中包括1985年的状元秀帕特里克_尤因、1987年第四顺位的雷吉_威廉姆斯、1991年第四顺位的穆托姆博和1992年的榜眼阿隆佐_莫宁。
汤普森教练知道，艾弗逊有那个能力，但不希望他过早成为职业球员。“如果艾弗逊要去NBA，他一定会征得我的同意。可现在我们还没下决定，真不知你们媒体是如何知道的？”汤普森认为，媒体的炒作会增加艾弗逊的压力：“这对艾弗逊很不公平，一个理应享受美好大学生活的孩子，却要面对这样的难题。”现在，艾弗逊的朋友、奉承者和媒体都在劝说这位年轻人：加入NBA吧，那里有更多回报。汤普森看到了这些，决定保护艾弗逊，他说：“我相信艾弗逊的决定不会让我吃惊，没有什么值得担心。艾弗逊要走，也会是在我同意之后。也许明天我就会告诉他是时候了，也许明年。”
但是，当汤普森还不置可否时，艾弗逊似乎早已下定决心。1996年4月，艾弗逊开上了一辆价值13万美元的奔驰车。由于这与他的经济状况严重不符，艾弗逊受到了全美大学生体育联合会的调查。“他(汽车销售商)说借给我用，我只在家与学校之间开。我想，他只是允许我借用比较长的时间而已。”艾弗逊解释说。
幸运的是，商人的投机行为丝毫没有影响艾弗逊在球场上的表现。相反，他变得更加成熟。如果参加选秀，他可能得到一个很高的排名，甚至成为新秀状元。对此，艾弗逊很有信心：“现在的我比以前更有韧性，低级错误极少发生，领导全队成了我的角色。在汤普森教练看来，要想进入NBA，我必须在得分后卫位置做到最好。我正在不断努力。”二年级时，他场均得到24.7分、5.0次助攻、3.8个篮板和3.5次抢断。这一成绩使他再次当选东区最佳，并入选全美第一阵容。乔治城大学队也杀入全美8强，只是败给了当年最佳球员坎比领衔的马萨诸塞大学队，未能进入四强。
此时，如果艾弗逊仍要考虑是否加入NBA，他应该回到汉普顿破落的家中，看看生病的莉萨，再想想一岁的孩子。是时候了，用天赋创造财富、实现梦想的时候到了。1996年5月1日，艾弗逊和乔治城大学召开新闻发布会。“经过与教练协商，考虑到家庭情况，我决定提前参加NBA选秀。虽然我很想完成学业，但为了照顾生病的妹妹，为了报答父母，我必须早点儿离开大学。”艾弗逊宣布了自己的决定。对此，汤普森感到很遗憾，但他坚决支持艾弗逊：“要改变一个成年人的想法很愚蠢，我不会阻止他。不过，如果你现在问我，‘他该留下来吗？’我会说，绝对应该；如果你问我，他的决定正确吗？我也会说，绝对正确。”
谈到提前结束学业的原因时，艾弗逊和汤普森都把矛头指向了NCAA的制度。它不允许球员找工作挣钱，又不给贫困球员财政支助。汤普森认为：“NCAA的制度实在太古老了。即便乔治城大学拥有完备的医疗体系，但我们对艾弗逊的妹妹无能为力。”艾弗森同样依依不舍：“如果不是家庭原因，我一定会留下。在这里，我学到了很多，尤其是有汤普森这样的教练，他教会了我很多，一半在球场，一半在场外