阿伦的母亲安_艾弗逊出生在哈特福德犹太区，有4个兄弟。15岁那年，她入选了教会高中女篮，但在例行体检时被意外告知：她怀孕了！这样，她不得不来到了弗吉尼亚州的汉普顿和祖母住在一起，因为她的母亲在她12岁那年就过世了。安回忆说：“那天大雨滂沱，她离开我的那一霎那，我觉得天都塌了。我站在雨中大声哭喊‘上帝呀！你为什么要这样？你怎么能这样啊！’”安知道这个未出世的孩子的父亲是谁，他是阿伦_布鲁顿，是她在哈特福德的同学。
布鲁顿曾经说过很爱她。就像许多年轻人一样，布鲁顿面对即将担负“父亲”这一职责毫无准备。多年后，他在接受《费城日报》采访时说：“我当时很想去汉普顿找安，但我当时也只有15岁。不久，她爱上了别人，我也一样。我们就失去了生活在一起的机会。”
1975年6月7日，阿伦_艾弗逊来到了这个世界上。安回忆说：“那时候，周围的朋友都叫我祈求是个男孩，这样我在将来才会有所依靠。当医生把阿伦抱给我看时，我兴奋地大叫一声：‘上帝，是个男孩！’我平生第一次抱起了芭比娃娃以外的娃娃，发现他的手臂比芭比娃娃的长好多，一个念头一闪而过，‘我该让这小家伙学打篮球’。”
在小艾弗逊出生后不久，安就带着他回到了哈特福德见他的父亲。不久她就发现，这儿的环境不利于小艾弗逊的成长，“暴力、毒品随处可见，我告诉自己将永远不要回来。”3岁的小艾弗逊和母亲离开了布鲁顿。不久前，安说：“我知道我们将面临的严峻处境，但我不怪布鲁顿，永远不会。我也告诫艾弗逊不要责备他的生父。我为布鲁顿感到万分遗憾，因为他不能分享阿伦今日的成就，他和阿伦只能形同路人。”
安是阿伦幼年时期回忆的全部，这是母子之间牢不可破的爱的纽带，“她是我最仰慕的人，”阿伦_艾弗逊将母亲的画像文在胸前，“我不崇拜任何明星，她才是我的偶像。她总是提醒我，说我终将有所作为。我相信她的话。有些母亲在那样的困境中也许早就放弃了，她却迎难而上。我真的庆幸我是安的儿子。“
不久，安就结识了新男友麦克尔_弗里曼，和他一起住进了廉价的斯特沃德花园公寓，它位于弗吉尼亚州一座叫纽斯特的小城最东边。来到之后，安发现这里的环境比哈特福德更糟糕，光天化日之下就能见到毒品交易和枪战。在安18岁那年，她得到了医院赔偿给她母亲的3818美元，但这没能维持多久。随后，安和弗里曼又有了两个女儿———1979年出生的布兰蒂和1991年出生的莉莎（正是由于莉莎的病情，艾弗逊才在1996年下定决心加盟NBA的）。
他们的家境愈发窘迫，安不得不四处打工维持生机：当过秘书，开过叉车，搞过电焊。艾弗逊回忆说：“只要是能够挣钱的工作，安都会去做，不过家里还是一团糟，没电、没水、没吃的，下水管还经常破裂，弄得满屋脏水，两个妹妹整天都穿着套鞋。”弗里曼本来还有一份工作，但在1988年的一起交通意外后被解雇了，他的确很想负担起这个家庭，只不过他出入监狱的次数实在是太频繁了。1991年，他因为携带过量毒品被捕，他在法庭辩解说：“我没有卡迪拉克汽车，没有钻戒，没有买任何奢侈品，我只想还债，只想支撑我的家庭。”他最终被判入狱22个月，其后又因为违反假释条例加刑23个月。
那段时间，艾弗逊对弗里曼的所作所为感到异常愤怒，但现在却原谅他了：“他只是想养家糊口。他没有伤害过任何人，比如他，绝对不会去抢劫，因为那样他会失去这个家。我曾经见到他一个人偷偷哭泣，他不想那样过日子。”其实，对艾弗逊而言，更重要的是，弗里曼是他的篮球启蒙者。
生父抛弃了他们，养父又进了监狱，15岁的艾弗逊不得不放弃了学业。“当你成为家中最年长的男人，而母亲比你大不了多少，你还有两个年幼的妹妹时，家里又阴暗又潮湿，你就会知道自己应该做什么了。”外面的生活对年幼的艾弗逊也不容易，贫民区里有着上流社会永远不会理解的游戏规则。艾弗逊的朋友有的贩过毒，有的坐过牢，有的加入了黑帮，但他总能成功地远离那些犯法的事件，因为他知道，也许有一天自己能走向成功。
在一场械斗中，艾弗逊一下子失去了8个朋友，包括和他最要好的托尼。他咬着牙对母亲说：“妈妈，我再也不要做穷人了！”于是，他定下了一个帮助全家走出困境的计划，那就是篮球！在一次接受采访时，艾弗逊道出了那时的想法：“为了全家，我必须成功。周围的人告诉我说去NBA的机会只有万分之一，我回答他们说，‘即使失败了，我也必须尝试，我的家人需要我这么做。’我为我们描绘了美好的生活，我不要再回到那个脏水四溢的廉价公寓里去。”