“夜郎自大”中的“夜郎”是指一个古代地名。夜郎国是我国西南地区少数民族建立的第一个国家，西汉以前，夜郎国并不为世人所知。夜郎一名现世于中原正史中大概是在战国时期。《史记》记载到楚顷襄王派庄硚征服西南一带的少数部族，夜郎也在其中，庄硚攻克夜郎后继续南下成了一方霸主。
夜郎国被中原政权记述的历史，大致起于战国，至西汉成帝和平年间，夜郎王兴同胁迫周边22邑反叛汉王朝，被汉朝牂柯太守陈立所杀，夜郎也随之被灭，前后约300年。
根据彝族的传说可知，历经武米夜郎、洛举夜郎、撒骂夜郎、金竹夜郎4个朝代。武米历史时期又分为夜郎、采默、多同、兴和苏阿纳4个历史阶段。夜郎时期，夜郎国只是一个较强大的奴隶制君长国。从国王采默即位开始，以夜郎为首，四周的小国建立起了联盟，并与周朝建立了联系。
“夜郎自大”这句成语典出自《史记·西南夷列传》：“滇王与汉使者言曰：‘汉孰与我大？’。及夜郎侯亦然。以道不通，故各以为一州主，不知汉广大。”说的是公元前122年，汉武帝为寻找通往身毒（今印度）的通道，曾遣使者到达今云南的滇国。期间，滇王问汉使：“汉与我谁大？”后来汉使途经夜郎，夜郎国君也提出同样问题。因而世人便以此喻指狂妄无知、自负自大的人。