潘姓主要源自：姬姓、姚姓。
源于“芈”（mǐ ）姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始