相传与太原王氏同出周灵王太子晋，至秦汉之际始分为琅琊、太原二望。《唐书·宰相世系表》说，太子晋后人既为王氏，至其十七世孙秦武城侯王离生子元、威，分别为琅琊、太原开基。“元避秦乱，迁于琅琊，后徙临沂。四世孙吉，字子阳，汉谏议大夫，始家皋虞，后徙临沂都乡南仁里。