出身世族,自天寶十年(751)至天寶末年,入宮為三衛(wèi)郎。安史之亂后,玄宗奔蜀,他流落失職,始立志讀書。大歷十三年(778)任鄂縣令,歷任洛陽丞、縣令、滁州刺史、江州刺史、蘇州刺史,罷官后,閑居蘇州諸佛寺。世稱“韋左司”、“韋蘇州”。他的詩歌在唐代已有勝譽,白居易在《與元九書》評價其:“近歲韋蘇州歌行才麗之外,頗近興諷。”以王、孟、韋、柳并稱。一生好書,其藏書之事跡,史不多載,今據(jù)其《燕居即事》一詩中稱“燕居日已永,夏木紛成結(jié)。幾閣積群書,時來北窗閱?!笨梢娖洳貢H具規(guī)模,且攻讀之勤。