在夏商时，榆林市的部分地方（府谷、佳县等）在翟族境内，周代为雍州白翟的一部分，战国时为秦国上郡地。
公元前221年秦统一六国，始皇分天下为三十六郡，上郡是其中一个。
三国时，上郡、西河郡为匈奴领地，未设置行政区划。
东晋时期，匈奴铁弗部赫连勃勃在统万城（今靖边统万城遗址）建立大夏国。
公元427年，北魏灭掉大夏国，设统万镇，北魏太和十二年（公元488年）改设夏州。北宋时，榆林市属永兴军路（初为陕西路），后大定二十二年（公元1182年）撤军设绥德州、晋宁州（二十四年改葭州）。
元代绥德州、葭州属延安路，绥德州领地今清涧、米脂二县，葭州领地今神木、府谷二县。
明代为九边之一，明朝成化七年（1471年），在长城一带设榆林卫。
清雍正年间，设有榆林府和绥德直隶州两个省辖行政区。
