东汉建安二十四年（219年），益州牧刘备在今江油邻近的平武县南坝设置“江油戌”，江油之名由此开始。
据北宋《太平寰宇记》解释，江油之名是“取江水以称邑”，明代《蜀中名胜记》说“是以江水所由矣”。江油，是涪江源流（由）的意思。《太平寰宇记》卷84龙州江油县：“西魏废帝二年（553年）置龙州及江油县，取（涪）江水以称邑兼郡。”《郡县释名》四川卷下：“后魏置江油郡，县名同，以涪江一水萦回清澄如油也。”以上二说取义相近。《大明一统名胜志·四川名胜志》卷10：“古江油郡及县，今平武之江油铺，是以江水所由也。”（中国地名语源词典）
历史沿革
汉高祖六年（前201年）前，分属广汉郡的涪县和刚氐道。东汉明帝永平元年（58年）在今雁门区内设置德阳县，隶广汉郡，是为市境建县之始。东汉建安二十四年（219年），益州牧刘备在今江油邻近的平武县南坝设置“江油戌”，江油之名由此开始。
据北宋《太平寰宇记》解释，江油之名是“取江水以称邑”，明代《蜀中名胜记》说“是以江水所由矣”。江油，是涪江源流（由）的意思。东晋孝武帝宁康，太元年间（373—396年），在今江油青莲镇侨置汉昌县隶巴西郡，西魏废帝年间（552—553年）改名昌隆县，迁县治于今彰明镇，隶巴西郡。
唐玄宗先天元年（712年），改称昌明县，隶绵州。五代后唐同光二年（924年），改称彰明县仍隶绵州。
南宋宝佑六年（1258年），县治随龙州郡治迁今江油市大康乡旧县村。
元至正二十五年（1365年），县治迁今武都镇阳亭上坝，隶龙州宣慰司。
明洪武十三年（1380年）县治迁武都镇，隶属剑州。
清代改隶龙安府。
1912年后隶西川道。1935年，中国工农红军第四方面军长征路过江油和彰明两县大部份地区，建立济时、重华、彰明3个县苏维埃和中坝市苏维埃政府，时约3个月，红军离开后，江油县隶四川第十四行政督察区。
1949年12月22日后，隶属剑阁专区（1952年10月更名广元专区），1951年5月，县治迁中坝镇。1953年改隶绵阳专区，1958年9月，江油、彰明两县合并，名江彰县，次年4月更名江油县，1968年隶绵阳地区，1985年绵阳地区撤销，设置绵阳市，江油县隶绵阳市。
1988年6月30日，撤销江油县，设立江油市（县级），由省直辖，绵阳市代管，市人民政府驻中坝镇北大街。
名字的来历传说
一、位于川西北的江油，历史悠久。追溯江油名字的来历，相传与八仙之一的吕洞宾有关。
有一年，王母娘娘召开蟠桃会，宴请群仙，天上天下仙人云集，十分热闹。吕洞宾因多喝了琼浆玉液，酒醉当众调戏了牡丹仙子，被玉皇大帝贬下人间做善事赎罪。玉皇大帝要他每天卖一罐清油，不准白白送人，不准倒掉，否则决不轻饶。
吕洞宾来到凡间，便在西海边的街上卖清油。为了早点卖完，好去饭馆喝酒，别人给钱就卖。这时，有个十一二岁的小孩来买清油，小孩给了他五文钱，吕洞宾将半罐清油全部交给了小孩。
这小孩将半罐清油抱回了家。他母亲看他用五文钱买回了五十文的清油，忙叫小孩把多余的清油去退给卖油的人。并教育孩子做人要踏实，再穷也不能占别人便宜。
小孩在街上东找西找，终于在酒馆里找到了喝酒的吕洞宾。吕洞宾正喝得高兴，见小孩要把清油退给他，心想天下哪有这么老实、不贪便宜的人。就仍叫小孩将油拿回家。小孩不干，便将清油罐子朝吕洞宾怀里放。两人互相推让，小孩手一滑，清油罐就摔在了地上。忽然，从破罐中滴淌的清油噼里啪啦响个不停。
吕洞宾猛然想起玉皇大帝的告诫，知道自己闯了祸，拉起小孩腾云而起。小孩两娘母为人厚道、心地善良，被吕洞宾无意点化成仙，吕洞宾也被玉皇大帝召回了天上。
原来，这是玉皇大帝与王母娘娘打的赌。王母娘娘说天下人人都自私、贪婪，玉皇大帝不相信，设计叫吕洞宾考验，如是就将天下人全部杀光。小孩两娘母因这事就救了黎民百姓。清油在地上哗哗地流，如煮沸的开水，不久就淌成了一条江，人们便称为“沸江”。后来不知怎么又喊成了涪江。涪江里面流淌着一层油，人们开始叫“油江”，最后为了顺口，就改为“江油”。
二、据正史考：涪江源于雪宝顶——止于合川（与嘉陵江合川入重庆再汇入长江）秦汉时期，有蜀人朔江而上穷其源头，寻至平武境内江面渐窄且水流湍急渐成山溪状，即断言“涪江由此”。遂于南坝段勒石以示“江由”。后人沿以“江油”二字设戌（东汉时谓之江油戌）再后来置县，其县署虽几经迁徙，但江油的地名一直沿用至今。