山東，金代以前為地理概念，泛指崤山、華山或太行山以東的黃河流域廣大地區(qū)。金代大定八年（1168年）置山東東、西路統(tǒng)軍司，山東遂成為正式行政區(qū)劃名稱。明代山東布政司（又稱行省）管轄6府、104縣，大致奠定了今山東省行政區(qū)域范圍。清代山東基本沿襲明代山東的版圖，稱山東省。因西周封邦建國時(shí)，今山東境內(nèi)曾存有齊、魯、曹、滕、衛(wèi)諸國，周公旦封于魯，所以現(xiàn)在山東又簡(jiǎn)稱“魯”。
清末，山東省有濟(jì)南、東昌、泰安、兗州、沂州、曹州、登州、萊州、青州、武定10府，濟(jì)寧、臨清、膠州3個(gè)直隸州，共轄8個(gè)散州96個(gè)縣。中華民國初期，劃分為濟(jì)南、濟(jì)寧、膠東、東臨4道，屬縣107個(gè)。1928年廢道，各縣直屬省。1937年10月，日軍侵占山東，國民黨省政府流亡。1938年7月，中共蘇魯豫皖邊區(qū)省委發(fā)出關(guān)于恢復(fù)縣、區(qū)、鄉(xiāng)政權(quán)的指示，到年底有12個(gè)縣成立了抗日民主政府。1939年7月，中共山東分局將山東劃分為3個(gè)區(qū)和2個(gè)特區(qū)：膠濟(jì)路南、隴海路北、津浦路東為一區(qū)，津浦路西為二區(qū)，膠東為三區(qū)，湖西、清河為特區(qū)。1940年8月，山東省戰(zhàn)時(shí)工作推行委員會(huì)成立，下轄16個(gè)專員公署，88個(gè)縣。
1945年8月，根據(jù)山東省出席中國解放區(qū)代表會(huì)議全體代表聯(lián)名建議，省臨時(shí)參議會(huì)和省行政委員會(huì)第20次聯(lián)席會(huì)議決定，改山東省戰(zhàn)時(shí)行政委員會(huì)為山東省政府，黎玉為省政府主席，下設(shè)5個(gè)行政公署，共轄21個(gè)專署、119個(gè)縣。1945年8月13日，由7個(gè)廳局組成的山東省政府在莒南縣大店鎮(zhèn)宣告成立。這標(biāo)志著中國共產(chǎn)黨領(lǐng)導(dǎo)建立的第一個(gè)省級(jí)政權(quán)——山東省政府的誕生。1949年3月，山東省政府改稱山東省人民政府，下轄14個(gè)市（包括濟(jì)南、青島、徐州、濰坊4個(gè)省轄市）、140個(gè)縣、2個(gè)辦事處、2個(gè)特區(qū)。1950年，將16個(gè)專區(qū)合并為滕縣、臨沂、泰安、沂水、德州、惠民、淄博、昌濰、膠州、萊陽、文登11個(gè)專區(qū)。
1952年，平原省撤銷，所屬聊城、菏澤、湖西3個(gè)專區(qū)29個(gè)縣劃歸山東。原河北省臨清、館陶、恩城、夏津、武城5個(gè)縣劃歸山東。而將山東的東光、吳橋、寧津、慶云、鹽山、南皮6個(gè)縣劃歸河北；徐州市、新海連市及豐、沛、華山、銅北、贛榆、邳、東海等縣劃歸江蘇。
1953年6月，滕縣專區(qū)更名為濟(jì)寧專區(qū)。7月，撤銷湖西專區(qū)和沂水專區(qū)，將其所屬縣市分別劃歸濟(jì)寧、菏澤和臨沂專區(qū)。1954年12月，撤銷淄博工礦區(qū)，設(shè)立淄博市。1958年，萊陽專區(qū)更名為煙臺(tái)專區(qū)。1960年，撤銷嶧縣，設(shè)立棗莊市。1963年，河南省東明縣劃歸山東。1964年，范縣劃歸河南。1965年，館陶劃歸河北，河北省的寧津縣、慶云縣劃歸山東。1967年，專區(qū)更名為地區(qū)，全省共轄德州、惠民、昌濰、煙臺(tái)、臨沂、泰安、濟(jì)寧、菏澤、聊城9個(gè)地區(qū)，濟(jì)南、青島、淄博、棗莊4個(gè)省轄市，5個(gè)縣級(jí)市，107個(gè)縣。1981年5月，昌濰地區(qū)更名為濰坊地區(qū)。1982年11月，設(shè)立省轄東營市。1983年，撤銷煙臺(tái)地區(qū)、濰坊地區(qū)、濟(jì)寧地區(qū)，設(shè)立地專級(jí)煙臺(tái)市、濰坊市、濟(jì)寧市。1985年，撤銷泰安地區(qū)，設(shè)立地專級(jí)泰安市。1987年，威海市升為地專級(jí)市。1989年日照市升為地專級(jí)市。1992年，惠民地區(qū)更名為濱州地區(qū)，萊蕪市升為地專級(jí)市。1994年，撤銷臨沂地區(qū)、德州地區(qū)，設(shè)立地專級(jí)臨沂市、德州市。1997年，撤銷聊城地區(qū)，設(shè)立地專級(jí)聊城市。2000年，撤銷濱州地區(qū)、菏澤地區(qū)，設(shè)立地專級(jí)濱州市、菏澤市。至2004年底，全省劃分為濟(jì)南、青島、淄博、棗莊、東營、煙臺(tái)、濰坊、濟(jì)寧、泰安、威海、日照、萊蕪、臨沂、德州、聊城、濱州、菏澤17個(gè)地級(jí)市，縣級(jí)單位140個(gè)，鄉(xiāng)鎮(zhèn)級(jí)單位1941個(gè)，其中，街道辦事處423個(gè)，鄉(xiāng)295個(gè)，鎮(zhèn)1223個(gè)�！�
