經過短期整訓，中共膠東特委在牟平縣馬石店召開會議，決定林一山任膠東軍政委員會主席兼“三軍”總指揮；宋澄任“三軍”政委；呂志恒任軍政委員會副主席。之后，在呂志恒等率領下西進抗日。“三軍”主力由文登、牟平一帶出發，向蓬萊、黃縣、掖縣戰略要地開進。西上途中，攻克福山，襲擊煙臺，所向披靡，并將膠東各地起義隊伍統一整編為四路，開辟了蓬、黃、掖抗日根據地，建立了縣區抗日民主政權。
1938年9月18日，“三軍”各路和掖縣“三支隊”在掖縣沙河鎮整編為“山東人民抗日游擊隊第五支隊”，高錦純任司令員，吳克華任副司令員，宋澄任政委。所屬編為十九旅、二十一旅和二十五旅3個旅。十九旅旅長高嵩，政委宋竹庭，參謀長王瀛洲，政治部主任李丙令。下轄六十一團，團長趙一萍，政委劉中華；六十三團，團長于得水，政委張玉華；五十五團，團長李華，政委常青。二十一旅旅長鄭耀南，政委李耀文，政治部主任張加洛。下轄六十二團，團長徐承勛，政委張寰旭；六十四團，團長陳龍飛，政委翟瑞甫。二十五旅旅長劉萬玲，政委柳運光。下轄六十五團，團長李兆岐，下委王云恨。12月，“八路軍山東縱隊”正式成立，膠東部隊原部“山東人民抗日游擊隊第五支隊”奉命改稱“八路軍山東縱隊第五支隊”，下轄6個團，共7000余人。后來，在原膠東黨政軍領導機構的基礎上，組成了膠東區黨委、膠東行署、膠東軍區。
