1982年夏，為適應國內外形勢發展、加快軍隊現代化建設的步伐，中央軍委在進行軍隊體制改革、精簡整編的同時，對部隊大單位領導班子進行了一次大幅度調整。在這次調整中，中央軍委經過慎重考慮，任命劉華清為中國人民解放軍海軍司令員。中共十二大開幕的當天，鄧小平將軍委的這一決定告訴了劉華清。
這天，中共十二大在人民大會堂開幕。被選為大會主席團成員的劉華清，一早便提前趕到人民大會堂南大廳等候入場。鄧小平從他身邊走過時，有意放緩腳步，像是打招呼似的輕聲說：“你還是回海軍工作。海軍問題不少，要整頓！”劉華清不由得一怔，馬上意識到：看來海軍班子調整，軍委已研究過，去海軍的事已經定了！
“文化大革命”期間，海軍是部隊中人所共知的“重災區”。由於林彪、“四人幫”直接插手，海軍部隊從思想作風到實際工作，都遭受了嚴重破壞。特別是海軍黨委、機關，長期分線劃派、矛盾重重，致使許多重大問題議而不決，決而不行。1982年10月，劉華清從海軍機關大院作風紀律整頓入手，揭開了海軍全面整頓的序幕。
在此后兩年多時間裡，海軍遵照鄧小平“海軍要整頓”的指示，由機關而部隊基層，先后進行了組織整頓、思想整頓、業務整頓、安全整頓、軍容和庫容整頓。同時，還搞了財務、營房大檢查，進行了醫院和工廠的整頓。通過整頓，恢復健全了條令條例、規章制度，進一步明確了海軍現代化建設的方向、目標，部隊精神面貌、實際工作都發生了脫胎換骨的變化。
1983年3月，劉華清抓住部隊編制體制調整機會，通過多方工作，力排眾議，組織創建了全軍第一個專事裝備發展研究工作的智囊機構——海軍裝備論証研究中心，海軍裝備建設結束了單憑拍腦袋、靠領導經驗決策的歷史，進入到發揮思想庫作用進行科學決策的新階段。
1985年8月，經報中央軍委批准，進行了海軍建軍以來最大的一次組織體制調整：海軍機關在原有司、政、后、裝四大部編制基礎上增設裝備修理部，主管海軍艦艇裝備維修﹔艦隊，撤銷后勤部，主管作戰訓練、日常管理﹔基地，轉變職能，除負責基地范圍內近岸防御外，重點是后勤和技術保障。由此，海軍組織體制由原來的海軍、艦隊、基地、部隊四級，變為平行的三級，即作戰指揮為海軍—艦隊—部隊，后勤保障為海軍—基地—部隊，裝備修理為海軍—基地—水警區。遵此精神，相關部隊、科研單位做出調整，同時大幅度縮減了部隊員額。
劉華清認為，作為一個海洋大國的海軍，中國海軍無疑當屬“戰略軍種”。除肩負作戰任務外，理所當然應負有和平使命。在這種思想指導下，海軍遵照鄧小平關於“為人類和平利用南極作出貢獻”的指示，於1984年10月派出艦艇、飛機並官兵300多名，參加了中國首次南極考察。此次考察歷時142天，艦船編隊往返2.3萬海裡，不僅按照計劃圓滿完成了中國南極長城考察站建站任務，而且在航渡中組織干部進行了遠航實習訓練。在此基礎上，劉華清部署了中華人民共和國成立以來我國海軍艦艇編隊首次出訪巴基斯坦、斯裡蘭卡、孟加拉國等南亞國家。這是人民海軍建軍30多年來編隊出訪的破冰之行。
經過數年的反復醞釀、精心研究，劉華清於1985年底提出了中國新時期的海軍戰略：“近海防御”。之后，又通過1年多方征求意見，修改、完善，於1987年2月報中央軍委審查批准。從此，中華民族第一次有了明確的海軍戰略。海軍戰略的確立，不僅使海軍建設進一步明確了方向目標，更喚醒了中華民族久已淡漠的海洋意識，凝聚全社會關注海軍、關注祖國的海洋權益，同心協力經略海洋。
在領導部隊大刀闊斧整頓、改革，強化教育訓練的同時，劉華清懷著高度歷史責任感組織編制了《海軍2000年前發展設想和“七五”建設規劃》《海軍2000年裝備發展規劃》，規劃了海軍現代化建設的藍圖。在充分論証的基礎上，對發展航空母艦、經略南海及軍事人才培養等重大課題都擬定了具體可行的方案和措施。
劉華清任職海軍后，鄧小平多次聽取工作匯報，參加關於海軍裝備發展、海疆斗爭等重大問題的研究。對劉華清交出的一張張“答卷”，鄧小平非常滿意。
1985年8月22日，中央軍委副主席楊尚昆，軍委副秘書長、國防部部長張愛萍，軍委副秘書長、總參謀長楊得志及三總部、軍紀委領導出席了海軍黨委擴大會，楊尚昆、張愛萍、楊得志先后在會上講了話。楊尚昆說，這次海軍體制改革精簡整編是海軍歷史上變動最大的一次。海軍這幾年工作不錯，鄧主席有評價，軍委的同志也這樣一致認為。楊得志說，鄧主席主持軍委工作以來，海軍建設取得了明顯進步，這幾年的工作又有新的進展，軍委、鄧主席是滿意的。 （摘自《黨史博覽》 吳殿卿）
