山根叔親自烤了六安瓜片茶，洪學智再次嚐到家鄉熟悉的味道，當他了解到金寨參加紅軍的十萬人，能活着回來的人寥寥無幾，洪學智的心裏百感交集，他用自己碗裏的茶致敬那些爲國捐軀的親人們。

1954年2月，洪學智任總後勤部副部長兼參謀長，後任部長，領導全軍後勤實施了一系列歷史性的重大轉變，領導並實施了部隊薪金制，軍銜制，義務兵役制等重大制度改革，1954年中國人民解放軍進行了服裝改革，爲1955年授銜做準備。毛澤東，周恩來，朱德和劉少奇一起參觀了新軍服的樣式，洪學智給他們一一做了介紹，主席還對襯衣領子提出了中肯的意見。

1955年9月27日，中華人民共和國主席授銜儀式在國務院禮堂舉行，42歲的洪學智被授予上將軍銜，成爲57名開國上將之一。洪學智帶工作組的成員前往西藏果洛軍分區的邊防兵站實地考察，他們連續走了三天才來到位於高原上的兵站，洪學智首先了解了戰士們得生活情況，得知他們平時根本喫不到青菜，只能靠土豆和罐頭果腹，緊接着洪學智又來到戰士們居住的地窨子，發現這裏陰暗潮溼，不但條件艱苦，而且蚊子又多又兇猛，洪學智答應儘快安排經費，爲戰士們改善建磚瓦房，戰士們輪流給洪學智站崗，時刻謹防地老鼠偷偷鑽進帳篷。

第二天一早，洪學智騎馬前往下一個兵站，工作組成員朱德前路艱險，讓洪學智原地等候，他們瞭解情況以後回來彙報，可洪學智堅持要親自去查看戰士們的生活工作環境，他發現那裏條件十分艱苦，風沙大，老鼠蚊子太多，他當即決定給邊防兵站撥款建造磚木結構的房子，想方設法種樹種菜，把格爾木建成綠洲。

洪學智接到中央軍委的急電，催他儘快回來參加黨的第八次會議，洪學智讓工作組其他成員繼續到剩下的幾個兵站了解情況。1956年9月，黨的第八次全國代表大會上，洪學智當選爲中央候補委員，同年11月任中央軍委委員，12月，被任命爲總後勤部部長，黨委書記。時年43歲。洪學智看到一個老鄉在地頭低聲哭泣，他趕忙過去詢問其中緣由，才知道他的柿子樹被大鍊鋼鐵的人看下當柴燒掉了，老鄉全靠賣柿子維持生計，現在一下子沒了找落。

青藏線工作組的調研報告送上來以後，洪學智馬上報告中央軍委和國防部，經中央軍委批准，向格爾木及青藏線沿線各兵站下撥了專項經費，徹底改善了兵站指戰員的生活。1959年3月，洪學智帶領三總部工作組再一次親臨青海和西藏，他發現格爾木舊貌換新顏了，戰士們的生活條件大大改善，他們還種菜種樹，洪學智覺得戰士們的被子薄，當即決定給他們調撥棉花，洪學智隨後來到廚房，還親自幫廚做飯，給路過的汽車運輸隊的戰士們燉了羊肉，戰士們還以爲他是新來的炊事班長，一起給他敬酒，洪學智就和他們一起喫飯，聊家常，他們還不停地拿洪學智打趣，兵站連長來找洪學智，戰士們才知道他是上將。

1959年7月，洪學智接到命令，他從世界屋脊匆匆趕回了廬山，從此以後，他的命運發生了大逆轉。洪學智一到廬山，大會工作人員就把彭德懷寫給中央的報告交給他，讓他明天在大會上發言表態，洪學智連夜看完了彭德懷的“萬言書”，他覺得彭德懷反映的情況基本上是符合實際的，彭德懷敢講真話，敢說實話，是憂國憂民的表現，在第二天的會議上，有人揭發彭德懷的罪行，但洪學智選擇了沉默。牛大偉也參加了廬山會議，他主動來找洪學智，向他反映了一些別有用心的人的指控，他們誣陷洪學智和彭德懷沆瀣一氣，牛大偉勸洪學智站出來指控彭德懷，否則後果很嚴重。

洪學智堅決不講假話，不講違心的話，一直保持沉默，1959年10月，洪學智被免去總後勤部長的職務，隨後離開部隊被下放到吉林省農機廳任廳長，他主動讓張文拆下領章和帽徽，心裏卻很不是滋味，