前農委會主委曹啟鴻因帶三位秘書同住官舍引來批評，但據了解這三位秘書不僅握有大權，其中一名秘書更有「地下主委」的封號，連曹啟鴻在媒體前演講，都可以被她公然制止，而這位地下主委的強勢作風更讓農委會上下敢怒不敢言。 據《中時》報導，農委會內部人士透露，當曹啟鴻有出外行程時，這三位秘書都至少會有一人隨行，但不論是三位秘書中的誰跟曹啟鴻跑行程，都會替曹「護駕」隔開曹啟鴻與外界的距離，讓曹啟鴻因此背上「缺少和外界溝通」的罵名，其中跟隨曹啟鴻從屏東打拼過來的秘書黃麗霞，其「官威」之大到連曹啟鴻也要對她言聽計從。 內部人士也說，有次曹啟鴻曾帶媒體參觀沼氣發電時，黃麗霞就直接當起司令官，直接指揮整個現場調度和媒體發問，而曹啟鴻全場就在一旁聽黃麗霞的指揮。此外如果農委會官員想找曹溝通，不只要先過黃麗霞這關，黃麗霞甚至還能代替曹啟鴻發言，農委會先前出現官員調派問題，希望能請曹啟鴻出面解決，但黃麗霞卻直接當著處長、局長等一級主管面前，直接代替曹啟鴻打回票。 甚至到了曹卸任前一天向媒體致意時，原本打算高談自己在改善蔬果價格的作為時，卻被黃一句「別再說了」打斷，而曹啟鴻也就真的不再多說蔬果價格的議題。內部人士表示，自從曹啟鴻出任農委會主委後，整個農委會就因為曹的秘書太過強勢，出現上下政策溝通受阻，恐怕是最後曹遭撤換的原因之一。