A nürnbergi születésű Grundig apja korán meghalt, anyja öt gyermeket nevelt, így korán saját lábára kellett állnia. Elektroműszerész oklevelének megszerzése után, 22 évesen Fürth városában rádiókat forgalmazó vállalkozásba fogott, amely tehetségének és szorgalmának köszönhetően 1938-ra már milliós forgalmat bonyolított.
Karrierje a második világháború után, a romokban heverő Németországban ívelt magasra. A rádiógyártást a megszálló szövetségesek szigorúan ellenőrizték, az alkatrészek drágák voltak, így Grundig a csövek nélküli, ún. "csináld magad" Heinzelmann rádió gyártásába fogott. Az otthon összeállítható egy áramkörös, rövid-, közép-, és hosszúhullámú adók vételére egyaránt alkalmas szerkezetet nagy mennyiségben dobta piacra és számítása bejött. 1947-ben már hatalmas gyártócsarnokot létesített Fürthben, 1948-ban megalapította a Grundig Werke GmbH-t, amely 1950-ben már a legnagyobb európai rádiógyártónak számított. 1949-ben készült el a 150 ezredik rádió, amelynek hordozható változata is megjelent, s megkezdték a szalagos magnók gyártását is.
Grundig gyorsan reagált a piac kihívásaira. Amikor a német utakon megkétszereződött a kocsik száma, előrukkolt az autórádióval, amely vezetés közben is lehetővé tette a zenehallgatást, 1952-ben kezdett a televíziók sorozatgyártásába és első volt a színes televíziók gyártásában, s beszállt az írógép- és irodagépgyártásba is. 1960-tól külföldön is terjeszkedni kezdett. Első leányvállalatát Észak-Írországban állította fel, majd Portugália, Olaszország, Franciaország következett.
A hetvenes évektől azonban távol-keleti, japán és tajvani konkurenciával kellett szembenéznie, a Grundig utolsó jó éve 1979 volt. A közel 40 ezer embert foglalkoztató, évi közel három milliárd márkát forgalmazó vállalat ettől kezdve magas árai miatt kezdett veszteségessé válni, s megkezdődtek az elbocsátások. Grundig 1984-ben a vezetést átengedte a holland Philips cégnek (de megtartotta a részvények 68,5 százalékát) és visszavonult az üzleti élettől. A kollégái által munka-alkoholistának tartott, rendszerető cégtulajdonos utolsó éveit fiatal francia felesége és kislánya társaságában töltötte baden-badeni birtokán, s 1989. december 8-án halt meg.
A Grundig cég túlélte alapítóját, de mára jószerével csak a legenda maradt. A Philips nem tudta felszínen tartani a német gyártót és visszavonult, ezután konzorciumot alakult a cég megmentésére, de 2003-ban így is csődeljárás kezdődött a Grundig ellen. 2004 végén az európai piacon egyre nagyobb részesedést követelő török Beko vásárolta fel a patinás céget és a gyártást Isztambulba helyezte át. Ma a mindössze pár száz munkást foglalkoztató, új termékskálával jelentkező Grundig "Vissza a jövőbe!" jelmondattal próbál megfelelni legendás hírnevének.
