Varhaiset päivät
Whittakerin tarkkaa syntymäaikaa ei tiedetä. Hänet kastettiin Quarndonissa lähellä Derbyä 8. helmikuuta 1813. Hänen isänsä oli myös nimeltään Joseph, ja hän oli työläinen, joka avioitui Sarahin (syntynyt Clarke) kanssa. Pojan ilmoitetaan joskus syntyneen Breadsallissa vuonna 1815.
Australian kasvitieteet
Vuonna 1838 Whittaker lähti matkalle Austratiaan "puutarhurina". Hänen uusi työnantajansa oli everstiluutnantti George Gawler, joka oli juuri nimitetty Etelä-Australian toiseksi kuvernööriksi. Whittaker, seitsemän muuta Derbyshiren työntekijää, Gawler sekä hänen vaimonsa ja lapsensa saapuivat Pestonjee Bomanjee -aluksella 12. lokakuuta 1838 Adelaideen. He olivat matkustaneet neljä kuukautta Rio de Janeiron kautta. Kun Whittaker ja Gawler saapuivat, he löysivät huonot olosuhteet, joten puutarhanhoito ei ollut tärkeää.
Whittaker keräsi kasveja Adelaiden ympäristössä Etelä-Australiassa vuosina 1839-40. Whittaker matkusti Etelä-Australiassa eri paikkoihin, joissa hän keräsi monenlaisia kasvinäytteitä. Näihin kuuluivat Mount Lofty -vuoristo, Mount Jagged, Torrens-joki, Murray-joki ja Hindmarsh-joki. Whittaker oli ensimmäinen henkilö, joka keräsi kasveja Fleurieun niemimaan vuoristoalueelta, Encounter Baysta ja Mount Barkerista.
Whittaker viipyi Etelä-Australiassa yhdeksäntoista kuukautta ennen kuin hän purjehti kotiin Katherine Stuart Forbes -aluksella, joka lähti Port Adelaidesta 11. huhtikuuta 1840. Hänen laivansa pysähtyi kotimatkalla neljä kertaa Kangaroo Islandilla, Mauritiuksella, Saint Helenalla ja Corvon saarella Azoreilla. Whittaker keräsi lisää kasvinäytteitä laivan ollessa näissä satamissa.
Derbyshiren kasvitieteet
Whittaker saapui takaisin Englantiin 23. syyskuuta 1840, ja vuoteen 1844 mennessä hän oli jälleen aloittanut kasvien keräämisen. Hänen toimintansa oli huipussaan vuosina 1851-52, ja se loppui joskus vuoden 1867 jälkeen. Hän keräsi monista Derbyshiren osista, mutta hän matkusti toisinaan myös maakunnan ulkopuolelle, kuten Bulwelliin, Nottinghamshireen, Rhylliin ja Denbighiin Walesissa.
Vuoteen 1846 mennessä hän asui Breadsallissa Derbyshiressä, jossa hän toimi opettajana Breadsall Boys Schoolissa. Täältä hän vaihtoi kirjeitä Sir William J. Hookerin kanssa, joka oli Kewin kasvitieteellisen puutarhan johtaja. Whittaker oli nimittäin suunnitellut kirjoittavansa useita brittiläistä kasvitieteellisyyttä käsitteleviä kirjoja ja tarvitsi tätä varten vaihtamaan joitakin australialaisia ja niihin liittyviä näytteitä. Whittaker keräsi noin 300 kasvia, jotka Kew lopulta hankki. Whittakerin kokoelmat Ison-Britannian ulkopuolelta ovat nyt Kew Gardensissa. Whittaker nimesi aurinkokastikkalajin Drosera whittakeri hänen mukaansa.
Helmikuussa 1847 Whittakerista tuli Lontoon kasvitieteellisen seuran jäsen, ja hän vaihtoi vuosina 1849-1853 kasvinäytteitä seuran jäsenten kanssa. Sen jälkeen hän liittyi Botanical Exchange Clubiin ja lopulta Botanical Locality Record Clubiin. Vuoteen 1847 mennessä hänellä oli tarpeeksi tietoa julkaistakseen "luettelon harvinaisista kasveista, joita on löydetty Breadsallin lähistöllä Derbyshiressä". Luettelo sisälsi sekoituksen sekä harvinaisia että suhteellisen yleisiä lajeja, ja se antaa hyvät tiedot alueen kasvitieteellisestä monimuotoisuudesta tuohon aikaan. Vuonna 1857 hän toimi yhdeksänkymmenen lapsen koulumestarina Breadsallissa Derbyshiressä, kylässä, jonka asukkaisiin kuuluivat muun muassa luonnontieteilijät pastori Henry Harpur Crewe ja Francis Darwin. Koulun rahoitti Harpur-Crewen perhe.
Whittaker asui pienessä Morleyn kylässä lähellä Derbyä 1850-luvun lopulla. Hän asui vaimonsa Maryn kanssa Ferriby Brook -nimisessä talossa. Hän jatkoi opettamista siellä ja otti luokkiinsa jopa kaksitoista oppilasta, jotka olivat yleensä lähteneet paikallisesta koulusta ja jotka olivat kahdeksan ja kahdeksantoista vuoden ikäisiä. Lopulta hän perusti suuren elävien kasvien kokoelman. Paikalliset puutarharyhmät kertoivat, että hän kasvatti yli 1 300 eri lajia. Vuonna 1864 hän oli julkaisemassa teoksia, joissa viitattiin pastori Henry Harpur Crewen kanssa Lady's Slipper Orchid Cypripedium calceolus -orchidean paikalliseen sukupuuttoon kuolemiseen. Vuoteen 1871 mennessä hän lopetti koulumestarin työn ja ryhtyi "siemen- ja kukkakauppiaaksi". Vuoteen 1881 mennessä hänestä tuli menestyksekkäästi "taimitarhuri ja maanviljelijä". Hän asui talossaan kahden palvelijan ja kaksikymmenvuotiaan William Whiteheadin kanssa. Whiteheadista tuli lopulta osakas heidän puutarha-alan yrityksessään.
Whittakerin kasvienkeruutoiminta alkoi hiipua vuoden 1863 tienoilla, samoihin aikoihin kun hänen kasvitieteellinen kumppaninsa Henry Harpur Crewe muutti Buckinghamshiren Drayton Beauchampin rehtoriksi. Seuraavana vuonna he laativat yhteistyössä käsikirjoitetun luettelon Derbyshiren tärkeimmistä kukkivista kasveista ja saniaisista. Hänen ja Creweedin kumppanuus kesti ainakin kahdeksantoista vuotta ja oli hyvin hedelmällistä. Harpur Crewen perhe asui Calke Abbeyn lähellä, ja he olivat rahoittaneet Breadsallin koulun.
Vuoden 1880-luvun lopulla Joseph Whittaker antoi arvokasta apua ja toimitti useita kasvinäytteitä pastori W.H.Painterille, joka valmisteli kirjan julkaisemista Derbyshiren kasvistosta. Shirleyn kirkkoherra William Richardson Linton käytti myös monia Whittakerin näytteitä ja tietoja vuonna 1903 julkaistussa Derbyshiren kasviston kirjassa.
Whittaker kuoli 2. maaliskuuta 1894. Yleisön tilauksesta rakennettiin muistopöytä ja kaiverrettu messinkinen kaiverrus Morleyn Pyhän Matteuksen kirkkoon, jossa hän oli kirkonvartijana ja jonne hänet haudattiin.
