Regénybe illő, kalandos életének már első mozzanata is titokzatos: a tízgyermekes Ilka család legkisebb fia, András Anzelm Nepomuk a bajai plébánia anyakönyve szerint 1738-ban, más források szerint 1730. július 30-án látta meg a napvilágot. Családnevét is több változatban (Jilka, Jelka) említik, de Jelkyként ment át a köztudatba. Édesapja a szabó céh mestere, sőt városbíró is volt, aki fiát már 11 éves korában befogta inasnak, majd 16 évesen legidősebb bátyjához küldte további tanulmányokra. A kitérő után, amelyet András Bécsben udvari szabó testvérénél töltött, a divat fővárosa, Párizs felé vette útját, de soha nem érkezett meg.
1754-ben erőszakkal besorozták porosz katonának, megszökött, de rövid kalandozás után Rotterdamban csavargásért ismét vasra verték. 1755-ben útnak indították Holland Kelet-India felé, de út közben villám csapott a hajóba, amely elsüllyedt. Jelky megmenekült, Suriname-ba, majd Lisszabonba utazott, ahonnan Máltára indult tovább. Ezúttal kalózok kezébe került, akik eladták rabszolgának, de a fogságból ismét megszökve 1757-ben Makaóba érkezett. Hamarosan Kantonba vitorlázott, ahol beállt a holland seregbe katonának és Batáviába (ma Dzsakarta) vezényelték. Itt a kormányzó szabója lett és magas pártfogójának hála leszerelhetett és megnősült.
1760-ban patrónusával történt összezördülés után elhagyta Batáviát. Hadnagyként szolgált Ceylon szigetén, majd a Holland-indiai Kereskedő Társaság fennhatósága alá tartozó Ternate szigetére küldték azzal a feladattal, hogy kössön fűszerkereskedelmi szerződést a pápua bennszülöttekkel. Sajnálatos módon a leendő üzlettársakról kiderült, hogy kannibálok, így az üzlet füstbe ment, Jelky csak nagy üggyel-bajjal menekült meg. A fáma szerint a törzsfőnök lánya beleszeretett és megszöktette végzete elől. Hónapokig egy elhagyott szigeten éltek, majd a lány halála után Jelky visszatért Batáviába.
Ezután már elkerülték a kalandok, élete békés mederben folydogált: 1765-ben a házassági és igazságszolgáltatási ügyek megbízottjának, később a Nyugat-Oldali Polgári Társaság hadnagyának nevezték ki, majd egy árvaház igazgatója és udvari tanácsos lett. Komoly vagyonra tett szert, 1770-ben a polgári őrség kapitánya és titkos tanácsos lett, többször járt követként Jáván, majd Japánba küldték követnek. Felesége és rokonai halála azonban megviselte, lemondott állásáról és 1776-ban visszaindult Európába. Egy év múlva ért Amszterdamba, ahonnan Bécsbe utazott bátyjához, a császári udvarban örömmel fogadták, bemutatták Mária Teréziának is. Visszautasította a felkínált diplomatai tisztségeket 1778-ban Budán telepedett le és ismét megnősült.
Nemes Jelky András 1783. december 6-án hunyt el tüdővészben. Úti élményei 1779-ben németül, 1791-ben magyarul is megjelentek, alakját Hevesi Lajos Jelky András bajai fiú rendkívüli kalandjai ötödfél világrészben című regénye tette széles körben ismertté, amely 1872 óta újabb és újabb kiadásokban lát napvilágot.