Em contraste com os dados conhecidos sobre a história evolutiva das plantas e animais, o registo fóssil antigo dos fungos é muito escasso. Entre os fatores que provavelmente contribuem para a sub-representação das espécies de fungos no registo fóssil incluem-se a natureza dos esporocarpos, que são tecidos moles, carnosos, e facilmente degradáveis, bem como as dimensões microscópicas da maioria das estruturas fúngicas, as quais não são, portanto, muito evidentes. Os fósseis de fungos são difíceis de distinguir daqueles de outros micróbios, e são mais facilmente identificáveis quando se assemelham a fungos atualmente existentes. Muitas vezes recuperadas de um hospedeiro vegetal ou animal permineralizado, estas amostras são tipicamente estudadas usando preparações em lâmina delgada que podem ser examinadas com o microscópio ótico ou por microscópio eletrónico de transmissão. Os fósseis de compressão são estudados por dissolução da matriz circundante com ácido e usando os meios de microscopia já indicados para examinar os detalhes da sua superfície.
Os mais antigos fósseis que apresentam caraterísticas típicas dos fungos datam do éon Proterozoico, há cerca de 1 430 milhões de anos; estes organismos bênticos multicelulares possuíam estruturas filamentosas com septos, e eram capazes de anastomose. Estudos mais recentes (2009), estimam o aparecimento de organismos fúngicos há aproximadamente 760 – 1060 milhões de anos com base em comparações das taxa de evolução em grupos aparentados. Durante grande parte da era paleozoica (há 542 – 251 milhões de anos), os fungos parecem ter sido aquáticos e consistiriam de organismos semelhantes aos atuais quitrídios, com esporos flagelados. A adaptação evolutiva a um modo de vida terrestre necessitou uma diversificação das estratégias ecológicas para a obtenção de nutrientes, incluindo o parasitismo, o saprobismo, e o desenvolvimento de relações mutualistas como as micorrizas e a liquenização. Estudos recentes (2009) sugerem que o estado ecológico ancestral dos Ascomycota era o saprobismo e que eventos independentes de liquenização ocorreram múltiplas vezes.
Os fungos colonizaram a terra provavelmente durante o Câmbrico (há 542 – 488 milhões de anos), muito antes das plantas terrestres. Hifas fossilizadas e esporos recuperados do Ordovícico de Wisconsin (460 milhões de anos) assemelham-se a Glomerales atuais, e existiram numa altura em que a flora terrestre provavelmente consistia apenas de plantas avasculares semelhantes às briófitas. Prototaxites que era provavelmente um fungo ou um líquen, terá sido o organismo mais alto do final do Silúrico. Os fósseis de fungos apenas se tornam comuns e incontroversos no início do Devónico (há 416 – 359 milhões de anos), sendo abundantes no cherte de Rhynie, sobretudo Zygomycota e Chytridiomycota. Por esta mesma altura, há cerca de 400 milhões de anos, os Ascomycota e os Basidiomycota divergiram, e todas as classes de fungos modernos estavam presentes no final do Carbónico (Pennsylvaniano, há 318 – 299 milhões de anos)
Fósseis semelhantes a líquenes foram encontrados na formação Doushantuo no sul da China, datados de há 635 a 551 milhões de anos. Os líquenes eram um componente dos primeiros ecossistemas terrestres, e a idade estimada do mais antigo fóssil de líquen terrestre é 400 milhões de anos; esta data corresponde à idade do mais antigo esporocarpo fóssil conhecido, uma espécie de Paleopyrenomycites encontrada no cherte de Rhynie. O mais antigo fóssil com caraterísticas microscópicas semelhantes aos atuais basidiomicetes é Palaeoancistrus, encontrado permineralizado com um feto do Pennsylvaniano. Raros no registo fóssil são os Homobasidiomycetes (um táxon aproximadamente equivalente às espécies produtoras de cogumelos de Agaricomycetes). Dois espécimes preservados em âmbar constituem evidência de que os mais antigos fungos produtores de cogumelos que se conhecem (a espécie extinta Archaeomarasmius legletti) surgiram durante o Cretáceo Médio, há 90 milhões de anos.Algum tempo após a extinção permo-triássica (há 251 milhões de anos), ocorreu um pico de abundância de fungos (originalmente entendido como uma abundância extraordinária de esporos de fungos nos sedimentos), sugerindo que os fungos eram a forma de vida dominante deste período, representando quase 100% do registo fóssil disponível para o mesmo contudo, a proporção relativa de esporos fúngicos relativamente aos esporos formados por espécies de algas, é difícil de avaliar, o pico não apareceu em todo o mundo, e em muitos locais não diminuiu no limite permo-triássico.