Termín "šedá energie" popisuje spotřebu energie spojenou s výrobkem v průběhu jeho životnosti - od jeho výroby a používání až po likvidaci. Kritici tvrdí, že moderní tepelná čerpadla zde vykazují obzvláště špatné výsledky, a to kvůli jejich četným součástem a chladivům.
První bod platí stejně pro všechny systémy ústředního vytápění: bez ohledu na to, zda se k výrobě tepla používá tepelné čerpadlo nebo plynový topný systém, jsou k rozvodu tepelné energie a jejímu přenosu do místností vždy zapotřebí potrubí, čerpadla a topné plochy.
Chladiva jsou skutečně předmětem kritiky - zejména dříve hojně používané fluorované uhlovodíky (F-plyny), jako je R-410A, který je 2088krát škodlivější pro klima než stejné množství CO2. To však platí pouze v případě, že je vypouštěn do atmosféry. Vzhledem k tomu, že tepelná čerpadla jsou uzavřené systémy, k tomu při správné likvidaci nedochází. Důležité je také poznamenat, že tzv. nařízení o F-plynech postupně zakazuje škodlivá chladiva a že dotační požadavky v souvislosti s používáním přírodních chladiv slibují lepší podmínky.
Dnes navíc existují i čistší propanová čerpadla, využívající ekologické chladivo R290.