Erdwärmesonden werden in vertikalen Bohrungen mit einer Tiefe von wenigen Metern bis über 100 Metern installiert. Im Sondenkreislauf wird eine Wärmeträgerflüssigkeit durch den Boden und zumeist durch den grundwassererfüllten Gesteinsbereich geleitet, um die darin gespeicherte Wärme aufzunehmen. In einem Wärmetauscher wird die Flüssigkeit dann wieder abgekühlt. Die gewonnene Energie wird in der Regel zu Heizzwecken oder zum Kühlen weiter verwendet.

Erdwärmesonden werden in Deutschland meist nur bis 100 m Tiefe eingesetzt, da darüber hinaus eine bergrechtliche Genehmigung erforderlich ist. Wie auch bei den Erdwärmekollektoren ist eine möglichst genaue Dimensionierung notwendig. Unterdimensionierung führt bei großem Wärmeentzug zu starker Abkühlung des Untergrundes bis hin zur Frostbildung. Dadurch verringert sich einmal die Effizienz der Wärmepumpe, zum anderen können sich die tieferen Schichten im Sommer wegen des begrenzten Wärmenachflusses nicht mehr vollständig regenerieren. Die Fluideintrittstemperatur darf nach VDI (1998) im Dauerbetrieb den Bereich von ±10 K relativ zur Temperatur des ungestörten Untergrundes nicht überschreiten, bei Spitzenlast ±15 K.