In 2002 kwam Oh Me Oh My..., het debuut van Devendra Banhart uit.
Door alle ruis heen kon je horen dat we met een bijzonder artiest te maken had.
Rejoicing in the Hands is een hele stap vooruit. Allereerst is de opnamekwaliteit uitstekend, maar ook de songs en het gitaarspel van Banhart zijn in korte tijd beter geworden.
Voor de opname van Rejoicing in the Hands toog Devendra Banhart samen met zijn mentor en producer Michael Gira naar een huis op de grens van Georgia en Alabama, in het diepe zuiden dus, om daar de cd op te nemen. Daar nam Banhart maar liefst 32 songs op, genoeg voor twee cd