Sinds Dig!!! Lazarus Dig!!! uit 2008 heeft Nick Cave allerminst stilgezeten. Er volgde een tweede Grinderman-album in 2010 en samen met Warren Ellis tekende hij vorig jaar voor de soundtrack Lawless. Warren Ellis heeft wederom een prominente rol op Push The Sky Away, dat na een eerste beluistering vooral vervreemding oproept. ‘Well, if I were to use that threadbare metaphor of albums being like children, then Push The Sky Away is the ghost-baby in the incubator and Warren's loops are its tiny, trembling heart-beat’, aldus Cave zelf. Over minimale beats en loops van Ellis lijkt Cave bijna improviserend zijn teksten te zingen, grotendeels in hetzelfde trage tempo. De overige instrumenten bieden spaarzame inkleuring, waardoor eenvormigheid op de loer ligt. Bij herhaalde beluistering ontvouwen zich echter duidelijke songstructuren en zuigt Cave je meer en in meer in een duistere en vreemde wereld.