Let's head back.

戻ろう

When to use

head back = 戻る。天気やコンディションが悪いときに。