おおよそ1200年頃には、古英語の of(ofを参照)から派生した強調形として使われていました。この頃は主に副詞的な用法で使われていましたが、「離れて」という前置詞的な意味や「さらに遠く」という形容詞的な意味は17世紀までしっかりと定着しませんでした。それが定着すると、元の of は新たな意味や弱められた意味を持つようになりました。「働いていない」という意味は1861年からです。
Off the cuff(即興で、準備なしで、1938年)は、急いでシャツの袖に書いたメモから話すというイメージから来ています。衣類に関しては、off the rack(既製品の、オーダーメイドでない、1963年)は、服屋のラックからそのまま買うという考え方に基づいています。また、off the record(公にしないこと、1933年)は秘密にするという意味から、off the wall(クレイジー、1968年)は、精神的に不安定な人が「壁に跳ね返っている」様子や、スカッシュやハンドボールなどの反射的なショットを指している可能性があります。