Рэй родился в
Галифаксе
, но вырос на юге
Лондона
. Начал свою карьеру футболиста, выступая на позиции полузащитника в клубе «
Чарльтон Атлетик
» в 1960 году, став профессионалом под руководством Фрэнка Хила в 1964 году. Сыграл свою первую игру в качестве профессионала в 1966 году, дебютировав во
втором дивизионе
, но, не сумев закрепиться в команде вскоре ушел в клуб
четвёртого дивизиона
«
Эксетер Сити
», где он отыграл 55 игр менее чем за два года. В 1967 году подписал контракт с «
Линкольн Сити
», также играющий в четвёртом дивизионе под руководством Рона Грэя. «Бесы» не смогли заработать повышение (упустив пять очков) в сезоне 1968/69 и заняли восьмое место в сезоне 1969/70, а затем под руководством Берта Локсли команда опустилась в зону вылета в сезоне 1970/71. Хэрфорд сыграл около 200 игр за четыре года на стадионе Синсил Бэнк
.