ベックはロンドン南西部ウィンブルドンにあるウィンブルドン・カレッジ・オブ・アーツに進学し、ロックボーカルのスクリーミング・ロード・サッチのバンドに加入した。その後、売れっ子セッション・ギタリストになっていたペイジの勧めでヤードバーズのオーディションを受ける。1965年にエリック・クラプトンが「ポップになりすぎた」ことを理由にヤードバーズを脱退してから、バンドはギタリストを探していたのだ。ポップというクラプトンの主張とは裏腹に、ベックはヤードバーズのフロントマンのキース・レルフに対してブルースの純粋主義者のような印象を抱いたと振り返る。「純粋主義者であることと、貧しさは両立可能なんだ。私は、自分にとっていちばん良いものを追求しよう、と思ったことを覚えている」とベックは言った。もともとベックは、サイケデリックロックや実験主義、ジャズ（60年代のベックのお気に入りアーティストは、ジャズミュージシャンのエリック・ドルフィーとローランド・カーク）を好む傾向にあったため、そのアヴァンギャルドな音楽性は60年代のポップミュージックシーンにうってつけだった。ヤードバーズの「Heart Full of Soul」と「Evil Hearted You」は英国音楽チャート入りを果たし、人気を博した。その後も「Shapes of Things」と「Over Under Sideways Down」が初の米国音楽チャート入りを果たしている。
1966年には、ペイジがヤードバーズに加入する——ベーシストとして加入したが、後にツイン・リードギタリストとしてバンドを支えた。同じころ、ヤードバーズはイタリアの巨匠ミケランジェロ・アントニオーニの映画『欲望』（1966）に出演し、劇中で「Stroll On」（ジョニー・バーネットの「The Train Kept a-Rollin’」のカバー）を演奏した。そこでベックは、ギターを破壊するというザ・フーのピート・タウンゼントさながらのパフォーマンスを披露した。「ザ・フーに出演を持ちかけたところ、断られたんだろう」とベックは振り返る。「高いギャラを払ってくれる相手にノーと言える立場ではなかった。（中略）アントニオーニ監督に『自前のギターを破壊してくれ』と言われたので、私は「嫌です」と断った。当時のギターは、サンバースト塗装が施されたレスポールだった。監督に「新品を買ってあげるから」と言われても、私は首を縦に振らなかった。監督は、ギタリストの多くがギターを破壊すると勘違いしていたんだろう。私が言うことを聞かないので、代わりに初心者向けのギターが6本用意された。どれも安物のレンタル品で、ビニール袋に入っていたのを覚えている」
映画が公開されたころには、ベックはすでにヤードバーズのメンバーではなかった。体調不良と心身の衰弱を理由に、1966年11月にバンドを脱退していたのだ。1967年には、リードボーカルとしてポップなシングル「Hi Ho Silver Lining」のレコーディングを行なった。同作は大ヒットを記録する一方で、B面曲の「Beck’s Bolero」はレッド・ツェッペリンの誕生を予感させた。「Beck’s Bolero」にはジミー・ペイジをはじめ、後にレッド・ツェッペリンのベーシストとなるジョン・ポール・ジョーンズ、さらにはザ・フーのキース・ムーン、ピアニストのニッキー・ホプキンスが参加していたのだ。同年、ベックはヘビーなブルースサウンドに焦点を置いたジェフ・ベック・グループを結成。ボーカルにロッド・スチュワートを、後にローリング・ストーンズのメンバーとなるロン・ウッドをベーシストに迎えた。アルバム2作——『Truth』（1968）と『Beck-Ola』（1969）——とウッドストックの出演をドタキャンするという歴史を残し、ジェフ・ベック・グループは解散した。これを機に、スチュワートとウッドはフェイセズを結成した。
「ジェフ・ベックは、別の星で生きているような人だ。60年代後半にジェフ・ベック・グループのメンバーとして私とロンをアメリカに連れて行ってくれたが、それ以来、私はアーティストとしての道を歩き続けている」と、スチュワートは現地時間12日にツイートを投稿。「生演奏をしている時、実際に私の歌声を聴いてそれに反応してくれる、稀有なギタリストのひとりだった。ジェフ、君は本当に最高のギタリストだ。何から何まで、本当にありがとう。ご冥福をお祈りします」とベックへの想いを綴った。
