マッカートニーは誘いに乗らなかった。「（幻覚剤をやってしまうと）もう同じではいられなくなるって聞いてたからね。人生を変えてしまって、それまでとは同じようには考えられない。ジョンはむしろその変化に期待していた。俺は、もう元の自分に戻れなくなるかもしれないって思うと怖くなった。俺は、何というか・・・足がすくんだんだ。周りの目が厳しかったしね」と『ザ・ビートルズ・アンソロジー（原題：The Beatles Anthology）』で語っている。レノンとハリスンは、このマッカートニーの拒絶を忘れなかったことだろう。
マッカートニーの見解は正しかった。LSDは、少なくとも短期的には精神状態を不安定にする可能性がある。ビバリーヒルズでのある午後のこと、ハリスンは突然恐怖を覚えた。ザ・バーズのメンバーと共にパーティに参加していた俳優のピーター・フォンダがその時の様子を回想している。「ジョージと俺は屋外デッキに座っていた。そうしたらジョージが＂俺、死にそうだ＂なんて言うんだ。俺は＂何も心配ない。リラックスしろ＂と言った。俺は、本当に死にそうっていうのがどういう状態か知っていたからね。10歳の時、間違って自分の腹を撃っちまって、出血多量で手術台の上で3度も心臓が止まったんだ」。
レノンもフォンダのこの一件を耳にしていて、数年後に振り返っている。「フォンダは＂俺は死ぬっていうのがどういう感じか知っているぜ＂と繰り返していた。しかも小声で。俺が＂何だって？＂と聞き返すと、奴はまた同じことを繰り返した。みんな＂いい加減に黙れ！そんなこと誰も興味ねえよ＂って言っていた。それでもフォンダは止めなかったな」。一方フォンダはレノンが彼に向かって、「お前は俺がまるでこの世に存在していないんじゃないかって気にさせるよな。いったいお前の頭の中には何が詰まってるんだ？」と言ったと記憶している。その場にいたバーズのロジャー・マッギンは、その日のことを「あまりにひどく異様な光景」と表現し、レノンがフォンダにもう帰るように言っていたのを覚えている。
繰り返し聞かされたフォンダの言葉はレノンの頭にこびりついていた。その言葉はレノンを震え上がらせただけでなく、決断力にも問題を残した。
その頃すでにビートルズは、リスクも冒しながら音楽的に変化しつつあった。ビートルズのユニークなコード進行やエッジの効いたメロディライン、さらに自分たちで作詞・作曲する姿勢は、ザ・ローリング・ストーンズ、バーズ、ザ・ビーチ・ボーイズをはじめとするイギリスやアメリカの多くのバンドに影響を与えていた。ところがレノンだけは、優等生でいなければならないビートルズとは違い、不良のイメージでダーティな曲を作ることの許されるストーンズを羨んでいた。しかしビートルズが最も気にしていたのは、ボブ・ディランの方だった。ディランのフォークからロックへの転換、特に『ライク・ア・ローリング・ストーン（原題：Like a Rolling Stone）』は素晴らしく、ディランのシュールな意識の流れのイメージは幻覚剤の作用ではないか、とまで言われていた。1965年12月、ビートルズは『ラバー・ソウル』をリリースした。本作でバンドがアーティストとして一段と成長した、と評価されている。マッカートニーは彼の曲作りのスタイルを深めていった。『ドライヴ・マイ・カー（原題：Drive My Car）』は明るくウィットに富んだ曲で、『ユー・ウォント・シー・ミー（原題：You Won’t See Me）』と『君はいずこへ（原題：I’m Looking Through You）』は、ディランの辛辣な曲のように攻撃的な内容だった。一方でレノンの曲はがらりと変わった。『ひとりぼっちのあいつ（原題：Nowhere Man）』と『ガール（原題：Girl）』では弱々しさも見せている。『ノルウェーの森（原題：Norwegian Wood (This Bird Has Flown)）』は執念が感じられる内容で、音楽的にはポピュラー音楽にシタールを初めて採用するなど、ユニークな楽曲になっている。
