南仏アルルに活動の拠点を移したゴッホは、ラマルティーヌ広場（Place Lamartine）沿いの建物の一部をアトリエと住居として間借りしていた。ゴッホがアトリエを構えたこの建物は絵画「黄色い家」（1888年9月）として描かれ、当時の建物の様子を現在に伝えている（1944年に戦災で破壊され現存していない）。
ゴッホが間借りした「黄色い家」は、1888年2月にアルルに到着してから3か月後の5月からアトリエとして使い始めていた。当初は家具・寝具などがない状態だったため、3軒隣の「カフェ・ドゥ・ラ・ガール」の一室を寝室として借りており、このカフェの様子は鮮やかな赤と緑が使われた油彩画「夜のカフェ」で描かれている。
後に経済的に苦しかったゴーギャンをゴッホはこの「黄色い家」に招き入れ、1888年10月から一室をゴーギャンに提供して9週間ほど共同生活を送っている。絵画「黄色い家」で描かれた部屋で言うと、２階の雨戸が開いた部屋がゴーギャンの寝室となったようだ。
ゴーギャンとの共同生活
アルルの「黄色い家」でのゴッホとゴーギャンの共同生活は、二人でぶどう畑を見学に行ったり（ゴッホ「赤い葡萄畑」）、カフェ・ドゥ・ラ・ガール」のジヌー夫人をモデルに同じ題材の作品を描いたりと、出だしは順調なようにも見えた。
しかし二人はそれぞれ強烈な個性を持った稀代の画家であり、お互いに作風も大きく異なるゴッホとゴーギャンは、互いの作品についてあれこれと文句をつけあい、次第に二人の関係は緊張していった。
「耳切り事件」発生
二人が共同生活を始めてからちょうど２か月が経とうとしていた12月23日、ついに決定的な事件が起きた。ゴーギャンに「自画像の耳の形がおかしい」と言われたゴッホは、発作的に自らの右の耳たぶを切り落としてしまったという。翌日、ゴーギャンはテオを電報でアルルに呼び寄せた上で、パリに帰ってしまった。
事件後に描かれたゴッホ「耳に包帯をした自画像」
同年12月30日のフランス地方紙「ル・フォロム・レピュブリカン」は、オランダ出身のヴァンサン・ヴォーゴーグと称する画家が娼婦に「この品を大事に取っておいてくれ」と自分の耳を渡し姿を消したと報じた。
通報を受けた地元警察は直ちに身元を特定して「黄色い家」を訪ねたところ、死んだようにベッドに横たわっているゴッホを発見し、すぐさまアルル市立病院に搬送した。
こうしてゴッホとゴーギャンの共同生活は劇的に幕を閉じた。翌年1月7日に退院して「黄色い家」に戻ったゴッホは、耳に包帯をした自画像を描き上げ、また製作途中だった「ルーラン夫人ゆりかごを揺らす女」を完成させている。サン＝レミの精神病院に入院するのは、それから4か月後のことである。