ある形質の適合性が、その形質が集団内の他の形質と比べてどれだけ多いか(頻度)に影響される場合、これを頻度依存選択といいます。頻度依存選択は、種間で起こる場合もあれば、同一種内で起こる場合もあります。このタイプの選択には、より一般的な表現型がより高い適応をもたらす正の選択と、より稀な表現型がより高い適応をもたらす負の選択があります。
正の頻度依存選択では、一般的な表現型が適応を向上させます。このシナリオは、擬態が関与する相互作用でよく見られます。中央アメリカの新熱帯地域では、蝶の種であるHeliconius cydnoとHeliconius saphoが、Müllerianの擬態パートナーシップを結んでいます。これは、毒性、毒、不味さ、またはその他の捕食者の抑止力を警告する動物界で一般的な警告シグナルです。
興味深いことに、H. cydnoは近縁の姉妹種であるH. melpomeneと交配して子孫を残すことができます。H. melpomeneは黒と赤の色が主です。その結果、白と赤と黒の混ざった雑種の子供は、著しく体格が劣えます。メスの雑種が不妊であることに加え、捕食者は色を抑止力のある警告として認識せず、どちらの親種の蝶も雑種を交尾相手として認識しません。そのため、最も一般的な表現型である白と黒を選択することになります。しかし、白と赤と黒の交配が頻繁に行われるようになると、捕食者が以前に別の交配個体と遭遇して警告パターンを知っている可能性が高くなるため、表現型が相対的に適合するようになります
負の頻度依存選択とは、一般的な表現型が選択されない選択形態のことです。負の頻度依存選択の一例として、捕食者がその生物を獲物として認識しないために、獲物種の希少な表現型が高い適応をもたらす場合があります。これはアポトーシス選択と呼ばれています。
アポトーシス選択の典型的な例として、カタツムリとその捕食者であるツグミが挙げられます。カタツムリは多形の殻パターンを持っていますが、捕食者であるツグミは、獲物を探す際に1つか2つの共通した殻パターンに集中する傾向があります。このような共通の表現型は、より強い負の選択圧力を受けることになります。
負の頻度依存選択のもう一つの例は、植物の自家不和合性システムに見られます。被子植物では、花粉と雌しべが同じ対立遺伝子を持っている場合、花粉の発芽や管の成長を妨げる遺伝的メカニズムを伴う自家受精を防ぐために、同型の自家不和合性が重要です。これは、S座と呼ばれる多重度のゲノム領域によって制御されています。このため、一般的な形のS座を発現する植物は、しばしば自己不適合遺伝子のために潜在的な生殖イベント、つまり遺伝子の流れが遮断される偽の“自分自身”—に遭遇します。これは、S座の稀な形態が正の選択を受け、一般的な形態が逆の選択を受けることを意味します。