環境にうまく適応した生物は、生き残り、繁殖する可能性が高いです。しかし、自然淘汰は完全に適応した生物を生み出すわけではありません。いくつかの要因が自然淘汰を制約しています。
ひとつは、自然淘汰は既存の遺伝的変異にしか作用しないことです。例えば、象の牙が赤いと、象牙を狙う密猟者を抑止することができ、象の生存率が高まると考えられます。しかし、赤牙の遺伝子変異（対立遺伝子）が存在しなければ、自然淘汰によって赤牙の普及率を高めることはできません。対立遺伝子は最初から存在するか、突然変異によって生じる必要があります。
また、トレードオフも自然淘汰を制限します。赤い牙の対立遺伝子は、密猟から身を守るかもしれませんが、牙をもろくし、戦闘や採餌に役立たなくなるかもしれないです。
ゲノムレベルでのトレードオフが存在するのは、自然淘汰が対立遺伝子ではなく個体に作用するからです。同じ染色体上の隣り合った遺伝子はしばしば連鎖により一緒に継承されます。赤牙の対立遺伝子が不妊の原因となる対立遺伝子と一緒に受け継がれた場合、赤牙は消滅する可能性があります。
中間的な形質もまた、自然淘汰を制約することがあります。例えば、伝統的な牙、赤い牙、中間的なバラの牙の3つのバリエーションを持つゾウの集団を想像してほしいです。バラの牙は、伝統的な牙のように密猟者に欲しがられるかもしれませんし、赤の牙のように脆いかもしれません。中間的な表現型が有害であることは、象の集団において伝統的な牙から赤い牙への移行を制限する可能性があります。
自然淘汰は一般的に集団の生存・繁殖能力を高めるものですが、他の進化のメカニズムでは逆の効果をもたらす可能性があります。また、自然災害のような移動（遺伝子流動）や偶然の出来事（遺伝的浮動）によって、有害な対立遺伝子が導入されたり、有益な対立遺伝子が消去されたりすることもあります。進化は完璧を目指すものではなく、集団にかかる圧力が組み合わさった結果なのです。
