Излагается теория неустойчивости гравитационно-капиллярных волн на поверхности жидкости с учетом линейной и нелинейной дисперсий. Теоретическое исследование проводится на основе использования интегродиффренциального оператора для описания линейной дисперсии волн. Сначала рассматривается случай кубичной нелинейности без учета дисперсии нелинейности. Найдены инкременты неустойчивости. Проводится сравнение со случаем параболической аппроксимации линейной дисперсионной зависимости, что соответствует использованию нелинейного уравнения Шредингера. Показано, что использование интегродиффренциального оператора для описания линейной дисперсии волн приводит к ограничению области неустойчивости, но не меняет величины инкремента. Получено, что дисперсия нелинейности уменьшает инкременты, особенно при больших расстройках. Влияние капиллярных эффектов на неустойчивость волн на поверхности жидкости проводится в той же последовательности: сначала без учета дисперсии нелинейности, затем с ее учетом. Структура неустойчивости меняется для волн, распространяющихся с минимальными фазовыми и групповыми скоростями: при уменьшении длины волны область неустойчивости суживается и потом исчезает. Определены границы исчезновения области неустойчивости. При дальнейшем уменьшении длины волны неустойчивость возникает вновь. Она приобретает черты «коллапса», когда область неустойчивости становится эллиптической. Вид неустойчивости волн с большими волновыми числами имеет «самофокусировочный» характер в отличие от модуляционного характера неустойчивости волн с малыми волновыми числами. Нелинейная дисперсия в гравитационно-капиллярных волнах, как и в гравитационных волнах, ведет к подавлению неустойчивости при больших расстройках. В области существования неустойчивости типа «коллапса» нелинейная дисперсия ведет к сужению области неустойчивости и уменьшению инкремента в них. Это дает возможность описывать на основе предлагаемых уравнений распространения гравитационно капиллярных волн на больших временах.