Правильный вариант: knew.
Если бы я знал их язык, я мог бы понять, что они говорят.
Краткое пояснение: В условных предложениях второго типа (Second Conditional) используется структура: If + Past Simple, would + инфинитив. В данном случае, knew - форма Past Simple глагола know.
Проверка за 10 секунд: Условное предложение второго типа.
Доп. профит: Читерский прием: Запомни структуру условных предложений: If + Past Simple, would + infinitive.