Укажите для каждого выражения степень сложности токенизации

Анализ сложности токенизации выражений:

• We haven't slept:
• Сложность: 1 небольшие проб.
• Обоснование: Токенизация по пробелам выделяет 4 токена: "We", "haven't", "slept". "haven't" может потребовать специального правила для выделения "n't" как отдельного токена, но в целом это наименее проблематичный вариант.
• We won't sleep:
• Сложность: 2 нет проблем
• Обоснование: Данное выражение, вероятно, не представлено в списке выбора. Исходя из предоставленных опций, оно могло бы быть отнесено к "нет проблем" или "небольшие проб." в зависимости от конкретных правил токенизации.
• We were not sleeping:
• Сложность: 3 существенные проблемы
• Обоснование: В этом выражении "not" является отдельным словом, и его токенизация не вызывает затруднений. Основная сложность может возникнуть, если "n't" (как в "haven't") будет неправильно обработано. Однако, в данном конкретном примере, "not" является самостоятельным словом. Если бы было "weren't", то возникли бы проблемы.

Примечание: Выбор "2 нет проблем" для "We won't sleep" является предположением, так как это выражение не представлено в виде выпадающего списка. Контекст изображения указывает на необходимость выбора из предоставленных вариантов.