Тест в конце главы

Давайте проверим, чему вы научились в этой главе!

1. Когда следует обучать новый токенизатор?

2. В чем преимущество использования генератора списков текстов по сравнению со списком списков текстов при использовании train_new_from_iterator()?

3. Каковы преимущества использования "быстрого" токенизатора?

4. Как конвейер token-classification обрабатывает сущности, которые охватывают несколько токенов?

5. Как конвейер question-answering обрабатывает длинные контексты?

6. Что такое нормализация?

7. Что такое предварительная токенизация для токенизатора по подсловам?

8. Выберите предложения, которые относятся к модели токенизации BPE.

9. Выберите предложения, которые относятся к модели токенизации WordPiece.

10. Выберите предложения, которые относятся к модели токенизации Unigram.