Тест в конце главы

1. Каков порядок работы конвейера языкового моделирования?

2. Сколько измерений имеет тензор, выводимый базовой моделью Transformer, и каковы они?

3. Что из перечисленного ниже является примером токенизации по подсловам?

4. Что такое голова модели?

5. Что такое AutoModel?

5. Что такое TFAutoModel?

6. На какие техники следует обратить внимание при объединении в батч последовательностей разной длины?

7. В чем смысл применения функции SoftMax к логитам, выводимым моделью классификации последовательностей?

8. Какой метод является основным в API токенизатора?

9. Что содержит переменная result в этом примере кода?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. Есть ли что-то неправильное в следующем коде?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)

10. Что-то не так с приведенным ниже кодом?

from transformers import AutoTokenizer, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = TFAutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)