Пример который мне в свое время понравился: четырехзначное число выражающее популярный год типа 2021 с большой вероятностью при токенизации станет отдельным токеном.
Вот ночью спишь, видишь сон. А повернешься на другой бок, и сон растворяется, теперь он уже новый. То ли кровь к другим частям мозга приливает/отливает, то ли еще что.
А вот космонавты, в невесомости, они так всю ночь один сон и смотрят?
Comments 840
кто в этом году будет в финале Кубка Стэнли?
Reply
Reply
технический вопрос: что за токены при обращении с большими языковыми моделями?
Reply
кратко - это часто встречающиеся последовательности букв, на которые разбиваются тексты для обработки
Подробный ответ - https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
Reply
спасибо!
Reply
Reply
Вот ночью спишь, видишь сон. А повернешься на другой бок, и сон растворяется, теперь он уже новый. То ли кровь к другим частям мозга приливает/отливает, то ли еще что.
А вот космонавты, в невесомости, они так всю ночь один сон и смотрят?
Reply
Ну да, им всю ночь трава снится. Кому какая.
Reply
Reply
в исполнении Чуриковой - вопще огонь
Reply
Reply
Reply
Reply
и спрашивать, похоже, тоже будет оно
Reply
Мне кажется, если знать, эксперты в каких областях тут присутствуют, будет гораздо легче задавать вопросы
К примеру, две мои профессиональные области знания - теоретическая физика и микроструктура финансовых рынков
А ваши?
Reply
Китайская медицина
Reply
Reply
Практикую. 5 лет назад было просто интересом. Теперь это моя работа. Получила самое высокое образование по ней, которое доступно в моей стране.
Reply
Leave a comment