Схлопывание языковых моделей
Model Collapse refers to a degenerative learning process where models start forgetting improbable events over time, as the model becomes poisoned with its own projection of reality.
https://arxiv.org/pdf/2305.17493.pdf
Если из материала для обучения языковых моделей не исключать результаты работы языковых моделей, то языковые модели "схлопываются," и начинают создавать то, что важно для языковых моделей, а не для пользователей.
https://arxiv.org/pdf/2305.17493.pdf
Если из материала для обучения языковых моделей не исключать результаты работы языковых моделей, то языковые модели "схлопываются," и начинают создавать то, что важно для языковых моделей, а не для пользователей.