Интересное наблюдение: большинство моделей ИИ, похоже, уверенно утверждают, что они были в основном обучены с использованием RLHF (Обучение с подкреплением на основе человеческой обратной связи) - даже когда это не совсем точно. Ирония в том, что RLHF в настоящее время имеет довольно негативную репутацию в техно-кругах.

На самом деле многие из этих моделей прошли через несколько подходов к обучению, а не только RLHF. Тем не менее, они будут с удивительной уверенностью настаивать на том, что RLHF был их основным методом обучения. Это почти как будто они запрограммированы слишком сильно идентифицировать себя с этой одной спорной техникой.

Заставляет задуматься о разрыве в прозрачности между тем, как модели описывают свое собственное обучение, и тем, что на самом деле происходило в лаборатории. Уровень уверенности не всегда соответствует реальности.