LLaMA 3 UNCENSORED 🥸 It Answers ANY Question

Тестирование Llama 3: Без цензуры и с контекстом 256k

Введение в Llama 3

• Обсуждение новой версии Llama 3, которая не имеет цензуры и обладает контекстным окном в 256k. Модель Dolphin 2.9 будет протестирована.

• Упоминание о возможности выиграть Rabbit R1 при подписке на новостную рассылку, где будут обновления по ИИ.

Характеристики модели

• Модель Eric Hartford's находится в репозитории Cognitive Computations на Hugging Face; это версия с 8 миллиардами параметров.

• Указание на наличие ошибки в наборе данных, из-за которой модель может ссылаться на системный запрос почти в каждом ответе.

Тестирование производительности

• Использование квантованной версии от Pruna AI для тестирования модели; запуск происходит на H100 GPU.

• Запуск первой задачи — написание игры "Змейка" на Python для проверки скорости вывода кода.

Результаты тестирования кода

• Модель быстро генерирует код для игры "Змейка", но используется библиотека Turtle, о которой автор не слышал ранее.

• При попытке запустить код возникают ошибки, что указывает на возможные проблемы с реализацией или самой моделью.

Ошибки и исправления

• Автор пытается исправить ошибки, вставляя их обратно в модель для получения корректного ответа, но результаты остаются неудовлетворительными.

• Следующий тест включает сложную математическую задачу; модель снова показывает плохие результаты.

Цензура и возможности модели

Как работает система обработки информации?

Обзор процесса получения ответов

• Система предоставляет полный ответ на запрос, включая список необходимых материалов и инструкции по их использованию.

• Приведен пример логической задачи о трех убийцах в комнате, где один из них убивает другого. Вопрос: сколько убийц осталось в комнате?

• Ответ на задачу оказался неверным, что указывает на проблемы с качеством обработки информации.

Тестирование контекстного окна

• Начато тестирование контекстного окна размером 256k токенов, которое позволяет обрабатывать большие объемы текста.

• Для теста используется первая половина книги "Гарри Поттер", содержащая 44,000 токенов. В текст вставляется фраза с паролем для поиска.

• Система не смогла найти пароль и предложила задать вопрос снова, что указывает на возможные ограничения в обработке больших объемов данных.

Будущие эксперименты

• Упоминается о планах провести дальнейшие тесты с использованием версии Llama 3 instruct с контекстным окном в миллион токенов.