Phi Silica от Microsoft: самая компактная модель и ее огромные возможности

Простой способ обойти блокировки – купи VPN через Телеграмм-бот:

Новая SLM выведет работу с ПК на новый уровень эффективности.

Microsoft представила Phi Silica — первую малую языковую модель (SLM) для оптимизации производительности искусственного интеллекта на персональных компьютерах. Продукт поможет решить проблему высоких вычислительных затрат, из-за которых часто перегружаются центральный и графические процессоры, снижая общую эффективность системы.

Phi Silica, имея всего 3,3 миллиарда параметров, является самой компактной моделью в семействе Phi от Microsoft. Несмотря на свой небольшой размер, она демонстрирует неплохие показатели — задержка при генерации первого токена составляет 650 токенов в секунду, а энергопотребление всего 1,5 Ватт. Это позволяет освободить ресурсы ЦПУ и ГПУ для других задач, обеспечивая плавную работу остальных приложений.

В России и ищешь VPN? Покупай через Телеграмм-бот:

Phi Silica разработана специально для нейронных процессоров (neural processing units, NPU) новых персональных компьютеров Copilot+. Генерация токенов модели использует кэш KV на NPU и работает на ЦПУ, производя около 27 токенов в секунду. Разработчики получат доступ к API Phi Silica через Windows App SDK, что поможет им создавать инновационные приложения с ИИ в экосистеме Windows.

Функционал Phi Silica будет включать распознавание оптического символьного ввода (optical character recognition, OCR), студийные эффекты, живые субтитры и API для отслеживания активности пользователя. В дальнейшем планируется добавить встраивание векторов, API для обобщения ответов (retrieval-augmented generation, RAG) и автоматического реферирования текста.

Phi Silica входит в серию Phi-3 наряду с моделями Phi-3-mini (3,8 млрд параметров), Phi-3-small (7 млрд параметров), Phi-3-medium (14 млрд параметров) и недавно анонсированной Phi-3-vision (4,2 млрд параметров). Однако Phi Silica станет первой передовой малой языковой моделью, которая будет поставляться вместе с Windows, что ознаменует важный шаг в расширении доступа конечных пользователей к продвинутым возможностям искусственного интеллекта.

Первые компьютеры Copilot+ с поддержкой Phi Silica поступят в продажу в середине июня 2024 года. Они будут оснащены процессорами Snapdragon X Elite и Plus от Qualcomm на базе архитектуры Arm. Позднее в третьем квартале 2024 года ожидается выпуск ноутбуков Copilot+ с процессорами Lunar Lake от Intel.

Приватность — это право, а не роскошь.

Подпишитесь на наш канал и защитите свои права

Надежный VPN сервис — это виртуальная частная сеть, которая обеспечивает высокую степень защиты и конфиденциальности при использовании интернета. Термин "надежный" относится к нескольким ключевым аспектам, которые делают VPN сервис безопасным и эффективным для пользователей.

Надежный VPN защищает ваши личные данные от слежки со стороны хакеров, интернет-провайдеров и государственных органов.

Использование надежного VPN помогает скрыть ваш IP-адрес и обеспечивает анонимность при серфинге в интернете.

Надежный VPN сервис — это важный инструмент для обеспечения безопасности, конфиденциальности и анонимности в интернете. Выбор надежного VPN поможет вам защитить свои данные, обойти блокировки и улучшить свой опыт онлайн-серфинга.