What is Phi-2, Microsoft’s new small language model | Technology News

[ad_1]

Microsoft’s new generative AI model is leaner and more capable than even bigger language models.

Satya Nadella announcing Phi-2 at Ignite 2023 (Image credit: Microsoft)

In the world of large language models (LLM) like GPT-4 and Bard, Microsoft has just released a new small language model—Phi-2, which has 2.7 billion parameters and is an upgraded version of Phi-1.5. Currently available via the Azure AI Studio model catalogue, Microsoft claims that Phi-2 can outperform larger models such as Llama-2, Mistral, and Gemini-2 in various generative AI benchmark tests.

Originally announced by Satya Nadella at Ignite 2023 and released earlier this week, Phi-2 was built by the Microsoft research team, and the generative AI model is said to have “common sense,” “language understanding,” and “logical reasoning.” According to the company, Phi-2 can even outperform models that are 25 times larger on specific tasks.

Microsoft Phi-2 SLM is trained using “textbook-quality” data, which includes synthetic datasets, general knowledge, theory of mind, daily activities, and more. It is a transformer-based model with capabilities like a next-word prediction objective. Microsoft has trained Phi-2 on 96 A100 GPUs for 14 days, indicating that it is easier and more cost-effective to train this model on specific data compared to GPT-4. GPT-4 is reported to take around 90-100 days for training, using tens of thousands of A100 Tensor Core GPUs.

Performance of Phi-2 against Llama and Mistral (Image credit: Microsoft)

Microsoft’s Phi-2 can also solve complex mathematical equations and physics problems. On top of that, it can identify a mistake made by a student in a calculation.

On benchmarks like commonsense reasoning, language understanding, math, and coding, Phi-2 outperforms the 13B Llama-2 and 7B Mistral. Similarly, the model also outperforms the 70B Llama-2 LLM by a significant margin. Not just that, it even outperforms the Google Gemini Nano 2, a 3.25B model, which can natively run on Google Pixel 8 Pro.

A smaller model outperforming a large language model like Llama-2 has a huge advantage, as they cost a lot less to run with lower power and computing requirements. These are also models that can be trained for specific tasks and can easily run natively on the device, reducing output latency. Developers can access the Phi-2 model on Azure AI Studio.

© IE Online Media Services Pvt Ltd

First published on: 17-12-2023 at 11:28 IST

[ad_2]

Source link

447 thoughts on “What is Phi-2, Microsoft’s new small language model | Technology News

  1. Промокод 1xbet при регистрации. Промо-код встречается на просторах сети достаточно часто. Букмекер использует его для привлечения новых игроков в индустрию ставок, но преимущество предоставляется и новому игроку. После того как он совершит первый депозит, на его бонусный счёт поступит аналогичная сумма, до 32500 рублей. промокод на бонус 1xbet Данный вид бонус-кода также популярен в поиске. Указывать его надо в купоне для совершения ставки. Промокод 1xbet на ставку практически невозможно найти в бесплатном доступе. Он вручается игрокам индивидуально.К примеру, компания промокодов. В данном разделе подробно расписан процесс получения.

  2. Япония и Южная Корея заявляют, что ракета достигла максимальной высоты 2000 км.
    Корея опубликовала снимки, сделанные во время самого мощного запуска ракеты за последние пять лет.
    На необычных снимках, снятых из космоса, показаны части Корейского полуострова и прилегающие районы.
    В понедельник Пхеньян подтвердил, что испытал баллистическую ракету средней дальности (БРСД).
    На своей полной мощности он способен преодолевать тысячи миль, и способен затронуть Гуам (США)..
    Последнее испытание снова вызвало тревогу у мира.
    За последние несколько недель Пхеньян осуществил рекордное количество ракетных запусков — семь пусков — что резко осудили практически все страны мира.
    Что хочет Корея?
    Для чего она делает так много ракет в последнее время?
    СК собирается сосредоточиться на экономике в 2022 году
    ООН не одобряет такие запуски ракет и ввела санкйии. Но Северная Корея постояно игнорирует запрет.
    Официальные лица США в понедельник заявили, что недавний рост активности сулит продолжение переговоров с Пхеньяном.
    Что произошло На испытаниях?
    Южная Корея и Япония первыми заявили о запуске в воскресенье после того, как обнаружили его в своих мониторах.
    По их оценкам, он прошел огромное расстояние для такого типа ракет, преодолев расстояние около 800 км (497 миль) и достигнув высоты 2000 км, перед приземлением в океани около Японии. На предельной мощи и по обычному маршруту БРСД способна пройти до 4000 км.
    Для чего СК сделала запуск?
    Северокорейский аналитик Анкит Панда предположил, что отсутствие г-на Кима и язык, использованный в СМИ для создания образа запуска, позволяют полагать, что это учение было предназначено чтобы проверить, что БРСД работает должным образом, а не для того, чтобы продемонстрировать новую силу.
    Новость сообщило новостное агентство информ 1tourism.ru

  3. Бесплатный промокод 1xBet 32500 рублей. Промокод при регистрации в БК 1xBet рассчитан на привлечение новых клиентов. Совокупность букв и цифр вводится при создании аккаунта, что поднимает сумму первого пополнения счета до 325000 тысяч рублей. Редакция напоминает, что для получения бонуса потребуется пройти процедуру отыгрыша. Букмекер просит проставить сумму экспрессами. Коэффициент каждой отдельной ставки составляет минимум 1.4. После прохождения отыгрыша выбранная сумма денег перейдет из бонусного на основной счет. 1xBet промокод на День Рождения. Букмекерская контора поздравляет каждого верифицированного клиента бесплатной ставкой на День Рождения. На сегодня у 1xbet предусмотрено несколько рабочих промокодов: на бесплатную ставку, на 25000 рублей, а также промокод до 1500 евро. Промокод 1xbet до 1500 евро. Между букмекерами активно развивается конкуренция, и это правильно. Каждый старается привлечь к себе как можно больше игроков, в том числе различными акционными предложениями, бонусами и тому подобными маркетинговыми методами. Как получить промокод 1xbet? Промокод казино 1xbet до 1500 евро. 1xbet промокод при регистрации. Промокод 1хбет на сегодня. Бездепозитный промокод 1xbet. Сегодня отсутствует. Один из наиболее популярных среди таковых — использование промокодов.

  4. наша работа – предложить вам наилучший обслуживание и обеспечить стопроцентное удовольствие от этих услуг. эскорт услуги это не просто предоставление красивых дам в роли сопровождающих на торжества http://eicg.kz/index.php?subaction=userinfo&user=arulyme или деловые события.

  5. Бонус Код Букмекерской Мелбет При Регистрации – это код для новых пользователей, так как он дает денежные призы на первый депозит новым игрокам. С их помощью вы получите на 30% больше возврата средств, чем при стандартной регистрации, или фрибет. Букмекерская контора Мелбет работает на рынке беттинга уже довольно долго. За время существования она успела получить доверие многотысячной аудитории игроков и сформировать четкую стратегию взаимодействия с клиентами. Для всех участников БК доступны различные поощрения, подарки и акции. Среди них – промокод мелбет 2024, расширяющий список привилегий для нового, или активного пользователя.

  6. Congratulations on your incredible gift for writing! Your article is an engaging and enlightening read. Wishing you a New Year full of achievements and happiness!

  7. Thoroughly enjoyed your article! 😊 The insights are valuable, and adding more visuals in your future pieces could enhance the overall reader experience. 📷

  8. 🚀 Wow, blog ini seperti perjalanan kosmik meluncurkan ke alam semesta dari kemungkinan tak terbatas! 🌌 Konten yang menegangkan di sini adalah perjalanan rollercoaster yang mendebarkan bagi imajinasi, memicu ketertarikan setiap saat. 🌟 Baik itu gayahidup, blog ini adalah sumber wawasan yang mendebarkan! 🌟 🚀 ke dalam petualangan mendebarkan ini dari pengetahuan dan biarkan pemikiran Anda melayang! ✨ Jangan hanya mengeksplorasi, alami sensasi ini! 🌈 🚀 akan berterima kasih untuk perjalanan menyenangkan ini melalui ranah keajaiban yang tak berujung! 🚀

  9. Artikel ini luar biasa! Cara klarifikasinya sungguh menarik dan sangat gampang untuk dipahami. Sudah jelas bahwa telah banyak kerja keras dan studi yang dilakukan, yang sungguh mengesankan. Penulis berhasil membuat topik ini tidak hanya menarik tetapi juga menyenangkan untuk dibaca. Saya dengan antusias menantikan untuk eksplorasi konten seperti ini di masa depan. Terima kasih atas berkontribusi, Anda melakukan pekerjaan yang istimewa!

  10. I urge you to avoid this platform. My own encounter with it was purely frustration along with concerns regarding fraudulent activities. Be extremely cautious, or alternatively, find a more reputable site to fulfill your requirements.

  11. I highly advise to avoid this platform. My own encounter with it has been purely dismay as well as concerns regarding fraudulent activities. Proceed with extreme caution, or even better, look for a trustworthy site to fulfill your requirements.

  12. I urge you steer clear of this site. My own encounter with it has been nothing but disappointment and concerns regarding deceptive behavior. Be extremely cautious, or better yet, find a trustworthy service to fulfill your requirements.

  13. I urge you stay away from this platform. The experience I had with it has been nothing but dismay along with doubts about fraudulent activities. Be extremely cautious, or alternatively, look for a more reputable service to meet your needs.

  14. I strongly recommend steer clear of this site. My personal experience with it was purely disappointment and doubts about deceptive behavior. Be extremely cautious, or even better, look for an honest site for your needs.

  15. I strongly recommend stay away from this platform. My personal experience with it has been purely frustration as well as concerns regarding fraudulent activities. Be extremely cautious, or better yet, find a trustworthy site to fulfill your requirements.

  16. I highly advise steer clear of this site. My own encounter with it was only frustration as well as concerns regarding scamming practices. Proceed with extreme caution, or better yet, find a more reputable site for your needs.

  17. I urge you to avoid this site. The experience I had with it has been only dismay as well as suspicion of deceptive behavior. Be extremely cautious, or even better, look for a more reputable service to meet your needs.

  18. I urge you stay away from this site. The experience I had with it was only frustration and doubts about deceptive behavior. Exercise extreme caution, or better yet, find a more reputable site to meet your needs.

  19. I urge you to avoid this platform. My own encounter with it was nothing but frustration along with suspicion of fraudulent activities. Proceed with extreme caution, or even better, find a trustworthy service to fulfill your requirements.

  20. I highly advise steer clear of this platform. My own encounter with it has been nothing but dismay and concerns regarding fraudulent activities. Proceed with extreme caution, or even better, find a trustworthy platform for your needs.

  21. I strongly recommend stay away from this site. My own encounter with it was purely disappointment as well as doubts about fraudulent activities. Proceed with extreme caution, or even better, seek out a trustworthy service to meet your needs.

Leave a Reply

Your email address will not be published. Required fields are marked *