Apple Researchers Working on MM1, a Family of Multimodal AI Model With Up to 30 Billion Parameters

[ad_1]

Apple researchers have shared their work on building a multimodal artificial intelligence (AI) large language model (LLM), in a pre-print paper. Published on an online portal on March 14, the paper highlights how it was able to achieve the advanced capabilities of multimodality and make the foundation model train on both text-only data as well as images. The new advancements in AI for the Cupertino-based tech giant come following CEO Tim Cook’s remarks made during the company’s earning calls where he said that AI features could arrive later this year.

The pre-print version of the research paper has been published on arXiv, an open-access online repository of scholarly papers. However, the papers posted here are not peer-reviewed. While the paper itself does not mention Apple, most of the researchers mentioned are affiliated with the company’s machine learning (ML) division, leading to the belief that the project is also affiliated with the iPhone maker.

As per the researchers, they are working on MM1, a family of multimodal models containing up to 30 billion parameters. Calling it a “performant multimodal LLM (MLLM), the authors of the paper highlighted that image encoders, the vision language connector, and other architecture components and data choices were made to create the AI model which is capable of understanding both text as well as image-based inputs.

Giving an example, the paper stated, “We demonstrate that for large-scale multimodal pre-training using a careful mix of image-caption, interleaved image-text, and text-only data is crucial for achieving state-of-the-art (SOTA) few-shot results across multiple benchmarks, compared to other published pre-training results.”

To break it down, the AI model is currently in the pre-training phase, which means it is not trained enough to give the desired outputs. This is the stage when the algorithm and the AI architecture are used to design the workflow of the model and how it processes data, eventually. The team of Apple researchers were able to add computer vision to the model using image encoders and a vision language connector. Then, when testing with a mix of just images, image and text, and text-only data set, the team found that the results were competitive compared to existing models at the same stage.

While the breakthrough is significant, this research paper is not enough to ascertain that a multimodal AI chatbot will be added to Apple’s operating system. At this stage, it is difficult to even say whether the AI model is multimodal while taking inputs or in giving output as well (whether it can generate AI images or not). But if the results are confirmed to be consistent after peer review, it can be said that the tech giant has taken another big step towards building a native generative AI foundation model.


Affiliate links may be automatically generated – see our ethics statement for details.

[ad_2]

Source link

9 thoughts on “Apple Researchers Working on MM1, a Family of Multimodal AI Model With Up to 30 Billion Parameters

  1. Приветствую. Искали где купить реплику наушников Airpods PRO? Качественные беспроводные наушники в Москве. Копия оригинальных AirPods с активным шумоподавлением всего за 2490 рублей. Самые надежные гаджеты по доступным ценам. Доставка по России.

  2. Восторгаемся возможностью анонсировать новейшее обновление приложения от БК Олимп для Android! Ваше взаимодействие со ставками на спорт теперь станет невероятно комфортным благодаря обновленному интерфейсу и оптимизированной работе программы. Скачать Olimp доступное для игроков! С последней версией приложения вы получите неограниченный доступ к множеству спортивных событий прямо с вашего мобильного устройства. Ожидайте новые функции для управления счетом, передовой дизайн для интуитивного использования и значительное улучшение скорости приложения. Присоединитесь счастливых клиентов БК Олимп и наслаждайтесь ставкам где угодно и когда угодно. Установите последнюю версию приложения без промедления и начните выигрывать вместе с Олимп!

  3. С энтузиазмом объявляем о запуске переработанного мобильного приложения БК Олимп для Android устройств! Этот релиз значительно трансформирует ваше опыт с ставками, делая его проще и быстрым. Приложение БК Олимп доступное для игроков! В новой версии приложения пользователи обретут доступ без ограничений к обширному каталогу спортивных соревнований непосредственно со своего устройства. Оптимизированное управление аккаунтом, передовой дизайн для беспрепятственного навигации и повышенная скорость работы приложения – всё это ждет вас. Станьте одним из удовлетворенных пользователей и испытывайте радость от ставок в любом уголке мира и в любой момент. Получите обновление приложения БК Олимп прямо сейчас и начните новый уровень ставок!

  4. 1. Вибір натяжних стель – як правильно обрати?
    2. Топ-5 популярних кольорів натяжних стель
    3. Як зберегти чистоту натяжних стель?
    4. Відгуки про натяжні стелі: плюси та мінуси
    5. Як підібрати дизайн натяжних стель до інтер’єру?
    6. Інноваційні технології у виробництві натяжних стель
    7. Натяжні стелі з фотопечаттю – оригінальне рішення для кухні
    8. Секрети вдалого монтажу натяжних стель
    9. Як зекономити на встановленні натяжних стель?
    10. Лампи для натяжних стель: які вибрати?
    11. Відтінки синього для натяжних стель – ексклюзивний вибір
    12. Якість матеріалів для натяжних стель: що обирати?
    13. Крок за кроком: як самостійно встановити натяжні стелі
    14. Натяжні стелі в дитячу кімнату: безпека та креативність
    15. Як підтримувати тепло у приміщенні за допомогою натяжних стель
    16. Вибір натяжних стель у ванну кімнату: практичні поради
    17. Натяжні стелі зі структурним покриттям – тренд сучасного дизайну
    18. Індивідуальність у кожному домашньому інтер’єрі: натяжні стелі з друком
    19. Як обрати освітлення для натяжних стель: поради фахівця
    20. Можливості дизайну натяжних стель: від класики до мінімалізму
    натяжні стелі купити https://www.natjazhnistelitvhyn.kiev.ua/ .

  5. Подробное руководство
    2. Секреты монтажа гипсокартона: шаг за шагом инструкция
    3. Гипсокартонные конструкции: основные виды и их преимущества
    4. Как сэкономить при покупке гипсокартона: лучшие способы
    5. Простые способы обработки гипсокартона: советы от профессионалов
    6. Интересные идеи использования гипсокартона в интерьере
    7. Все, что вам нужно знать о гипсокартоне: полезная информация
    8. Гипсокартон: обзор популярных брендов и их характеристики
    9. Плюсы и минусы гипсокартона: как правильно выбрать материал
    10. Как сделать ровные стены с помощью гипсокартона: секреты и советы
    11. Гипсокартонные потолки: виды и технологии монтажа
    12. Декорирование гипсокартона: идеи для творческого подхода
    13. Гипсокартон в дизайне интерьера: современные тренды и решения
    14. Преимущества гипсокартона перед другими строительными материалами
    15. Как выбрать правильный инструмент для работы с гипсокартоном
    16. Гипсокартон: надежный материал для обустройства дома
    17. Гипсокартон как элемент декора: необычные способы применения
    18. Технологии монтажа гипсокартона: лучшие практические советы
    19. История и развитие гипсокартона: открытия и достижения
    20. Строительство с использованием гипсокартона: основные этапы и рекомендации
    экструдированный пенополистирол гипсокартон купить москва .

Leave a Reply

Your email address will not be published. Required fields are marked *