Add news
News Every Day |

Small language models: 10 Breakthrough Technologies 2025

WHO

Allen Institute for Artificial Intelligence, Anthropic, Google, Meta, Microsoft, OpenAI

WHEN

Now

Make no mistake: Size matters in the AI world. When OpenAI launched GPT-3 back in 2020, it was the largest language model ever built. The firm showed that supersizing this type of model was enough to send performance through the roof. That kicked off a technology boom that has been sustained by bigger models ever since. As Noam Brown, a research scientist at OpenAI, told an audience at TEDAI San Francisco in October, “The incredible progress in AI over the past five years can be summarized in one word: scale.”

But as the marginal gains for new high-end models trail off, researchers are figuring out how to do more with less. For certain tasks, smaller models that are trained on more focused data sets can now perform just as well as larger ones—if not better. That’s a boon for businesses eager to deploy AI in a handful of specific ways. You don’t need the entire internet in your model if you’re making the same kind of request again and again. 

Most big tech firms now boast fun-size versions of their flagship models for this purpose: OpenAI offers both GPT-4o and GPT-4o mini; Google DeepMind has Gemini Ultra and Gemini Nano; and Anthropic’s Claude 3 comes in three flavors: outsize Opus, midsize Sonnet, and tiny Haiku. Microsoft is pioneering a range of small language models called Phi.

A growing number of smaller companies offer small models as well. The AI startup Writer claims that its latest language model matches the performance of the largest top-tier models on many key metrics despite in some cases having just a 20th as many parameters (the values that get calculated during training and determine how a model behaves). 

Smaller models are more efficient, making them quicker to train and run. That’s good news for anyone wanting a more affordable on-ramp. And it could be good for the climate, too: Because smaller models work with a fraction of the computer oomph required by their giant cousins, they burn less energy. 

These small models also travel well: They can run right in our pockets, without needing to send requests to the cloud. Small is the next big thing.

Москва

Суд арестовал активы Чубайса и ещё семи человек более чем на 5,6 млрд руб

Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this

UFC on ESPN 65: Best photos from Las Vegas

The Ashton Jeanty Bears Smoke Just Got Even Thicker

Darts star leaks World Championship payslip as he reveals long list of ‘deductions’ left him with just £5,200 winnings

UFC on ESPN 65 video: Rhys McKee blows up Daniel Frunza's face for doctor's stoppage TKO

Ria.city
Реклама
  • ИП Попов А.П.
  • ИНН: 602715631406
Ревматолог: "5 апреля 2024 в г.Колумбус запущена квота"

Каждый человек с больными суставами имеет право получить...






Реклама
  • ИП Попов А.П.
  • ИНН: 602715631406
Ревматолог: "5 апреля 2024 в г.Колумбус запущена квота"

Каждый человек с больными суставами имеет право получить...


Реклама
  • ИП Попов А.П.
  • ИНН: 602715631406
Ревматолог: "5 апреля 2024 в г.Колумбус запущена квота"

Каждый человек с больными суставами имеет право получить...

Read also

Is Kyle Schwarber at first base still a thing?

Janibek breaks Ngamissengue in five

Milan’s vision for the future: Serie A giant’s president singles out Christian Pulisic as key pillar – But where do Rafael Leao and Santiago Gimenez stand?

News, articles, comments, with a minute-by-minute update, now on Today24.pro

News Every Day

The Ashton Jeanty Bears Smoke Just Got Even Thicker

Today24.pro — latest news 24/7. You can add your news instantly now — here


News Every Day

The Ashton Jeanty Bears Smoke Just Got Even Thicker



Sports today


Новости тенниса
Александр Зверев

Александр Зверев назвал отсутствие отдыха после AO-2025 причиной своего спада



Спорт в России и мире
Москва

Сергей Семак о давлении: "Зенит" делает всё возможное в юбилейный год



All sports news today





Sports in Russia today

Москва

Гол Соболева помог "Зениту" избежать поражения в матче РПЛ против "Локомотива"


Новости России

Game News

Months before Schedule 1 was a Steam top seller, its solo dev was worried he was 'kneecapping' himself by not putting 'drug' in the title


Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this

Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this

Реклама
The most beautiful beach towns with cheap living

A huge number of people around the world dream of one day breaking out of the daily routine

Russian.city

Реклама
The most beautiful beach towns with cheap living

A huge number of people around the world dream of one day breaking out of the daily routine


Москва

Удивительная история 91-летнего путешественника Прохорова, который покоряет мир


Губернаторы России
РПЛ

Соболев забил в РПЛ впервые за год! Но главный герой «Зенита» в игре с «Локо» — Глушенков


Когда слово объединяет: ГПМ Радио приглашает на «Тотальный диктант»

Московский Экономический Форум: главное

С днем Космонавтики

Строительный кран рухнул на бетономешалку в Москве


Zivert красовалась в футболке «Локо», а Соболев забивал дебютный гол за «Зенит». Яркие фото с матча на «РЖД Арене»

Александр Розенбаум зарегистрирует фразы из своих песен как товарные знаки

Linkin Park решили вернуться в Россию

Linkin Park регистрирует товарный знак в России для музыки и моды


Винус Уильямс впервые за 30 лет осталась без рейтинга WTA

Медведев сыграет с Хачановым в первом круге турнира ATP в Монте-Карло

12-е место в мировом рейтинге WTA, нелюбовь к России и нетрадиционная ориентация Касаткиной

Александр Зверев назвал отсутствие отдыха после AO-2025 причиной своего спада


Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this


На крыше Российской государственной библиотеки в Москве провели вскрытие из-за тления

В Москве на Лесной улице загорелся жилой дом, перекрыто движение

В Москве строительный кран упал на бетономешалку вместе с водителем внутри

Гол Соболева помог "Зениту" избежать поражения в матче РПЛ против "Локомотива"


В Google изложили план разработки безопасного ИИ человеческого уровня

Суд в Москве наложил арест на денежные средства Чубайса и еще семи человек

Суд подтвердил 6 лет заключения пилоту SSJ100 после трагедии в Шереметьево

Никоненко заявил об отказе играть с Михаилом Ефремовым, выходящим по УДО


В Госдуме предложили запретить продавать алкоголь в выходные. Хамзаев сослался на опыт Якутии

Брат президента Сирии станет главой канцелярии Республиканского дворца

Суд арестовал у Чубайса и семи топ-менеджеров "Роснано" 5,6 млрд рублей

Строительный кран рухнул на бетономешалку в Москве


Реклама
The most beautiful beach towns with cheap living

A huge number of people around the world dream of one day breaking out of the daily routine


Путин в России и мире
Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this



Реклама
Top 6 nutrition questions men should ask themselves after 40

To maintain health and remain full of energy, men will be helped by this



Реклама
The most beautiful beach towns with cheap living

A huge number of people around the world dream of one day breaking out of the daily routine



Реклама
The most beautiful beach towns with cheap living

A huge number of people around the world dream of one day breaking out of the daily routine

Персональные новости Russian.city
Гнесинка

При падении машины с парковки в Москве погибла преподаватель Гнесинки Бойцова



News Every Day

UFC on ESPN 65 video: Rhys McKee blows up Daniel Frunza's face for doctor's stoppage TKO




Friends of Today24

Музыкальные новости

Персональные новости