March 2010 April 2010 May 2010 June 2010 July 2010
August 2010
September 2010 October 2010 November 2010 December 2010 January 2011 February 2011 March 2011 April 2011 May 2011 June 2011 July 2011 August 2011 September 2011 October 2011 November 2011 December 2011 January 2012 February 2012 March 2012 April 2012 May 2012 June 2012 July 2012 August 2012 September 2012 October 2012 November 2012 December 2012 January 2013 February 2013 March 2013 April 2013 May 2013 June 2013 July 2013 August 2013 September 2013 October 2013 November 2013 December 2013 January 2014 February 2014 March 2014 April 2014 May 2014 June 2014 July 2014 August 2014 September 2014 October 2014 November 2014 December 2014 January 2015 February 2015 March 2015 April 2015 May 2015 June 2015 July 2015 August 2015 September 2015 October 2015 November 2015 December 2015 January 2016 February 2016 March 2016 April 2016 May 2016 June 2016 July 2016 August 2016 September 2016 October 2016 November 2016 December 2016 January 2017 February 2017 March 2017 April 2017 May 2017 June 2017 July 2017 August 2017 September 2017 October 2017 November 2017 December 2017 January 2018 February 2018 March 2018 April 2018 May 2018 June 2018 July 2018 August 2018 September 2018 October 2018 November 2018 December 2018 January 2019 February 2019 March 2019 April 2019 May 2019 June 2019 July 2019 August 2019 September 2019 October 2019 November 2019 December 2019 January 2020 February 2020 March 2020 April 2020 May 2020 June 2020 July 2020 August 2020 September 2020 October 2020 November 2020 December 2020 January 2021 February 2021 March 2021 April 2021 May 2021 June 2021 July 2021 August 2021 September 2021 October 2021 November 2021 December 2021 January 2022 February 2022 March 2022 April 2022 May 2022 June 2022 July 2022 August 2022 September 2022 October 2022 November 2022 December 2022 January 2023 February 2023 March 2023 April 2023 May 2023 June 2023 July 2023 August 2023 September 2023 October 2023 November 2023 December 2023 January 2024 February 2024 March 2024 April 2024 May 2024 June 2024 July 2024 August 2024 September 2024 October 2024 November 2024 December 2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
23
24
25
26
27
28
29
30
31
News Every Day |

AI-generated images can teach robots how to act

Generative AI models can produce images in response to prompts within seconds, and they’ve recently been used for everything from highlighting their own inherent bias to preserving precious memories.

Now, researchers from Stephen James’s Robot Learning Lab in London are using image-generating AI models for a new purpose: creating training data for robots. They’ve developed a new system, called Genima, that fine-tunes the image-generating AI model Stable Diffusion to draw robots’ movements, helping guide them both in simulations and in the real world. The research is due to be presented at the Conference on Robot Learning (CoRL) next month.

The system could make it easier to train different types of robots to complete tasks—machines ranging from mechanical arms to humanoid robots and driverless cars. It could also help make AI web agents, a next generation of AI tools that can carry out complex tasks with little supervision, better at scrolling and clicking, says Mohit Shridhar, a research scientist specializing in robotic manipulation, who worked on the project.

“You can use image-generation systems to do almost all the things that you can do in robotics,” he says. “We wanted to see if we could take all these amazing things that are happening in diffusion and use them for robotics problems.” 

To teach a robot to complete a task, researchers normally train a neural network on an image of what’s in front of the robot. The network then spits out an output in a different format—the coordinates required to move forward, for example. 

Genima’s approach is different because both its input and output are images, which is easier for the machines to learn from, says Ivan Kapelyukh, a PhD student at Imperial College London, who specializes in robot learning but wasn’t involved in this research.

“It’s also really great for users, because you can see where your robot will move and what it’s going to do. It makes it kind of more interpretable, and means that if you’re actually going to deploy this, you could see before your robot went through a wall or something,” he says. 

Genima works by tapping into Stable Diffusion’s ability to recognize patterns (knowing what a mug looks like because it’s been trained on images of mugs, for example) and then turning the model into a kind of agent—a decision-making system.

MOHIT SHRIDHAR, YAT LONG (RICHIE) LO, STEPHEN JAMES ROBOT LEARNING LAB

First, the researchers fine-tuned stable Diffusion to let them overlay data from robot sensors onto images captured by its cameras. 

The system renders the desired action, like opening a box, hanging up a scarf, or picking up a notebook, into a series of colored spheres on top of the image. These spheres tell the robot where its joint should move one second in the future.

The second part of the process converts these spheres into actions. The team achieved this by using another neural network, called ACT, which is mapped on the same data. Then they used Genima to complete 25 simulations and nine real-world manipulation tasks using a robot arm. The average success rate was 50% and 64%, respectively.

Although these success rates aren’t particularly high, Shridhar and the team are optimistic that the robot’s speed and accuracy can improve. They’re particularly interested in applying Genima to video-generation AI models, which could help a robot predict a sequence of future actions instead of just one. 

The research could be particularly useful for training home robots to fold laundry, close drawers, and other domestic tasks. However, its generalized approach means it’s not limited to a specific kind of machine, says Zoey Chen, a PhD student at the University of Washington, who has also previously used Stable Diffusion to generate training data for robots but was not involved in this study. 

“This is a really exciting new direction,” she says. “I think this can be a general way to train data for all kinds of robots.”

Архангельск

Ворваться в Новый год на новом автомобиле

Ghana's Supreme Court clears path for anti-LGBT law amid human rights concerns

News24 | Melanie Judge | From apartheid to equality: SA's role in advancing LGBTQI rights in a polarised world

Anmolpreet Singh smashes fastest List A hundred by an Indian

France's Macron visits cyclone-devastated Mayotte as residents plead for aid

Ria.city






Read also

The 9 Baseball Positions: A Complete Guide - Numbers, Body Types, Skills & More

'Known open drug use' spots lead to 13 arrests in Portland

AI field dominated by many Indians in academia and industry: Washington State University professor Partha Pande

News, articles, comments, with a minute-by-minute update, now on Today24.pro

News Every Day

Anmolpreet Singh smashes fastest List A hundred by an Indian

Today24.pro — latest news 24/7. You can add your news instantly now — here


News Every Day

Ghana's Supreme Court clears path for anti-LGBT law amid human rights concerns



Sports today


Новости тенниса
Australian Open

Лучший теннисист Эстонии чудом прошел на турнир первого Большого шлема



Спорт в России и мире
Москва

Еще один подрыв петарды совершен в ТЦ «Гелиос» в Королеве



All sports news today





Sports in Russia today

Москва

«Нефтехимик» смог вылететь в Москву на матч с ЦСКА


Новости России

Game News

Состоялся региональный релиз футбольного симулятора Football Eleven: Be A Pro на iOS и Android


Russian.city


Москва

В домах по программе реновации поставят лифты местного производства


Губернаторы России
МТС

МТС построила внутреннюю телеком инфраструктуру для концертной площадки Premio в Нижнем Новгороде


HR-специалист Бунина: увеличить отпуска можно за счет отгулов за работу в выходные

Омск получил звание «Культурная столица года – 2026»

РОСГВАРДЕЕЦ ИЗ КАЛУГИ СТАЛ УЧАСТНИКОМ ФЕСТИВАЛЯ «КУЛЬТУРА ПОБЕДЫ»

ЯНИС ТИММА И ГЕНЕРАЛ ИГОРЬ КИРИЛЛОВ. НАЙДУТ ЛИ ХИМОРУЖИЕ? СОВПАДЕНИЕ? ОРУДИЕ? СЕНСАЦИЯ. СОС, SOS. ОЧЕНЬ ВАЖНЫЕ НОВОСТИ. Россия, США, Европа могут улучшить отношения и здоровье общества?!


«Булгаков и Рио-де-Жанейро»: Бутман о бразильском дебюте и переделках классики

Большой театр открыл продажу январских билетов на «Щелкунчика» 

Гарик Сукачев: если не остановимся, то завтра в РФ и Моцарта запретят

«Это должно было перерасти во что-то большее». Демис Карибидис сделал предложение Марине Кравец на сцене Comedy Club


Мирра Андреева и Арина Соболенко разгромили Бадосу и Швентек

«4:6,0:6». Тюкавин пошутил над совместной фотографией с Янником Синнером

Спортсмены и рекламные ролики: Джокович в пасти у крокодила, а Овечкин — доставщик пиццы

Анна Калинская снялась для обложки журнала Harper’s Bazaar и попросила не спрашивать её о романе с Янником Синнером



Рилсмейкер. Услуги Рилсмейкера. Рилсмейкер в Москве.

Омск получил звание «Культурная столица года – 2026»

Частная клиника Москвы выставила многомиллионный счет сыну умершей пациентки

Омск получил звание «Культурная столица года – 2026»


«Динамо» Москва — «Адмирал» — 4:2. Видеообзор матча КХЛ

«Это безобразие»: Путин пообещал навести порядок в ипотечных программах

Военнослужащие Росгвардии завоевали две серебряные медали на международном турнире «Кубок Владимира Сальникова»

Певица МакSим и юные вокалисты из Школы искусств исполнили новогодний трек вместе с главным героем мультсериала «Детектив Финник»


ТАСС: в Москве и Подмосковье за день 21 декабря произошло более 10 поджогов

Главный диетолог Минздрава призвал отказаться от крепкого алкоголя на Новый год

Экс- замминистра просвещения РФ Дениса Грибова задержали в аэропорту Москвы

Глава СКР Бастрыкин поручил возбудить дело по факту истязания детей в Адыгее



Путин в России и мире






Персональные новости Russian.city
Жанна Бичевская

Жанна Бичевская: Я была и осталась Жанкой-хулиганкой!



News Every Day

Ghana's Supreme Court clears path for anti-LGBT law amid human rights concerns




Friends of Today24

Музыкальные новости

Персональные новости