Zero‑shot learning

Zero‑shot learning (z ang. zero‑shot learning, w skrócie ZSL) to metoda w uczeniu maszynowym, która umożliwia modelom rozpoznawanie lub klasyfikowanie obiektów, klas lub zadań, które nie pojawiły się w zestawie treningowym. W przeciwieństwie do tradycyjnych technik, które wymagają dużej liczby przykładów dla każdej klasy, ZSL opiera się na transferze wiedzy z wcześniej poznanych pojęć przy użyciu opisów semantycznych, atrybutów lub reprezentacji językowych.

Definicja

Zero‑shot learning polega na tym, że po wytrenowaniu modelu na pewnym zbiorze klas źródłowych (klasy źródłowe), model jest w stanie przeprowadzić predykcję na klasach docelowych (klasy docelowe), które nie były dostępne podczas treningu. Do tego celu wykorzystywane są:

atrybuty semantyczne (np. „ma cztery nogi”, „żyje w wodzie”);
reprezentacje wektorowe z modeli językowych (np. Word2Vec, BERT);
opisy tekstowe lub hierarchie taksonomiczne (np. WordNet).

Zasada działania

Typowy przepływ ZSL składa się z trzech etapów:

Ekstrakcja cech – przy użyciu sieci neuronowych (często architektury transformer) wydobywa się reprezentację danych wejściowych (np. obrazu, dźwięku).
Mapowanie do przestrzeni semantycznej – zarówno cechy obrazu, jak i opisane atrybuty klas są osadzane w tej samej przestrzeni wektorowej, co umożliwia porównywanie ich odległości.
Klasyfikacja – przy pomocy miary podobieństwa (np. kosinusowej) wybierana jest klasa docelowa, której opis jest najbliższy wektorowi reprezentującemu dany przykład.

Historia

Pierwsze prace nad zero‑shot learning pojawiły się w połowie lat 2010 w kontekście rozpoznawania obiektów w obrazach. Jeden z przełomowych artykułów, “Zero‑Shot Learning through Cross‑modal Transfer” (Lampert, Nickisch, Harmeling, 2009), wprowadził ideę mapowania cech wizualnych na atrybuty semantyczne. Od tego czasu metoda znalazła zastosowanie w wielu dziedzinach, w tym w przetwarzaniu języka naturalnego, robotyce i bioinformatyce.

Zastosowania

Rozpoznawanie obrazów – klasyfikacja rzadko występujących gatunków zwierząt czy roślin, które nie zostały uwzględnione w zbiorze treningowym.
Analiza tekstu – klasyfikacja nowych tematów w systemach analizy sentymentu lub wykrywanie nieznanych intencji w chatbotach.
Robotyka – umożliwienie robotom rozumienia i wykonywania poleceń opisanych słowami, które nie występowały podczas ich szkolenia.
Systemy rekomendacyjne – proponowanie produktów, które nie były wcześniej oceniane przez użytkownika, na podstawie opisów ich cech.

Powiązane podejścia

Zero‑shot learning jest ściśle powiązane z następującymi koncepcjami:

Transfer learning – wykorzystanie wiedzy zdobytej na jednym zadaniu do przyspieszenia uczenia na innym.
Few‑shot learning – uczenie przy bardzo małej liczbie przykładów (zwykle od kilku do kilkunastu).
Meta‑uczenie – uczenie modeli, które potrafią szybko adaptować się do nowych zadań.
Uczenie wzmacniające w połączeniu z opisami semantycznymi, tzw. zero‑reward learning.

Wyzwania i ograniczenia

Pomimo sukcesów, ZSL napotyka na szereg problemów:

Jakość atrybutów – nieprecyzyjne lub niekompletne opisy semantyczne mogą prowadzić do błędnych klasyfikacji.
Przestrzeń semantyczna – trudności w znalezieniu uniwersalnej reprezentacji, która dobrze oddaje zarówno cechy wizualne, jak i lingwistyczne.
Bias modelu – modele mogą faworyzować klasy, które są lepiej opisane w danych treningowych, co prowadzi do nierównomiernych wyników.
Skalowalność – przy bardzo dużej liczbie klas docelowych rośnie koszt obliczeniowy porównywania wektorów.

Perspektywy rozwoju

Wraz z rosnącą popularnością dużych modeli językowych (np. GPT‑4, BERT) oraz uczenia multimodalnego, prognozuje się dalsze zwiększenie skuteczności ZSL, zwłaszcza w zadaniach wymagających rozumienia związku pomiędzy tekstem, obrazem a dźwiękiem. Badacze pracują również nad metodami self‑supervised oraz prompt‑based, które mogą jeszcze bardziej zredukować potrzebę ręcznych opisów semantycznych.

Bibliografia

Lampert, C. H., Nickisch, H., & Harmeling, S. (2009). Zero‑Shot Learning through Cross‑modal Transfer. IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
Frome, A. et al. (2013). DeViSE: A Deep Visual‑Semantic Embedding Model. Advances in Neural Information Processing Systems.
Xian, Y. et al. (2018). Zero‑Shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly. IEEE Transactions on Pattern Analysis and Machine Intelligence.
Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. OpenAI.