U strojnom učenju, perceptron je nadzirani algoritam učenja za binarne klasifikatore. Često se naziva i perceptron. Binarni klasifikator je funkcija koja može odlučiti pripada li ulaz, predstavljen vektorom brojeva, nekoj određenoj klasi. Ovo je vrsta linearnog klasifikatora, odnosno klasifikacijski algoritam koji svoje predviđanje čini na temelju funkcije linearnog prediktora koja kombinira skup pondera s vektorom značajki.
Posljednjih godina, umjetne neuronske mreže privukle su pozornost zbog napretka u dubokom učenju. Ali što je umjetna neuronska mreža i od čega se sastoji?
Upoznajte Perceptron
U ovom članku ćemo kratko pogledati umjetne neuronske mreže općenito, zatim pogledati jedan neuron i na kraju (ovo je dio kodiranja) uzet ćemo najosnovniju verziju umjetne neurona, perceptrona, i klasificirati njegove točke uavion.
Jeste li se ikada zapitali zašto postoje zadaci koji su tako laki za bilo koju osobu, ali nevjerojatno teški za računala? Umjetne neuronske mreže (skraćeno ANN) inspirirane su ljudskim središnjim živčanim sustavom. Kao i njihov biološki kolega, ANN su izgrađeni na jednostavnim elementima za obradu signala koji su kombinirani u veliku mrežu.
Neuralne mreže moraju naučiti
Za razliku od tradicionalnih algoritama, neuronske mreže ne mogu se "programirati" ili "podesiti" da rade kako je predviđeno. Baš kao i ljudski mozak, oni moraju naučiti izvršiti zadatak. Grubo govoreći, postoje tri strategije učenja.
Može se koristiti najlakši način ako postoji testni slučaj (dovoljno velik) s poznatim rezultatima. Zatim trening ide ovako: obraditi jedan skup podataka. Usporedite rezultat s poznatim rezultatom. Postavite mrežu i pokušajte ponovno. Ovo je strategija učenja koju ćemo ovdje koristiti.
Učenje bez nadzora
Korisno ako nema dostupnih testnih podataka i ako je moguće izvesti neku funkciju troškova iz željenog ponašanja. Funkcija troškova govori neuronskoj mreži koliko je udaljena od cilja. Mreža tada može prilagoditi svoje parametre u hodu, radeći sa stvarnim podacima.
Pojačano učenje
Metoda "mrkve i štapa". Može se koristiti ako neuronska mreža generira kontinuirano djelovanje. S vremenom, mreža uči preferirati ispravne radnje i izbjegavati pogrešne.
U redu, sada znamo nešto o tomeprirode umjetnih neuronskih mreža, ali od čega su točno napravljene? Što ćemo vidjeti ako otvorimo poklopac i pogledamo unutra?
Neuroni su građevni blokovi neuronskih mreža. Glavna komponenta svake umjetne neuronske mreže je umjetni neuron. Ne samo da su nazvani po svojim biološkim kolegama, već su također modelirani prema ponašanju neurona u našem mozgu.
Biologija vs tehnologija
Baš kao što biološki neuron ima dendrite za primanje signala, tijelo stanice koje ih obrađuje i akson koji šalje signale drugim neuronima, umjetni neuron ima više ulaznih kanala, stupanj obrade i jedan izlaz koji može granati na mnoge druge. umjetni neuroni.
Možemo li učiniti nešto korisno s jednim perceptronom? Postoji klasa problema koje jedan perceptron može riješiti. Razmotrite ulazni vektor kao koordinate točke. Za vektor s n-elementima, ova točka će živjeti u n-dimenzionalnom prostoru. Kako bismo pojednostavili život (i kod ispod), pretpostavimo da je 2D. Kao komad papira.
Zamislite da nacrtamo neke nasumične točke na ovoj ravnini i podijelimo ih u dva niza crtajući ravnu liniju preko papira. Ova linija dijeli točke u dva skupa, jedan iznad i jedan ispod linije. Tada se dva skupa nazivaju linearno odvojivi.
Jedan perceptron, koliko god se činio jednostavnim, može znati gdje se nalazi ova linija, a kada završi trening, može odrediti je li određena točka iznad ili ispod ove linije.
Povijestizumi
Algoritam za ovu metodu izumio je 1957. godine u Cornell Aviation Laboratory Frank Rosenblatt (često nazvan po njemu), financiran od strane američkog Ureda za pomorska istraživanja. Perceptron je trebao biti stroj, a ne program, i iako je njegova prva implementacija bila u softveru za IBM 704, kasnije je implementiran na hardveru izrađenom po narudžbi kao "Mark 1 Perceptron". Ovaj stroj je dizajniran za prepoznavanje slika: imao je niz od 400 fotoćelija nasumično povezanih s neuronima. Utezi su kodirani potenciometrima, a ažuriranje težine tijekom treninga vršili su električni motori.
Na tiskovnoj konferenciji koju je organizirala američka mornarica 1958., Rosenblatt je dao izjave o perceptronu koji je izazvao žestoku raspravu među mladom AI zajednicom; na temelju Rosenblattovih tvrdnji, New York Times je objavio da je perceptron "embrionalno elektroničko računalo za koje mornarica očekuje da će moći hodati, govoriti, vidjeti, pisati, reproducirati se i biti svjestan njegovog postojanja."
Daljnji razvoj
Iako se perceptron u početku činio obećavajućim, brzo se pokazalo da se perceptroni ne mogu uvježbati da prepoznaju mnoge klase uzoraka. To je dovelo do stagnacije u polju istraživanja s perceptron neuronskim mrežama dugi niz godina prije nego što je prepoznato da neuronska mreža s dva ili više slojeva (također se nazivavišeslojni perceptron) imao je mnogo veću procesorsku snagu od jednoslojnih perceptrona (koji se također nazivaju jednoslojni perceptroni). Jednoslojni perceptron može proučavati samo linearno odvojive strukture. Godine 1969. poznata knjiga "Perceptrons" Marvina Minskyja i Seymoura Paperta pokazala je da ove klase mreža ne mogu naučiti funkciju XOR. Međutim, to se ne odnosi na funkcije nelinearne klasifikacije koje se mogu koristiti u jednoslojnom perceptronu.
Upotreba takvih funkcija proširuje mogućnosti perceptrona, uključujući implementaciju funkcije XOR. Često se pretpostavlja (netočno) da su također pretpostavili da bi sličan rezultat vrijedio i za višeslojnu perceptronsku mrežu. Međutim, to nije slučaj, budući da su i Minsky i Papert već znali da su višeslojni perceptroni sposobni proizvesti funkciju XOR. Tri godine kasnije, Steven Grossberg je objavio niz radova u kojima su predstavljene mreže sposobne za modeliranje diferencijalnih funkcija, funkcija poboljšanja kontrasta i XOR funkcija.
Djela su objavljena 1972. i 1973. godine. Međutim, često zanemareni tekst Minsky/Papert izazvao je značajan pad interesa i financiranja istraživanja s perceptronom neuronske mreže. Prošlo je još deset godina prije nego što je istraživanje neuronskih mreža oživljeno 1980-ih.
Značajke
Perceptron kernel algoritam su predstavili 1964. Yzerman i sur. Mori i Rostamizadeh (2013.), koji proširuju prethodne rezultate i daju nove granice L1.
Perceptron je pojednostavljeni model biološkog neurona. Iako je složenost bioloških neuronskih modela često potrebna za potpuno razumijevanje neuralnog ponašanja, istraživanja pokazuju da linearni model sličan perceptronu može inducirati neka ponašanja koja se vide u stvarnim neuronima.
Perceptron je linearni klasifikator, tako da nikada neće doći u stanje sa svim ulaznim vektorima ispravno klasificiranim ako skup za obuku D nije linearno odvojiv, tj. ako se pozitivni primjeri ne mogu odvojiti od negativnih primjera hiperravninom. U ovom slučaju, niti jedno "približno" rješenje neće korak po korak kroz standardni algoritam učenja, umjesto toga učenje će u potpunosti propasti. Stoga, ako linearna odvojivost skupa za vježbanje nije poznata a priori, treba koristiti jednu od dolje navedenih opcija treninga.
Džepni algoritam
Pocket algoritam rješava problem otpornosti učenja perceptrona zadržavajući najbolje rješenje do sada pronađeno "u džepu". Pocket algoritam tada vraća rješenje u džep, a ne posljednje rješenje. Također se može koristiti za nerazdvojive skupove podataka gdje je cilj pronaći perceptron s nekoliko pogrešnih klasifikacija. Međutim, ova rješenja izgledaju stohastično i stoga im džepni algoritam ne odgovara.postupno tijekom treninga i nije zajamčeno da će biti otkriveni tijekom određenog broja koraka treninga.
Maxover algoritam
Maxoverov algoritam je "robustan" u smislu da će konvergirati bez obzira na znanje o linearnoj odvojivosti skupa podataka. U slučaju linearnog dijeljenja, to će riješiti problem učenja, po želji čak i uz optimalnu stabilnost (maksimalna razlika između razreda). Za skupove podataka koji se ne mogu odvojiti, bit će vraćeno rješenje s malim brojem pogrešnih klasifikacija. U svim slučajevima algoritam se postupno približava rješenju tijekom procesa učenja, bez pamćenja prethodnih stanja i bez slučajnih skokova. Konvergencija leži u globalnoj optimalnosti za dijeljene skupove podataka i lokalnoj optimalnosti za nerazdvojive skupove podataka.
Glasani Perceptron
Algoritam Voted Perceptron je varijanta koja koristi više ponderiranih perceptrona. Algoritam pokreće novi perceptron svaki put kada je primjer pogrešno klasificiran, inicijalizirajući vektor težine konačnim težinama posljednjeg perceptrona. Svaki perceptron će također dobiti različitu težinu koja odgovara broju primjera koji su ispravno klasificirali prije nego što pogrešno klasificiraju jedan, a na kraju će rezultat biti ponderirani glas za cijeli perceptron.
Prijava
U odvojivim problemima, trening perceptrona također može biti usmjeren na pronalaženje najveće granice razdvajanja između klasa. TakozvaniOptimalni perceptron stabilnosti može se odrediti korištenjem iterativnog treninga i optimizacijskih shema kao što su Min-Over ili AdaTron algoritam. AdaTron iskorištava činjenicu da je odgovarajući problem kvadratne optimizacije konveksan. Optimalni perceptron stabilnosti, zajedno s trikom kernela, konceptualna je osnova stroja za vektor podrške.
Alternativa
Drugi način rješavanja nelinearnih problema bez korištenja više slojeva je korištenje mreža višeg reda (sigma-pi blok). U ovoj vrsti mreže svaki element ulaznog vektora proširuje se svakom parnom kombinacijom pomnoženih ulaza (drugi red). To se može proširiti na mrežu n-reda. Perceptron je vrlo fleksibilna stvar.
Međutim, zapamtite da najbolji klasifikator nije nužno onaj koji točno klasificira sve podatke o treningu. Doista, ako smo imali prethodno ograničenje da podaci dolaze iz Gaussovih distribucija jednakih varijanti, linearni podjel u ulaznom prostoru je optimalan, a nelinearno rješenje je poništeno.
Ostali algoritmi linearne klasifikacije uključuju Winnow, vektor podrške i logističku regresiju. Perceptron je univerzalni skup algoritama.
Glavni opseg za učenje pod nadzorom
Učenje pod nadzorom zadatak je strojnog učenja koji uči funkciju koja preslikava ulaz na izlazna temelju primjera I/O parova. Oni zaključuju značajku iz označenih podataka o treningu koji se sastoje od skupa primjera. U nadziranom učenju, svaki primjer je par koji se sastoji od ulaznog objekta (obično vektora) i željene izlazne vrijednosti (koja se također naziva kontrolni signal).
Algoritam nadziranog učenja analizira podatke o obuci i proizvodi procijenjenu funkciju koja se može koristiti za prikaz novih primjera. Optimalni scenarij bi omogućio algoritmu da ispravno odredi oznake klasa za nevidljive instance. To zahtijeva da algoritam učenja generalizira podatke učenja na nevidljive situacije na "razuman" način.
Paralelni zadatak u psihologiji ljudi i životinja često se naziva konceptualnim učenjem.
