Kuusi alueita AI ja koneoppiminen tarkkailemaan tarkkaan

Saadaksesi lisää AI-uutisia ja analyysejä, kirjaudu uutiskirjeeni täällä.

Keinotekoisen älykkyyden määritelmän yleisesti hyväksytyn määritelmän tislauksesta on tullut viime aikoina elvytetty keskustelun aihe. Jotkut ovat muuttaneet AI: n nimellä “kognitiivinen tietojenkäsittely” tai “koneintelligenssi”, kun taas toiset ovat vaihtaneet AI: n väärin “koneoppimiseen”. Tämä johtuu osittain siitä, että AI ei ole yksi tekniikka. Se on tosiasiassa laaja kenttä, joka koostuu monista tieteenaloista, aina robotiikasta koneoppimiseen. AI: n perimmäinen tavoite, useimmat meistä vakuuttavat, on rakentaa koneita, jotka kykenevät suorittamaan tehtäviä ja kognitiivisia toimintoja, jotka ovat muuten vain ihmisen älyn piirissä. Päästäkseen sinne koneiden on voitava oppia nämä ominaisuudet automaattisesti sen sijaan, että jokainen niistä olisi nimenomaisesti ohjelmoitu päästä päähän.

On hämmästyttävää, kuinka paljon edistystä AI-ala on saavuttanut viimeisen 10 vuoden aikana aina autoista autoon puheentunnistukseen ja synteesiin asti. Tätä taustaa vasten AI: stä on tullut keskustelun aihe yhä useammissa yrityksissä ja kotitalouksissa, jotka ovat tulleet näkemään AI: stä tekniikkana, jota ei ole enää 20 vuoden päässä, mutta jotain, joka vaikuttaa heidän elämäänsä tänään. Itse asiassa suositut lehdistötiedotteet AI: stä ovat melkein jokapäiväisiä ja teknologia jättiläiset yksitellen ilmaisevat heidän merkittävän pitkän aikavälin AI-strategiansa. Vaikka useat sijoittajat ja vakiintuneet operaattorit ymmärtävät innokkaasti, kuinka saada arvoa uuteen maailmaan, suurin osa raaputtaa edelleen päätään selvittääkseen, mitä tämä kaikki tarkoittaa. Samaan aikaan hallitukset kamppailevat automaation vaikutuksista yhteiskuntaan (katso Obaman jäähyväispuhe).

Koska AI vaikuttaa koko talouteen, näissä keskusteluissa toimijat edustavat koko aikomusjakaumaa, ymmärtämisen tasoa ja kokemustasoja AI-järjestelmien rakentamisessa tai käyttämisessä. Sellaisenaan on ratkaisevan tärkeää, että AI-keskustelu - mukaan lukien niistä johdetut kysymykset, johtopäätökset ja suositukset - perustuu tietoihin ja todellisuuteen, ei olettamuksiin. On aivan liian helppoa (ja joskus jännittävää!) Ekstrapoloida julkaistun tutkimuksen tai tekniikan lehdistötiedotteiden, spekulatiivisten kommenttien ja ajatuskokeilujen tulosten vaikutukset villinä.

Tässä on kuusi AI-aluetta, jotka ovat erityisen huomionarvoisia kyvyssään vaikuttaa digitaalisten tuotteiden ja palveluiden tulevaisuuteen. Kuvailen mitä ne ovat, miksi ne ovat tärkeitä, miten niitä käytetään nykyään, ja sisällyyn luettelo (ei suinkaan tyhjentävä) yrityksistä ja tutkijoista, jotka työskentelevät näiden tekniikoiden parissa.

 Rekisteröidy täällä, jotta se laskeutuu suoraan postilaatikkoosi.

1. Vahvistusoppiminen (RL)

RL on paradigma oppimiseen kokeilemalla ja erehdyttämällä innoittamalla tavasta, jolla ihmiset oppivat uusia tehtäviä. Tyypillisessä RL-järjestelmässä edustajalle on annettu tehtäväksi tarkkailla sen nykytilaa digitaalisessa ympäristössä ja ryhtyä toimiin, jotka maksimoivat kertyneen pitkäaikaisen palkkion kertymisen. Agentti saa palautetta ympäristöstä kunkin toimenpiteen tuloksena siten, että hän tietää, estäisikö toiminta vai eikö sen etenemistä. Siksi RL-edustajan on tasapainotettava ympäristönsä tutkimusta löytääkseen optimaaliset palkkion kertymisstrategiat parhaan strategian hyödyntämisen kanssa, jonka se on löytänyt halutun tavoitteen saavuttamiseksi. Google DeepMind teki tämän lähestymistavan suosituksi Atari-pelejä ja Go-työtä koskevissa töissä. Esimerkki RL: n työskentelystä todellisessa maailmassa on tehtävä energiatehokkuuden optimointi Google-tietokeskusten jäähdyttämiseksi. Tässä RL-järjestelmä saavutti jäähdytyskustannusten 40%: n alennuksen. Tärkeä natiivi etu RL-agenttien käyttämisessä simuloitavissa ympäristöissä (esim. Videopelit) on, että harjoitustiedot voidaan tuottaa ajoissa ja erittäin alhaisin kustannuksin. Tämä on selvästi vastakohtana ohjattuihin syvän oppimisen tehtäviin, jotka vaativat usein harjoitustietoa, joka on kallista ja vaikeaa hankkia todellisesta maailmasta.

  • Sovellukset: Useat edustajat opiskelevat yhdessä ympäristössä jaetun mallin avulla tai vuorovaikutuksessa ja oppivat toisiltaan samassa ympäristössä, opiskelevat navigoimaan 3D-ympäristöissä, kuten sokkeloissa tai kaupunkikatuilla autonomista ajamista varten, käänteinen vahvistusoppiminen havaittujen käyttäytymisten yhdistämiseksi uudelleen oppimalla tehtävän tavoite (esim. oppiminen ajamaan tai antamaan muille kuin pelaajille tarkoitettuja videopelihahmoja inhimillisellä käyttäytymisellä).
  • Päätutkijat: Pieter Abbeel (OpenAI), David Silver, Nando de Freitas, Raia Hadsell, Marc Bellemare (Google DeepMind), Carl Rasmussen (Cambridge), Rich Sutton (Alberta), John Shawe-Taylor (UCL) ja muut.
  • Yritykset: Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba / Microsoft, NVIDIA, Mobileye, OpenAI.

2. Generatiiviset mallit

Toisin kuin luokittelu- tai regressiotehtävissä käytettävät syrjivät mallit, generatiiviset mallit oppivat todennäköisyysjakauman koulutusesimerkkien yli. Näytteenotolla tästä korkean ulottuvuuden jakaumasta generatiiviset mallit tuottavat uusia esimerkkejä, jotka ovat samanlaisia ​​kuin harjoitustiedot. Tämä tarkoittaa esimerkiksi sitä, että generatiivinen malli, joka on koulutettu todellisiin kasvojen kuviin, voi tuottaa uusia synteettisiä kuvia samanlaisista kasvoista. Lisätietoja näiden mallien toiminnasta on Ian Goodfellowin mahtava NIPS 2016 -oppaassa. Hänen esittelemänsä arkkitehtuurin, generatiivisen kilpailevan verkon (GAN) muodot ovat erityisen kuumia juuri nyt tutkimusmaailmassa, koska ne tarjoavat polun ohjaamattomaan oppimiseen. GAN-verkoissa on kaksi hermoverkkoa: generaattori, joka ottaa satunnaista kohinaa tuloksi ja jonka tehtävänä on syntetisoida sisältöä (esim. Kuva), ja erottelija, joka on oppinut miltä oikeat kuvat näyttävät ja jonka tehtävänä on tunnistaa onko kuvat luotu generaattorin toimesta ovat oikeita tai vääriä. Kielenoppimisharjoittelua voidaan pitää pelinä, jossa generaattorin on jatkuvasti opittava luomaan kuvia melusta siten, että erottelija ei enää pysty erottamaan luomia kuvia oikeista. Tämä kehys on laajennettu koskemaan monia datamuotoja ja tehtäviä.

  • Sovellukset: Simuloi aikasarjan mahdollisia tulevaisuuksia (esim. Tehtävien suunnittelua vahvistusoppimisessa); kuvien superresoluutio; 3D-rakenteen palauttaminen 2D-kuvasta; yleistäminen pienistä merkinnöistä koostuvista aineistoista; tehtävät, joissa yksi tulo voi tuottaa useita oikeita lähtöjä (esim. videon seuraavan kehyksen ennustaminen; luonnollisen kielen luominen keskustelupiireissä (esim. robotit); salaus); puoliohjattu oppiminen, kun kaikkia leimoja ei ole saatavana; taiteellinen tyylin siirto; musiikin syntetisointi ja ääni; kuvan maalaus.
  • Yritykset: Twitter Cortex, Adobe, Apple, Prisma, Jukedeck *, Creative.ai, Gluru *, Mapillary *, Unbabel.
  • Päätutkijat: Ian Goodfellow (OpenAI), Yann LeCun ja Soumith Chintala (Facebook AI Research), Shakir Mohamed ja Aäron van den Oord (Google DeepMind), Alyosha Efros (Berkeley) ja monet muut.

3. Verkot muistin kanssa

Jotta AI-järjestelmät voisivat yleistyä monenlaisissa todellisissa ympäristöissä, kuten mekin, niiden on kyettävä jatkuvasti oppimaan uusia tehtäviä ja muistamaan, kuinka ne kaikki suoritetaan tulevaisuudessa. Perinteiset hermoverkot eivät kuitenkaan tyypillisesti kykene tällaiseen peräkkäiseen tehtävien oppimiseen unohtamatta. Tätä puutetta kutsutaan katastrofaaliseksi unohtamiseksi. Se johtuu siitä, että verkon painot, jotka ovat tärkeitä ratkaista tehtävälle A, muuttuvat, kun verkkoa sittemmin koulutetaan ratkaisemaan tehtävä B.

On kuitenkin useita tehokkaita arkkitehtuureja, jotka voivat antaa hermoverkkoja vaihtelevalla muistiasteella. Niihin kuuluvat pitkän aikavälin muistiverkot (toistuva hermoverkkovariantti), jotka kykenevät käsittelemään ja ennustamaan aikasarjoja, DeepMindin erotettavissa oleva hermosto, joka yhdistää hermoverkot ja muistijärjestelmät oppiakseen ja navigoidakseen monimutkaisilta tietorakenteilta yksinään, elastinen painonvakautusalgoritmi, joka hidastaa oppimista tietyillä painoilla riippuen siitä, kuinka tärkeitä ne ovat aikaisemmin nähtyihin tehtäviin, ja progressiiviset hermoverkot, jotka oppivat sivusuhteita tehtäväkohtaisten mallien välille hyödyllisten ominaisuuksien poimimiseksi aiemmin oppineista verkoista uudelle tehtävälle.

  • Sovellukset: Oppimisagentit, jotka voivat yleistyä uusiin ympäristöihin; robottivarren hallintatehtävät; autonomiset ajoneuvot; aikasarjan ennuste (esim. rahoitusmarkkinat, video, Internet); luonnollinen kielen ymmärtäminen ja seuraavan sanan ennuste.
  • Yritykset: Google DeepMind, NNaisense (?), SwiftKey / Microsoft Research, Facebook AI Research.
  • Päätutkijat: Alex Graves, Raia Hadsell, Koray Kavukcuoglu (Google DeepMind), Jürgen Schmidhuber (IDSIA), Geoffrey Hinton (Google Brain / Toronto), James Weston, Sumit Chopra, Antoine Bordes (FAIR).

4. Opi vähemmän tiedoista ja rakenna pienempiä malleja

Syvän oppimisen mallit ovat merkittäviä vaatiessaan valtavia määriä harjoitustietoja huipputeknologian saavuttamiseksi. Esimerkiksi ImageNet-suuren mittakaavan visuaalisen tunnistuksen haaste, jossa joukkueet haastavat kuvansa tunnistusmallin, sisältää 1,2 miljoonaa harjoituskuvaa, jotka on käsin merkitty 1000 esinekategorialla. Ilman laajamittaista koulutustietoa syväoppimallit eivät lähesty optimaalisia asetuksiaan eivätkä suoriudu hyvin monimutkaisissa tehtävissä, kuten puheentunnistus tai konekäännös. Tämä tietovaatimus kasvaa vain, kun yhtä hermoverkkoa käytetään ongelman ratkaisemiseksi päästä päähän; toisin sanoen ottamalla puheen raakaäänitallenteet puheen syötteenä ja lähettämällä tekstin transkriptiot. Tämä on päinvastoin kuin useiden verkkojen käyttäminen, joista kukin tarjoaa väliehdotuksia (esim. Raa'an puheen äänitulo → foneemit → sanat → tekstin transkriptiulos; tai raa'at pikselit kamerasta, jotka on kartoitettu suoraan ohjauskomentoihin). Jos haluamme, että AI-järjestelmät ratkaisevat tehtävät, joissa koulutustietojen hankkiminen on erityisen haastavaa, kallista, arkaluonteista tai aikaa vievää, on tärkeää kehittää malleja, jotka voivat oppia optimaaliset ratkaisut vähemmän esimerkkeistä (ts. Yhden tai nollakoulutuksen). Pienten tietojoukkojen koulutuksessa haasteisiin sisältyy ylimääräinen asentaminen, poikkeavien käsittelyn vaikeudet, erot tiedon jakamisessa koulutuksen ja testin välillä. Vaihtoehtoinen lähestymistapa on parantaa uuden tehtävän oppimista siirtämällä tietämykselle edellisestä tehtävästä hankittu koneoppimismalli prosessien avulla, joita yhdessä kutsutaan siirto-oppimiseksi.

Aiheeseen liittyvä ongelma on pienempien syvän oppimisen arkkitehtuurien rakentaminen huipputeknisellä suorituskyvyllä käyttämällä samanlaista lukumäärää tai huomattavasti vähemmän parametreja. Edut sisältäisivät tehokkaamman hajautetun koulutuksen, koska tiedot on välitettävä palvelimien välillä, pienempi kaistanleveys uuden mallin viemiseksi pilvestä reunalaitteeseen ja parannettu toteutettavuus rajoitetun muistin omaavien laitteiden käyttöönotossa.

  • Sovellukset: Harjoittele matalia verkkoja oppimalla jäljittelemään syvien verkkojen suorituskykyä, jotka on alun perin koulutettu suurilla, merkinnöillä varustetuilla harjoitustiedoilla; arkkitehtuurit, joissa on vähemmän parametrejä, mutta vastaava suorituskyky kuin syvissä malleissa (esim. SqueezeNet); konekäännös.
  • Yritykset: Geometrinen älykkyys / Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI.
  • Päätutkijat: Zoubin Ghahramani (Cambridge), Yoshua Bengio (Montreal), Josh Tenenbaum (MIT), Brendan Lake (NYU), Oriol Vinyals (Google DeepMind), Sebastian Riedel (UCL).

5. Koulutus- ja päättelylaitteet

Tärkeä katalysaattori AI: n kehityksessä on graafisten prosessointiyksiköiden (GPU) uudelleen sijoittaminen suurten hermoverkkomallien kouluttamiseksi. Toisin kuin keskusyksikkö (CPU), joka laskee peräkkäin, GPU: t tarjoavat massiivisesti yhdensuuntaisen arkkitehtuurin, joka pystyy käsittelemään useita tehtäviä samanaikaisesti. Koska hermoverkkojen on käsiteltävä valtavia määriä (usein korkean ulottuvuuden dataa), GPU: lla harjoittelu on paljon nopeampaa kuin CPU: lla. Siksi GPU: sta on tullut todistusvoimaisesti kultakihkojen lapioita siitä lähtien, kun AlexNet julkaistiin vuonna 2012 - ensimmäinen GPU: lle otettu hermoverkko. NVIDIA johtaa edelleen veloitusta vuoteen 2017, kun se ylittää Intelin, Qualcommin, AMD: n ja viime aikoina Googlen.

GPU-laitteita ei kuitenkaan ole rakennettu tarkoitukseen koulutusta tai päätelmiä varten; ne on luotu tuottamaan grafiikkaa videopeleille. GPU-laitteilla on korkea laskutarkkuus, jota ei aina tarvita, ja ne kärsivät muistin kaistanleveydestä ja tiedonsiirtonopeudesta. Tämä on avannut toimintaedellytykset uudenlaiselle aloittelijoille ja Google-kaltaisten suurten yritysten projekteille suunnitella ja tuottaa piitä erityisesti korkean ulottuvuuden koneoppimissovelluksiin. Uusien sirumallien lupaamat parannukset sisältävät suuremman muistin kaistanleveyden, laskennan graafisissa vektorien (GPU) tai skalaarien (CPU) sijasta, suuremman laskennan tiheyden, tehokkuuden ja suorituskyvyn watteina. Tämä on jännittävää, koska AI-järjestelmät toimittavat omistajilleen ja käyttäjilleen selvästi kiihtyvät palautukset: Nopeampi ja tehokkaampi malliharjoittelu → parempi käyttökokemus → käyttäjä sitoutuu tuotteeseen enemmän → luo suurempia tietojoukkoja → parantaa mallin suorituskykyä optimoinnin avulla. Siten niillä, jotka kykenevät kouluttamaan nopeammin ja ottamaan käyttöön laskennallisesti ja energiatehokkaasti AI-malleja, on merkittävä etu.

  • Sovellukset: Mallien nopeampi koulutus (etenkin graafisilla); energian ja datan tehokkuus ennusteita tehtäessä; AI-järjestelmien käyttäminen reunalla (IoT-laitteet); jatkuvasti kuuntelevat Internet-laitteet; pilviinfrastruktuuri palveluna; autonomiset ajoneuvot, droonit ja robotti.
  • Yritykset: Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex
  • Päätutkijat:?

6. Simulaatioympäristöt

Kuten aiemmin keskusteltiin, koulutustietojen tuottaminen AI-järjestelmille on usein haastavaa. Lisäksi AI: n on yleistettävä moniin tilanteisiin, jos niiden on oltava meille hyödyllisiä todellisessa maailmassa. Sellaisenaan reaalimaailman fysiikkaa ja käyttäytymistä simuloivien digitaalisten ympäristöjen kehittäminen tarjoaa meille testisängyt AI: n yleisen älykkyyden mittaamiseksi ja kouluttamiseksi. Nämä ympäristöt esittävät raa'at pikselit AI: lle, joka sitten ryhtyy toimiin ratkaistakseen asetetut (tai oppineet) tavoitteet. Koulutus näissä simulaatioympäristöissä voi auttaa meitä ymmärtämään, kuinka AI-järjestelmät oppivat, kuinka niitä parantaa, mutta myös tarjota meille malleja, jotka voivat siirtyä reaalimaailman sovelluksiin.

  • Sovellukset: ajamisen oppiminen; valmistus; teollinen muotoilu; pelin kehittäminen; älykkäät kaupungit.
  • Yritykset: Mahdoton, Unity 3D, Microsoft (Minecraft), Google DeepMind / Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard
  • Tutkijat: Andrea Vedaldi (Oxford)

Tilaa uutiskirjeeni, joka kattaa AI-uutiset ja analyysit teknologiamaailmasta, tutkimuslaboratoriosta ja yksityisten / julkisten yritysten markkinoilta.

Tule pysähtymään seuraavaan London.AI-tapaamiseen 3. maaliskuuta kuullaksesi näistä aiheista! Kiitos Alexandre Flamantille todisteen lukemisesta.

Haluaisin kuulla ajatuksesi *. Kommentoi alla tai pingota minua Twitterissä (@nathanbenaich).