Whitepaper Companion Podcast - Foundational LLMs & Text Generation

Introduktion till Stora Språkmodeller

Vad är stora språkmodeller (LLMs)?

• Välkomna alla till dagens djupdykning i stora språkmodeller (LLMs) och deras textgenerering. Dessa modeller förändrar hur vi skriver kod och berättelser.

• Målet för dagens diskussion är att förstå kärnan i LLMs, deras uppbyggnad, evolution och inlärning samt hur vi mäter deras effektivitet.

Transformerarkitekturen

• Grunden för moderna LLMs är Transformerarkitekturen, som ursprungligen utvecklades av Google för språköversättning 2017.

• Transformern använder en encoder-decoder-struktur där encodern skapar en representation av ingångssatsen, medan decodern genererar utdata steg för steg.

Inre Arbete i Transformerlagren

Tokenisering och inmatning

• Texten måste förberedas genom att omvandlas till tokens baserat på modellens ordförråd. Varje token blir en densitetsvektor kallad embedding som fångar dess betydelse.

• Transformers bearbetar alla tokens samtidigt, vilket kräver positionskodning för att bevara ordens ordning i meningen.

Självuppmärksamhet

• Multi-head attention är centralt; det låter modellen identifiera relationer mellan ord genom att skapa query-, key- och value-vektorer.

• Queryn frågar vilka andra ord som är viktiga, keys fungerar som etiketter och values bär informationen från varje ord.

Beräkningar och Normalisering

Beräkningsprocessen

• Modellen beräknar poäng för hur väl varje query matchar med keys, normaliserar dessa poäng till uppmärksamhetsvikter som avgör hur mycket varje ord ska fokusera på andra.

• Den parallella bearbetningen av relationer gör Transformers effektiva på att fånga subtila betydelser i språket.

Lagernormalisering och Residualkopplingar

• Lagernormalisering håller aktivitetsnivån stabil inom lagren vilket snabbar upp träningen och ger bättre resultat.

• Residualkopplingar fungerar som genvägar inom nätverket så att tidigare indata kan läggas direkt till utdata, vilket hjälper modellen att minnas tidigare lärdomar.

Feed Forward-lager

Avslutande tankar om arkitekturen

• Efter självuppmärksamheten appliceras ett feed forward-nätverk på varje tokens representation separat, vilket fullbordar processen efter all uppmärksamhet har utförts.

Förståelse av Transformer-arkitektur och dess utveckling

Grundläggande komponenter i Transformer-modeller

• Transformer-modeller innehåller vanligtvis två linjära transformationer med en icke-linjär aktiveringsfunktion, som ReLU eller GELU, vilket ökar modellens förmåga att representera information.

• Nyare språkmodeller (LLMs) använder ofta enbart dekodermodellen, vilket förenklar textgenerering genom att hoppa över encoder-steget och generera utdata token för token.

Maskerad självuppmärksamhet

• Dekodermodeller använder en speciell typ av självuppmärksamhet kallad maskerad självuppmärksamhet, vilket säkerställer att modellen endast ser tidigare tokens när den förutspår nästa token.

Effektivisering genom Mixture of Experts (MoE)

• MoE är en metod för att göra stora modeller mer effektiva utan att de blir långsamma. Den använder specialiserade submodeller (experter) som aktiveras baserat på indata.

• En "gating network" avgör vilka experter som ska användas för varje specifik uppgift, vilket gör det möjligt att använda bara en liten del av modellens parametrar vid behov.

Utvecklingen av LLM:er över tid

• Den första Transformer-papperet ledde till GPT-1 från OpenAI 2018, som var en dekoder-enbart modell tränad på ett stort dataset kallat BooksCorpus.

• GPT-1 hade begränsningar såsom repetitiv text och svårigheter med längre konversationer men markerade ändå ett viktigt steg framåt.

Jämförelse mellan GPT och BERT

• BERT introducerades av Google samma år och fokuserade på språkförståelse snarare än textgenerering. Det tränades på uppgifter relaterade till språkmodellering och nästa mening-förutsägning.

Framsteg med GPT-modellerna

• GPT-2 lanserades 2019 med mycket större datamängder från WebText och fler parametrar, vilket resulterade i bättre koherens och kapacitet för zero-shot learning.

Stora språng i LLM-teknologi

• Från 2020 fortsatte utvecklingen med GPT-3-familjen som nådde 175 miljarder parametrar. Modellen blev bättre på few-shot learning och kunde hantera instruktioner effektivare.

Multimodalitet och avancerad AI

• Med lanseringen av modeller som GPT 4 blev multimodalitet möjlig, där både bilder och text kunde bearbetas tillsammans.

Konkurrens inom AI-utveckling

• Google presenterade Lambda 2021, designad specifikt för naturliga samtal medan DeepMind introducerade Gopher samma år med fokus på högkvalitativ träning.

Utmaningar i storlek vs. prestanda

• Gopher visade att större modeller inte alltid ger bättre resultat; vissa uppgifter kräver olika angreppssätt snarare än bara fler parametrar.

Effektivisering genom Jam-modellen

• Jam använde MoE-konceptet för att förbättra hastigheten hos stora modeller utan att kompromissa med prestandan jämfört med tätare modeller som GPT-3.

Utvecklingen av AI-modeller och deras prestanda

Stora framsteg inom AI-modellering

• Det finns en 70 miljarder parameter modell som överträffar större modeller genom att träna på stora datamängder, vilket förändrar synen på skalning.

• Google släppte Palm och Palm 2; Palm imponerade med sin prestanda tack vare Googles pathway-system för effektiv skalning.

• Gemini, den senaste modellen från Google, är multimodal och kan hantera text, bilder, ljud och video. Den är optimerad för snabb körning på tensor processing units (TPUs).

Olika storlekar av Gemini-modeller

• Gemini-modellerna kommer i olika storlekar: ultra, pro, nano och flash för olika behov. Gemini 1.5 Pro har en massiv kontextfönsterkapacitet som kan hantera miljontals tokens.

Öppen källkod och tillgänglighet

• Gemma och Gemma 2 släpptes av Google 2024 som kraftfulla öppna modeller baserade på Gemini-forskningen. En version med två miljarder parametrar kan köras på en enda GPU.

• Meta's Llama-serie har varit inflytelserik med förbättringar inom områden som resonemang och säkerhet; Llama 3 inkluderar flerspråkiga funktioner.

Nya teknologier inom AI

• Mistal AI:s Mixol använder en sparsam blandning av experter där endast två är aktiva åt gången, vilket gör den effektiv för matematik och flerspråkiga uppgifter.

• OpenAI:s modeller fokuserar på komplext resonemang; Deep Seek arbetar med nya förstärkningsinlärningstekniker för att förbättra resonemang.

Träningsmetoder för LLM

• Grundläggande transformerarkitektur används i alla dessa modeller men kräver finjustering för specifika uppgifter.

• Träningen involverar två steg: först pre-träning med stora mängder rådata utan etiketter för att lära sig språkets grundmönster.

Finjusteringens roll

• Efter pre-träning finjusteras modellen med ett mindre dataset specifikt anpassat till uppgiften, vilket gör den expert inom sitt område.

• Supervised fine-tuning (SFT), där modellen tränas på märkta exempel, hjälper till att forma dess beteende.

Förstärkningsinlärning från mänsklig feedback

• Reinforcement learning from human feedback (RHF) används för att justera modellens svar så de blir mer mänskliga; detta innebär att skapa en belöningsmodell baserad på mänskliga preferenser.

• Genom att rangordna svar från modellen lär sig den generera mer önskvärda svar enligt vad människor föredrar.

Optimisering av DPO och finjustering av modeller

Finjustering av stora modeller

• Att finjustera stora modeller är kostsamt, vilket leder till utvecklingen av effektiva metoder för att anpassa dem utan att behöva träna om hela modellen.

• Parameter-effektiv finjustering (PFT) fokuserar på att träna en liten del av modellen medan de flesta förtränade vikterna förblir oförändrade, vilket gör processen snabbare och billigare.

Exempel på PFT-tekniker

• Adapter-baserad finjustering innebär att små moduler, kallade adaptrar, läggs till i modellen där endast parametrarna inom dessa adaptrar tränas.

• Low Rank Adaptation (LoRA) använder lågrankmatriser för att approximera förändringar som skulle göras under fullständig finjustering, vilket minskar antalet parametrar som behöver tränas.

• Cura liknar LoRA men är mer effektiv genom användning av kvantiserade vikter. Soft prompting lär sig en liten vektor som hjälper modellen utan att ändra originalvikterna.

Effektiv användning av finjusterade modeller

• Prompt engineering är avgörande för hur man utformar indata till modellen för att få önskad output; det kan påverka kvaliteten och relevansen kraftigt.

• Vanliga tekniker inkluderar zero-shot prompting (direkt instruktion utan exempel), few-shot prompting (några exempel ges), och Chain of Thought prompting (visar steg-för-steg-tänkande).

Samplingstekniker

• Olika samplingstekniker påverkar textgenereringen; greedy search väljer alltid den mest sannolika nästa token men kan leda till repetitivitet.

• Random sampling introducerar mer slumpmässighet vilket kan ge mer kreativa resultat men också nonsensartad text. Temperaturparametern justerar denna slumpmässighet.

Utvärdering av modellens prestanda

• Utvärdering av LLM:er skiljer sig från traditionella maskininlärningsuppgifter; det handlar om subjektiv bedömning snarare än tydliga rätt eller fel svar.

• En bra utvärderingsram bör vara mångfacetterad och inkludera data designad specifikt för uppgiften samt verkliga användarinteraktioner.

Metoder för utvärdering

• Traditionella kvantitativa metoder används fortfarande, såsom jämförelse med sanna svar via metrik som BLEU eller ROUGE, men dessa fångar inte alltid språkets nyanser.

• Mänsklig utvärdering ger mer nyanserade bedömningar gällande flytthet och sammanhang, även om det är tidskrävande och kostnadsintensivt. AI-användning har ökat i detta område.

Effektiv utvärdering av AI-modeller

Introduktion till aeratorer

• Aeratorer används för att ge en bedömning av modeller baserat på uppgifter, utvärderingskriterier och genererade svar. De ger ofta ett betyg med en motivering.

• Det är viktigt att kalibrera aeratorerna genom att jämföra deras bedömningar med mänskliga bedömningar för att säkerställa att de mäter det som avses.

Avancerade metoder för utvärdering

• Mer avancerade metoder utvecklas, såsom nedbrytning av uppgifter i deluppgifter och användning av rubriker med flera kriterier för mer tolkningsbara utvärderingar.

• Utvärdering är komplex men avgörande för att säkerställa modellernas tillförlitlighet och användbarhet i praktiken.

Tekniker för att snabba upp inferensprocessen

• Stora modeller blir långsammare och dyrare, vilket gör optimering av inferens viktig, särskilt där hastighet är kritisk.

• Tekniker kan kategoriseras i två grupper: output approximating (som ändrar resultatet något för effektivitet) och output preserving (som behåller resultatet men optimerar beräkningen).

Output Approximating Metoder

• Kvantisering minskar numerisk precision genom att använda färre bitar, vilket sparar minne och ökar hastigheten med minimal noggrannhetsförlust.

• Distillation innebär träning av en mindre modell som imiterar en större modell, vilket resulterar i snabbare och mer effektiva lösningar.

Output Preserving Metoder

• Flash attention optimerar självuppmärksamhetsberäkningar utan att förändra resultaten, vilket förbättrar effektiviteten.

• Prefix caching sparar tid vid repetitiva delar av indata genom att cacha tidigare beräknade resultat.

Speculativ dekodering och allmänna optimeringstekniker

• Speculativ dekodering använder en snabbare modell för att förutsäga framtida token, vilket kan snabba upp dekodningsprocessen om den är korrekt.

• Batching och parallellisering möjliggör bearbetning av flera begärningar samtidigt eller delning av beräkningar över flera processorer.

Praktiska tillämpningar

• Användningen av stora språkmodeller (LLMs) växer snabbt inom områden som kodgenerering, maskinöversättning och textsammanfattning.

Utvecklingen av LLM och deras Tillämpningar

Förbättrade Konversationsförmågor

• Tekniker som RX chatbots blir mer människoliknande i sina konversationer, vilket möjliggör mer dynamiska och intressanta dialoger.

• Innehållsskapande transformeras med hjälp av LLM (Large Language Models), som används för att skriva annonser, manus och olika kreativa textformat.

Nya Användningsområden för Textanalys

• Textklassificering blir mer exakt, vilket är användbart för spamdetektion, nyhetskategorisering och förståelse av kundfeedback.

• LLM används även för att utvärdera andra LLM, vilket fungerar som en form av "aerator" inom textanalys.

Multimodala Kapabiliteter

• Multimodala LLM möjliggör nya kategorier av applikationer där text, bilder, ljud och video kombineras.

• Dessa teknologier används inom kreativ innehållsskapande, utbildning, assistanssystem och vetenskaplig forskning.

Sammanfattning av Forskningen

• Diskussionen har täckt grundläggande byggstenar i Transformerarkitekturen samt utvecklingen av olika LLM-modeller.

• Det har också diskuterats om finjusteringstekniker och metoder för att göra modellerna snabbare och effektivare.

Framtida Utsikter

• Framstegen inom detta område har varit anmärkningsvärda och det verkar som om innovationerna bara accelererar.

• Frågor ställs kring vilka nya tillämpningar nästa generation av LLM kan möjliggöra samt vilka utmaningar som behöver övervinnas.