Google DeepMind kondigde juli 2024 de release aan van de 2 miljard (2B) parameter versie van Gemma 2, de tweede generatie van zijn Gemma AI-modellen. Gemma werd voor het eerst gelanceerd in februari van dit jaar en is een familie van lichte, tekst-naar-tekst open modellen, ontworpen voor ontwikkelaars en onderzoekers. Deze modellen zijn gebouwd op de technologie die Google Gemini aandrijft.
DeepMind bracht in juni Gemma 2 uit in twee verschillende groottes: 9 miljard (9B) en 27 miljard (27B) parameters.
Volgens DeepMind leert het nieuwe 2B-model van grotere modellen door middel van distillatie en levert het buitengewoon goede resultaten op. Het bedrijf beweert ook dat dit model beter presteert dan alle GPT-3.5-modellen op de LMSYS Chatbot Arena-ranglijst.
Kern van EU-technologie
Gemma 2 2B kan draaien op een breed scala aan hardware, van laptops tot edge-apparaten en cloudimplementaties met Vertex AI en Google Kubernetes Engine (GKE). Bovendien is het klein genoeg om te draaien op de gratis versie van de NVIDIA T4 deep learning accelerator. Google:
However, interpretability researchers face a key problem: the model’s activations are a mixture of many different features. In the early days of mechanistic interpretability, researchers hoped that features in a neural network’s activations would line up with individual neurons, i.e., nodes of information. But unfortunately, in practice, neurons are active for many unrelated features. This means that there is no obvious way to tell which features are part of the activation.
ShieldGemma en Gemma Scope
DeepMind introduceert ook twee nieuwe toevoegingen aan de modelreeks: ShieldGemma en Gemma Scope. ShieldGemma is een reeks veiligheidsclassificeerders die zijn ontworpen om schadelijke inhoud in AI-modelinvoer en -uitvoer te detecteren en te modereren. Het omvat verschillende groottes en richt zich op haatzaaien, intimidatie, seksueel expliciete inhoud en gevaarlijke inhoud. GemmaScope richt zich op transparantie. Het gereedschap bestaat uit een verzameling van sparse autoencoders (SAE’s). Dit zijn gespecialiseerde neurale netwerken die de complexe interne werking van de Gemma 2-modellen ontrafelen en een beter begrijpelijk format bieden van hoe deze modellen informatie verwerken en beslissingen nemen.
Er zijn meer dan 400 gratis beschikbare SAE’s die alle lagen van Gemma 2 2B en 9B bestrijken. Het doel is om onderzoekers in staat te stellen meer transparante en betrouwbare AI-systemen te creëren.
Vanaf nu kunnen ontwikkelaars en onderzoekers Gemma 2 2B downloaden van Kaggle, Hugging Face en Vertex AI Model Garden, of het uitproberen in Google AI Studio. ShieldGemma en Gemma Scope zijn hier en hier beschikbaar.