Small Language Models (SLM): AI Offline di Laptop & Smartphone

Dunia teknologi kini sedang mengalami pergeseran paradigma dari obsesi terhadap model AI raksasa menuju model yang lebih ringkas dan efisien.  Tren Small Language Models (SLM) kini menjadi fokus utama perusahaan teknologi global, menawarkan solusi cerdas yang tidak membebani infrastruktur maupun dompet.

Apa Itu Small Language Models (SLMs)?

SLM adalah versi ringkas dari model bahasa besar (LLM) yang memiliki jumlah parameter jauh lebih sedikit, biasanya berkisar antara beberapa juta hingga beberapa miliar, berbeda dengan LLM yang memiliki ratusan miliar parameter.

Meskipun ukurannya lebih kecil, SLM dirancang untuk tugas-tugas spesifik dengan akurasi tinggi, seringkali dilatih menggunakan teknik penyulingan pengetahuan dari model yang lebih besar.

Mengapa Perusahaan Beralih ke SLM?

Berikut adalah alasan utama mengapa raksasa teknologi dan perusahaan beralih ke model ini:

1. Efisiensi Energi dan Biaya Infrastruktur 

Large Language Model (LLM) atau Model Bahasa Besar dikenal sangat boros sumber daya, membutuhkan kluster GPU masif dan konsumsi listrik yang setara dengan ribuan rumah tangga.  

Sebaliknya, SLM dapat memangkas konsumsi daya hingga 60-80% dibandingkan model penuh, menjadikannya pilihan yang jauh lebih ramah lingkungan dan berkelanjutan untuk pusat data.

Karena membutuhkan perangkat keras yang lebih sederhana, SLM memungkinkan perusahaan untuk menerapkan AI dengan biaya operasional yang jauh lebih rendah.

2. Kemampuan Edge AI: Berjalan di Laptop dan HP 

Salah satu keunggulan terbesar SLM adalah kemampuannya untuk berjalan secara lokal di perangkat pengguna (on-device), seperti smartphone atau laptop, tanpa memerlukan koneksi internet ke cloud.  

Hal ini dimungkinkan karena SLM membutuhkan memori 75% lebih sedikit dan menawarkan kecepatan inferensi 2 hingga 5 kali lebih cepat dibandingkan model yang bergantung pada cloud.

3. Privasi dan Keamanan Data

Dengan memproses data secara lokal di perangkat, SLM menghilangkan risiko yang terkait dengan pengiriman data sensitif atau pribadi ke server eksternal.  Pendekatan ini sangat krusial bagi industri yang diatur ketat seperti kesehatan dan keuangan, di mana kerahasiaan data adalah prioritas utama.

Pemain Utama dalam Tren SLM

Beberapa model kecil yang telah membuktikan bahwa ukuran bukanlah segalanya meliputi:

• Microsoft Phi-3:  Model ini dirancang untuk berjalan di ponsel namun memiliki kemampuan penalaran linguistik yang mampu menyaingi model sebesar ChatGPT (GPT-3.5) dalam tolok ukur tertentu.

• Google Gemma 2:  Varian model terbuka dari Google yang dibangun dengan teknologi yang sama dengan Gemini, menawarkan performa tinggi dalam paket yang ringan (mulai dari 2 miliar parameter).

• Mistral 7B:  Model ini terkenal karena efisiensinya, di mana ia mampu mengungguli model Llama 2 13B (yang ukurannya hampir dua kali lipat) di semua tolok ukur standar.

• Apple OpenELM:  Model sumber terbuka yang dioptimalkan secara spesifik untuk berjalan efisien di perangkat Apple seperti iPhone dan Mac, memprioritaskan privasi pengguna.

Masa depan AI tidak lagi hanya tentang siapa yang memiliki model terbesar, tetapi siapa yang bisa menjalankannya dengan paling efisien.  SLM membuka demokratisasi AI, memungkinkannya hadir di saku setiap orang tanpa bergantung pada internet atau server raksasa.