Yandex Tawarkan Platform Latih 'Machine Learning' Bahasa yang Interaktif
JAKARTA, Investortrust.id - Yandex, sebuah perusahaan teknologi global, baru-baru ini meluncurkan YaFSDP, sebuah metode open-source untuk melatih model machine learning bahasa atau LLM (Large Language Model) yang memungkinkan AI generatif untuk berinteraksi dengan pengguna secara real-time.
Saat ini, YaFSDP merupakan metode paling efektif dalam melatih LLM dibanding metode Fully Sharded Data Parallel (FSDP) lainnya yang tersedia di publik karena mampu meningkatkan efektivitas komunikasi graphics processing unit (GPU) dan mengurangi penggunaan memori.
FSDP merupakan metode pelatihan LLM yang menggunakan sejumlah unit processing untuk mengolah data secara paralel. Dengan YaFSDP, kecepatan bisa ditingkatkan hingga 26% dibandingkan dengan FSDP biasa, tergantung pada arsitektur dan jumlah parameter.
Sehingga, waktu pelatihan untuk LLM bisa dikurangi sekaligus menghemat penggunaan sumber daya GPU hingga 20%.
Sebagai bagian dari komitmennya untuk berkontribusi pada komunitas artificial intelligence (AI) global, Yandex membuat YaFSDP tersedia untuk umum bagi para pengembang LLM dan penggemar AI di seluruh dunia.
Baca Juga
YandexART, Tawarkan Jaringan Syaraf Tiruan untuk Hasilkan Gambar
“Saat ini, kami secara aktif bereksperimen dengan berbagai model arsitektur dan ukuran parameter untuk memperluas manfaat dari YaFSDP,” kata Mikhail Khruschev, Senior Developer Yandex dan Tim YaFSDP dalam pernyataan yang diterima Rabu (12/6/2024).
“Kami sangat senang bisa berbagi perkembangan terbaru dalam pelatihan LLM dengan komunitas machine learning (ML) global. Besar harapan kami ini bisa berkontribusi pada peningkatan aksesibilitas dan efisiensi bagi para peneliti dan pengembang AI generatif di seluruh dunia,” jelas Mikhail.
Dipaparkan Mikhail, saat ini engineer atau insinyur serta peneliti Indonesia sedang fokus pada pengembangan LLM untuk penggunaan di sektor publik, administrasi pemerintahan dan pertahanan, termasuk sektor keuangan dan asuransi.
Kementerian Komunikasi and Informatika telah bekerja sama dengan AI Singapore, sebuah program nasional Pemerintah Singapura dalam pengembangan AI, untuk membuat LLM open-source dalam Bahasa Indonesia. Di sektor keuangan, pelaku industri perbankan telah menggunakan LLM untuk penyelenggaraan layanan chatbot dalam Bahasa Indonesia dan bahkan sejumlah bahasa daerah agar bisa meningkatkan kualitas customer service, marketing dan sales.
YaFSDP dibuat dengan tujuan untuk mendukung engineer atau insinyur dan peneliti Indonesia dalam upaya mempercepat pengembangan kegunaan LLM dengan menyediakan metode open-source yang bisa meningkatkan optimalisasi pemanfaatan jaringan, mengurangi beban memori sekaligus menurunkan biaya pelatihan LLM melalui pengurangan kebutuhan sumber daya komputasi.