Klasifikasi Sentimen terhadap Layanan BPJS Menggunakan Model Hybrid IndoBERT dan Random Forest

Steven Ciam; Erwin Panjaitan

doi:10.30865/json.v7i2.9321

Authors

Steven Ciam Universitas Mikroskil
Erwin Panjaitan Universitas Mikroskil

DOI:

https://doi.org/10.30865/json.v7i2.9321

Keywords:

Analisis Sentimen, IndoBERT, Transfer Learning, Random Forest, Layanan Publik Digital, klasifikasi teks

Abstract

Analisis sentimen terhadap opini publik di media sosial merupakan alat yang krusial bagi penyedia layanan seperti BPJS Kesehatan untuk mengevaluasi kualitas layanannya. Pendekatan yang akurat seperti fine-tuning model transformer IndoBERT seringkali terkendala oleh kebutuhan sumber daya komputasi yang tinggi. Penelitian ini membandingkan dua pendekatan berbasis IndoBERT: fine-tuning end-to-end dan transfer learning dengan ekstraksi fitur yang diklasifikasikan menggunakan Random Forest (RF). Eksperimen menggunakan 3.059 komentar berbahasa Indonesia terkait layanan BPJS yang telah dilabeli. Hasilnya menunjukkan bahwa model hybrid IndoBERT + RF secara signifikan mengungguli model fine-tuning secara keseluruhan. Model hybrid mencapai akurasi 98% dan F1-score tertimbang 0,98, dibandingkan dengan model fine-tuning yang hanya mencapai 92% dan 0,92. Selain itu, model hybrid menunjukkan peningkatan kinerja yang mencolok pada kelas minoritas (netral dan positif) serta jauh lebih efisien dalam waktu komputasi, dengan waktu pelatihan dan evaluasi hanya 33 detik berbanding 206 detik pada model end-to-end. Temuan ini membuktikan bahwa strategi transfer learning ringan berbasis IndoBERT tidak hanya mempertahankan akurasi tinggi tetapi juga menawarkan efisiensi sumber daya yang luar biasa, sehingga menjadi solusi yang sangat layak untuk implementasi sistem pemantauan opini publik di institusi dengan infrastruktur terbatas.

References

A. Rolangon, A. Weku, and G. A. Sandag, “Perbandingan Algoritma LSTM Untuk Analisis Sentimen Pengguna Twitter Terhadap Layanan Rumah Sakit Saat Pandemi Covid-19,” TeIKa, vol. 13, no. 01, pp. 31–40, May 2023, doi: 10.36342/teika.v13i01.3063.

Y. Kornitasari, L. J. Sura, and D. N. A. M. Dewi, “How cybercrime sentiment shapes mobile banking adoption in Islamic banking,” J. Ekon. Keuang. Islam, vol. 10, no. 2, pp. 217–232, Jul. 2024, doi: 10.20885/JEKI.vol10.iss2.art6.

M. S. Alam, M. S. H. Mrida, and M. A. Rahman, “Sentiment Analysis in Social Media: How Data Science Impacts Public Opinion Knowledge Integrates Natural Language Processing (Nlp) With Artificial Intelligence (Ai),” Am. J. Sch. Res. Innov., vol. 4, no. 1, pp. 63–100, 2025, doi: 10.63125/r3sq6p80.

T. Masiya and S. Lubinga, “The Influence of Social Media on the Transparency and Accountability of the South African Public Sector,” Stud. Media Commun., vol. 11, no. 7, pp. 42–56, 2023, doi: 10.11114/SMC.V11I7.6151.

A. F. Hidayatullah, R. A. Apong, D. T. C. Lai, and A. Qazi, “Pre-trained language model for code-mixed text in Indonesian, Javanese, and English using transformer,” Soc. Netw. Anal. Min., vol. 15, no. 1, 2025, doi: 10.1007/s13278-025-01444-9.

L. Geni, E. Yulianti, and D. I. Sensuse, “Sentiment Analysis of Tweets Before the 2024 Elections in Indonesia Using IndoBERT Language Models,” J. Ilm. Tek. Elektro Komput. dan Inform., vol. 9, no. 3, pp. 746–757, 2023, doi: 10.26555/jiteki.v9i3.26490.

A. F. Hidayatullah, “Code-Mixed Sentiment Analysis on Indonesian-Javanese-English Text Using Transformer Models,” 2024 8th Int. Conf. Inf. Technol. Inf. Syst. Electr. Eng. ICITISEE 2024, no. August, pp. 340–345, 2024, doi: 10.1109/ICITISEE63424.2024.10730138.

R. I. Perwira, V. A. Permadi, D. I. Purnamasari, and R. P. Agusdin, “Domain-Specific Fine-Tuning of IndoBERT for Aspect-Based Sentiment Analysis in Indonesian Travel User-Generated Content,” J. Inf. Syst. Eng. Bus. Intell., vol. 11, no. 1, pp. 30–40, 2025, doi: 10.20473/jisebi.11.1.30-40.

M. I. Sari and L. H. Suadaa, “Study of the Application of Text Augmentation with Paraphrasing to Overcome Imbalanced Data in Indonesian Text Classification,” J. Online Inform., vol. 10, no. 1, pp. 132–142, Apr. 2025, doi: 10.15575/join.v10i1.1472.

W. Wongso, H. Lucky, and D. Suhartono, “Pre-trained transformer-based language models for Sundanese,” J. Big Data, vol. 9, no. 1, p. 39, Dec. 2022, doi: 10.1186/s40537-022-00590-7.

N. Crosley and I. Wasito, “Improving IT Support Efficiency Using AI-Driven Ticket Random Forest Classification Technique,” Sinkron, vol. 8, no. 4, pp. 2283–2293, 2023, doi: 10.33395/sinkron.v8i4.12925.

N. Jalal, A. Mehmood, G. S. Choi, and I. Ashraf, “A novel improved random forest for text classification using feature ranking and optimal number of trees,” J. King Saud Univ. - Comput. Inf. Sci., vol. 34, no. 6, pp. 2733–2742, 2022, doi: 10.1016/j.jksuci.2022.03.012.

B. N. Pikir, M. K. Anam, H. Asnal, Rahmaddeni, T. A. Fitri, and Hamdani, “Sentiment Analysis of Technology Utilization by Pekanbaru City Government Based on Community Interaction in Social Media,” JAIA - J. Artif. Intell. Appl., vol. 2, no. 1, pp. 32–40, 2021, doi: 10.33372/jaia.v2i1.795.

O. Alqaryouti, N. Siyam, A. Abdel Monem, and K. Shaalan, “Aspect-based sentiment analysis using smart government review data,” Appl. Comput. Informatics, vol. 20, no. 1–2, pp. 142–161, 2024, doi: 10.1016/j.aci.2019.11.003.

A. Elhan, M. K. D. Hardhienata, Y. Herdiyeni, S. H. Wijaya, and J. Adisantoso, “Analisis Sentimen Pengguna Twitter terhadap Vaksinasi COVID-19 di Indonesia menggunakan Algoritme Random Forest dan BERT,” J. Ilmu Komput. dan Agri-Informatika, vol. 9, no. 2, pp. 199–211, Nov. 2022, doi: 10.29244/jika.9.2.199-211.

A. Jazuli, Widowati, and R. Kusumaningrum, “Aspect-based sentiment analysis on student reviews using the Indo-Bert base model,” E3S Web Conf., vol. 448, pp. 1–10, 2023, doi: 10.1051/e3sconf/202344802004.