Pengembangan Program Alternatif untuk Proses Konsolidasi Multiple Database Menggunakan Pandas dan MongoDB
DOI:
https://doi.org/10.30865/json.v7i1.8320Keywords:
Loading Data, Konsolidasi, Pandas Library, Database, E-Commerce, AlternatifAbstract
E-Commerce merupakan salah satu bidang bisnis yang sangat besar di Indonesia yang menghasilkan transaksi daring yang besar jumlahnya, sehingga ribuan hingga ratusan ribu data harus dikelola setiap harinya oleh pihak perusahaan melalui proses konsolidasi. Konsolidasi merupakan sebuah proses penggabungan data antar dua database. Perusahaan yang diteliti untuk mengelola proses konsolidasi menggunakan program pihak ketiga bernama Pentaho, namun program ini sering mengalami maintenance sehingga mengganggu proses bisnis yang berjalan. Penelitian ini dilakukan untuk membuat sebuah program alternatif yang dapat digunakan ketika Pentaho mengalami kendala. Program yang dikembangkan memanfaatkan proses loading yang merupakan metode dalam dunia pengelolaan database, dimana data yang dimiliki kemudian dimasukkan ke dalam database tujuan. Pengembangan program ini akan memanfaatkan library python pandas dan database relational serta NoSQL untuk melakukan proses loading dan proses konsolidasi. Penelitian ini akan mencoba menganalisis dan membuat program berjalan dengan lebih efisien dan memberikan pengembangan agar proses loading dan konsolidasi secara keseluruhan dapat menjadi lebih baik. Rata-rata proses loading program hasil pengembangan yang menggunakan database relational menunjukkan peningkatan sekitar 8% atau 20 - 30 detik lebih cepat untuk data berjumlah sekitar 500.000. Pengembangan proses loading menggunakan database NoSQL menunjukkan adanya peningkatan sekitar 6,5 - 9,6% untuk jumlah data yang berkisar dari 20 – 500.000 data. Proses ini juga menunjukkan peningkatan sekitar 17.5% dari program yang digunakan perusahaan sebelumnya untuk proses 500.00 data.
References
M. Elena, “Top! Transaksi E-commerce Capai Rp453,75 Triliun Sepanjang 2023,” Bisnis.com, 2023. https://finansial.bisnis.com/read/20240118/90/1733241/top-transaksi-e-commerce-capai-rp45375-triliun-sepanjang-2023.
V. B. Ramu, “Optimizing Database Performance: Strategies for Efficient Query Execution and Resource Utilization,” Int. J. Comput. Trends Technol., vol. 71, no. 7, pp. 15–21, 2023, doi: 10.14445/22312803/ijctt-v71i7p103.
E. SEUN, G. BABAJIDE, F. TAYE, A. ADERONKE, and B. OLABODE, “Impact of Information Systems on Operational Efficiency: A Comprehensive Analysis,” Indian J. Comput. Sci. Eng., vol. 14, no. 4, pp. 661–673, 2023, doi: 10.21817/indjcse/2023/v14i4/231404013.
H. Krasner, “Cost of Poor Software Quality in the U.S.: A 2022 Report,” CISQ. Bloomsbury Publishing Plc, p. 35, 2022, doi: 10.5040/9781501365287.638.
Y. Aisyah, S. Anwar, and - Samidi, “Pembuatan Data Warehouse secara Berjenjang dari Data Transaksi dengan ETL Script PHP,” Techno.Com, vol. 22, no. 3, pp. 609–621, 2023, doi: 10.33633/tc.v22i3.8084.
D. Andriansyah, “Implementasi Extract-Transform-Load (ETL) Data Warehouse Laporan Harian Pool,” J. Tek. Inform., vol. 8, no. 2, pp. 45–49, 2022, doi: 10.51998/jti.v8i2.486.
T. D. Anggrainy and A. R. Sari, “Implementation of Extract, Transform, Load on Data Warehouse and Business Intelligence Using Pentaho and Tableau to Analyze Sales Performance of Olist Store,” Int. Res. J. Adv. Eng. Sci., vol. 7, no. 2, pp. 368–374, 2022.
I. M. S. Putra and D. K. T. Adhitya Putra, “Rancang Bangun Engine ETL Data Warehouse dengan Menggunakan Bahasa Python,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 3, no. 2, pp. 113–123, 2019, doi: 10.29207/resti.v3i2.872.
I. P. A. E. Pratama and I Komang Wahyu Hadi Permana, “Analisa Pola Penjualan Berbasis Data Warehouse Menggunakan Metode ETL dan OLAP (Studi Kasus: Restoran Khayangan Kuliner),” Tematik, vol. 10, no. 1, pp. 124–130, 2023, doi: 10.38204/tematik.v10i1.1317.
A. R. Chrismanto, A. Wibowo, L. Chrisantyo, and M. N. A. Rini, “Implementasi Feature Driven Development untuk Mempermudah Ekualitas Fitur dan Adaptasi pada Pengembangan Portal Dutatani Web dan Mobile,” JEPIN (Jurnal Edukasi …, vol. 8, no. 1, pp. 62–73, 2022, [Online]. Available: https://jurnal.untan.ac.id/index.php/jepin/article/view/50715%0Ahttps://jurnal.untan.ac.id/index.php/jepin/article/viewFile/50715/75676592891.
I. T. Kusnadi, J. M. Huddin, A. Supiandi, and R. Oktapiani, “Implementasi Feature Driven Development Pada Sistem Informasi Absensi Dan Penggajian (Sisenji) Berbasis Web,” J. Responsif Ris. Sains dan Inform., vol. 6, no. 2, pp. 195–204, 2024, doi: 10.51977/jti.v6i2.1632.
A. Dhaouadi, K. Bousselmi, M. M. Gammoudi, S. Monnet, and S. Hammoudi, “Data Warehousing Process Modeling from Classical Approaches to New Trends: Main Features and Comparisons,” Data, vol. 7, no. 8, p. 113, 2022, doi: 10.3390/data7080113.
N. Zaniewicz and A. Salamo?czyk, “Comparison of MongoDB, Neo4j and ArangoDB databases using the developed data generator for NoSQL databases,” Stud. Informatica. Syst. Inf. Technol., vol. 26, no. 1, pp. 61–72, 2022, doi: 10.34739/si.2022.26.04.
H. A. Mumtahana, “Optimization of Transaction Database Design with MySQL and MongoDB,” SinkrOn, vol. 7, no. 3, pp. 883–890, 2022, doi: 10.33395/sinkron.v7i3.11528.
C. M. Sowandi, I. Leonita, S. Hartanto, P. Arisaputra, and D. David, “Exploring the Effectiveness, Features, and Compatibility of MongoDB and MySQL: A Comprehensive Comparison of NoSQL and Relational Databases,” J. MIND J. | ISSN, vol. 8, no. 2, pp. 217–229, 2023, [Online]. Available: https://doi.org/10.26760/mindjournal.v8i2.217-229.
R. Andreoli, T. Cucinotta, and D. Pedreschi, “RT-MongoDB: A NoSQL Database with Differentiated Performance,” Proceedings of the 11th International Conference on Cloud Computing and Services Science. SCITEPRESS - Science and Technology Publications, pp. 77–86, 2021, doi: 10.5220/0010452400770086.
F. A. Mufarroha, A. F. Haq, A. Maghfiroh, D. R. Anamisa, A. A. Supianto, and A. Jauhari, “Quality Assurance of Academic Websites using Performance Testing Tools,” Tech. Rom. J. Appl. Sci. Technol., vol. 16, pp. 226–233, 2023, doi: 10.47577/technium.v16i.9985.
D. Rasch, “Pressman, R. S.: Software Engineering. Grundkurs für Praktiker. McGraw?Hill Software, Engineering. Hrsg.: Dipl.?Inform. John?Harry Wieken. McGraw?Hill Book Company GmbH, Hamburg 1989. 302 S., DM 63, 55, ISBN 3–89028–163?X,” Biometrical J., vol. 33, no. 3, p. 378, 1991, doi: 10.1002/bimj.4710330333.
D. H. A. Gani, I. K. A. Kadir, A. A. Rahman, and A. M. Yunus, “Electronic Document Management System in Electronic Government Environment,” Proc. 9th Int. Conf. Mark. Retail. (INCOMaR 2023), March 1-2, 2023, Kota Kinabalu, Sabah, Malaysia, vol. 133, p. Dayangku Horiah Awang-597, 2024, doi: 10.15405/epsbs.2024.05.48.
Y. N. Dalimonthe, A. D. Kalifia, and S. Diwandari, “Pemanfaatan API (Application Programming Interface) Untuk Pengembangan Sistem Pelayanan Dinas Kependudukan dan Pencatatan Sipil,” TEKINKOM, vol. 6, no. 2, pp. 760–772, 2023, doi: 10.37600/tekinkom.v6i2.1053.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Joshe Forgaritenzo, Argo Wibowo, Katon Wijana
This work is licensed under a Creative Commons Attribution 4.0 International License.
