SUHARYANTO, AZKA FAIQ (2026) PENGEMBANGAN MODUL VALIDASI PROFIL INSTAGRAM DENGAN PADDLEOCR, DETEKSI AI, DAN REVERSE IMAGE SEARCH. S1 thesis, Universitas Mercu Buana Jakarta.
![[img]](https://repository.mercubuana.ac.id/style/images/fileicons/text.png) |
Text (JURNAL MAHASISWA)
TALK_41522010212_FINAL - Azka Faiq.pdf Restricted to Registered users only Download (948kB) |
Abstract
The increasing prevalence of fake accounts on Instagram has become a significant issue, contributing to fraudulent activities, the dissemination of misleading information, and a decline in user trust within the digital ecosystem. Fake accounts frequently use AI-generated profile pictures or photos stolen from public sources, making detection mechanisms that rely solely on OCR-derived textual features insufficient. This study aims to design and implement a profileimage extraction and validation module for Instagram using PaddleOCR, augmented with three additional layers of visual validation: automatic profilepicture cropping based on Hough Circle Detection, AI-generated image detection using a pre-trained Vision Transformer model, and reverse image search via Google Lens. A quantitative experimental approach is employed, utilizing Instagram profile screenshots as the data source. The pipeline operates in stages: PaddleOCR extracts textual and numerical features (follower count, following count, post count, username characteristics, and bio length); the avatar cropper module isolates the profile picture from the screenshot; the cropped avatar is analyzed to determine whether it was AI-generated; reverse image search verifies whether the profile picture appears on other web sources such as stock-photo sites, AI face generators, or owner platforms. All signals are aggregated into a structured JSON format and forwarded to the downstream classification module (Random Forest and XGBoost) developed by other team members. The system is implemented as a Streamlit-based web application. Experimental results show the avatar cropper achieves a 97.9% success rate (mean IoU 0.84), the AI-detection module reaches an F1-score of 87.0% with 100.0% recall on a balanced 100-image test set, and the multi-signal validation layer attains an F1-score of 56.3% (Precision 67.9%, Recall 48.0%, FPR 24.3%) on a 145-image pilot corpus. This research contributes to the development of adaptive multi-signal data extraction modules that overcome platform-API limitations while supporting improved digital security on social media platforms. Keywords : Instagram fake account, PaddleOCR, avatar cropping, AI-generated image detection, reverse image search, multi-signal image validation Meningkatnya keberadaan akun palsu pada platform Instagram menjadi permasalahan serius yang berdampak pada maraknya penipuan, penyebaran informasi tidak valid, serta berkurangnya tingkat kepercayaan pengguna terhadap lingkungan digital. Akun palsu kerap memanfaatkan foto profil hasil generasi kecerdasan buatan (AI-generated images) atau foto curian dari situs publik, sehingga mekanisme deteksi yang hanya mengandalkan fitur tekstual hasil OCR tidak lagi memadai. Penelitian ini bertujuan merancang dan mengimplementasikan modul ekstraksi dan validasi data citra profil Instagram menggunakan PaddleOCR yang diperkuat dengan tiga lapisan validasi visual tambahan: pemotongan otomatis foto profil (avatar cropping) berbasis Hough Circle Detection, deteksi citra hasil generasi AI menggunakan model Vision Transformer pra-latih, serta penelusuran gambar terbalik (reverse image search) melalui Google Lens. Metode penelitian yang digunakan adalah pendekatan kuantitatif eksperimental dengan sumber data berupa tangkapan layar (screenshot) profil akun Instagram. Informasi visual pada profil diproses melalui pipeline berlapis: PaddleOCR mengekstraksi data tekstual dan numerik (jumlah pengikut, jumlah akun yang diikuti, jumlah unggahan, karakteristik nama pengguna, dan panjang deskripsi bio); modul avatar cropper mengisolasi foto profil dari screenshot; citra avatar dianalisis untuk mendeteksi apakah merupakan hasil generasi AI; serta reverse image search memeriksa apakah foto profil ditemukan di sumber lain seperti situs stok foto, generator wajah AI, atau platform pemilik. Seluruh sinyal yang dihasilkan disusun dalam format JSON terstruktur untuk diteruskan ke modul klasifikasi machine learning (Random Forest dan XGBoost) yang dikembangkan oleh anggota tim lainnya. Sebagai bentuk implementasi, sistem dikembangkan dalam aplikasi berbasis web menggunakan Streamlit. Hasil pengujian menunjukkan modul avatar cropper mencapai success rate 97.9% (IoU rata-rata 0.84), modul deteksi AI mencapai F1-score 87.0% dan Recall 100.0% pada himpunan uji (50 avatar asli dan 50 avatar hasil AI BananaPro), dan lapisan validasi multi-sinyal pada 145 tangkapan layar profil (75 akun palsu, 70 akun asli) mencapai F1-score 56.3% (Precision 67.9%, Recall 48.0%, FPR 24.3%). Ketiga sinyal visual dilaporkan secara terpisah dan bukan digabungkan menjadi satu verdict tunggal, sehingga setiap bukti dapat ditelusuri secara independen oleh peninjau. Penelitian ini berkontribusi pada pengembangan modul ekstraksi data multi-sinyal yang adaptif untuk mengatasi keterbatasan API platform sekaligus mendukung peningkatan keamanan digital pada platform media sosial. Kata kunci: akun palsu Instagram, PaddleOCR, avatar cropping, AI-generated image detection, reverse image search, validasi citra multi-sinyal
| Item Type: | Thesis (S1) |
|---|---|
| NIM/NIDN Creators: | 41522010212 |
| Uncontrolled Keywords: | akun palsu Instagram, PaddleOCR, avatar cropping, AI-generated image detection, reverse image search, validasi citra multi-sinyal |
| Subjects: | 000 Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 000. Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 004 Data Processing, Computer Science/Pemrosesan Data, Ilmu Komputer, Teknik Informatika 000 Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 000. Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 006 Special Computer Methods/Metode Komputer Tertentu > 006.3 Artificial Intelligence/Kecerdasan Buatan |
| Divisions: | Fakultas Ilmu Komputer > Informatika |
| Depositing User: | khalimah |
| Date Deposited: | 02 Sep 2026 06:37 |
| Last Modified: | 02 Sep 2026 06:37 |
| URI: | http://repository.mercubuana.ac.id/id/eprint/103571 |
Actions (login required)
 |
View Item |
