SNBT#

Seleksi Nasional Berbasis Tes, tentunya teman-teman tidak asing bukan? Yap bener banget, SNBT baru aja diluncur beberapa tahun yang lalu. Namun, temen-temen siapa nih yang kemarin sempet lolos SNBT 2024? Selamat ya 😄

SNBT Dumper#

Wait? What is that? SNBT Dumper? Yap, SNBT Dumper merupakan tool sederhana untuk melakukan dumping data dari situs kemendikbud untuk memperoleh data-data siswa siapa saja yang termasuk ke dalam SNBT. Data yang diperoleh, meliputi No. UTBK, Nama, dan Kampus tujuan jika lolos.

What is purpose of SNBT Dumper?#

The purpose of SNBT Dumper adalah untuk menyajikan data historikal secara terbuka dan open-source bagi semuanya yang ingin melihat data SNBT Indonesia. The simply purpose is just “iseng” actually hahaha.

Flow#

Apabila kita merujuk pada situs cek pengumuman SNBT (https://pengumuman-snbt-snpmb.bppp.kemdikbud.go.id/), disini hanya terlihat kolomnya saja bukan? Namun, apabila kita menilik lebih lanjut pada inspect element/sources sambil melakukan input data yang random, kita dapat melihat error 404 pada Networks GYATT!!! We caught the googleapis storage url, terlihat menarik, coba kita kulik lebih dalam Hmm?? Sama aja nih, coba lagi kita akses root pathnya Voilaa, we got entire SNBT users data heree.

Technical#

Oke lanjut nih, kita kan udah berhasil dapat datanya semua (hampir), gimana kita cara dapatinnya secara otomatis? Berdasarkan kode yang ada pada sumber snbt.min.js, kita dapat melihat ada kode untuk fetching data .dwg, dan kemudian diolah ke UI.

Disini, saya ngga pake banyak tool, cuman runtime Python 3.10 dengan dependencies xmltodict, requests, dan sqlite3 aja. Kurang lebih kodenya seperti dibawah ini,

1
import xmltodict
2
import csv
3
import requests
4
import sqlite3
5
from datetime import datetime
6
from config import config
7

8
current_timestamp = datetime.now().isoformat()
9

10
snbt_files = {
11
    'excel': f'snbt_dump_{current_timestamp}.csv', # CSV
12
    'db': f'snbt_dump_{current_timestamp}.db', # sqlite
13
}
14

15
"""
16
    Request data to SNBT GoogleApi Storage
17
"""
18
def request_data_all():
19
    response = requests.get(config.get('storage_url'))
20
    if response.status_code != 200:
21
        raise Exception("Response not 200")
22
    # Parsing XML
23
    dictxml = xmltodict.parse(response.text)
24

25
    # Contents
26
    keys = [data['Key'] for data in dictxml['ListBucketResult']['Contents'] if data['Key'].endswith('.dwg')]
27

28
    return keys
29

30
def request_data_dwg(key: str):
31
    response = requests.get(config.get('storage_url') + key, headers={
32
        'Accept': 'application/json',
33
    })
34
    if response.status_code != 200:
35
        raise Exception("Response not 200")
36

37
    return response.json()
38

39
# Retrieving keys
40
print('Retrieving data keys...') # Logging keys
41
keys = request_data_all()
42
print(f'Receiving {len(keys)} keys') # Logging after keys
43

44
# Prepare heads
45
heads = ['id', 'utbk_no', 'name', 'date_of_birth', 'bidik_misi', 'passed', 'ptn', 'ptn_code', 'prodi', 'prodi_code', 'next_url']
46

47
# Preparing files
48
print('Initializing SQLite3 and CSV Files') # Logging files
49

50
sqlite_file = sqlite3.connect(snbt_files['db'])
51
sqlite_cursor = sqlite_file.cursor()
52

53
csv_file = open(snbt_files['excel'], "w+")
54
csv_file_writer = csv.writer(csv_file, delimiter=',', quotechar=';')
55

56
csv_file_writer.writerow(heads)
57

58
## SQLite3 create table if not exists
59
sqlite_create_table_query = """
60
    CREATE TABLE IF NOT EXISTS snbt_dump (
61
        id BIGINT AUTO_INCREMENT PRIMARY KEY,
62
        utbk_no VARCHAR(255) NOT NULL,
63
        name VARCHAR(255) NOT NULL,
64
        date_of_birth VARCHAR(50) NOT NULL,
65
        bidik_misi INT(1),
66
        passed INT(1) NOT NULL,
67
        ptn VARCHAR(255),
68
        ptn_code INT,
69
        prodi VARCHAR(255),
70
        prodi_code INT,
71
        next_url VARCHAR(255)
72
    )
73
"""
74

75
sqlite_insert_row_query = """
76
    INSERT INTO snbt_dump (
77
        id,
78
        utbk_no,
79
        name,
80
        date_of_birth,
81
        bidik_misi,
82
        passed,
83
        ptn,
84
        ptn_code,
85
        prodi,
86
        prodi_code,
87
        next_url
88
    ) VALUES (
89
        ?,
90
        ?,
91
        ?,
92
        ?,
93
        ?,
94
        ?,
95
        ?,
96
        ?,
97
        ?,
98
        ?,
99
        ?
100
    )
101
"""
102

103
sqlite_cursor.execute(sqlite_create_table_query)
104
print('Files successfuly initialized') # Logging files
105

106
# Fetching and write
107
index = 1
108
for key in keys:
109
    print(f'Fetching {key}')
110
    data = request_data_dwg(key)
111

112
    rows = [
113
        index,
114
        data['no'],
115
        data['na'],
116
        data['dob'],
117
        data['bm'],
118
        data['ac'],
119
        data['npt'],
120
        data['kpt'],
121
        data['nps'],
122
        data['kps'],
123
        data['upt'],
124
    ]
125

126
    csv_file_writer.writerow(rows)
127
    sqlite_cursor.execute(sqlite_insert_row_query, rows)
128

129
    index += 1
130

131

132
# Closing all state
133
csv_file.close()
134
sqlite_cursor.close()