pembangunan prototipe pencarian barang di berbagai toko online

PEMBANGUNAN PROTOTIPE PENCARIAN BARANG DI
BERBAGAI TOKO ONLINE MENGGUNAKAN TEKNIK WEB
SCRAPING
(STUDI KASUS : TOKO ONLINE DI INDONESIA)
TUGAS AKHIR
Disusun sebagai salah satu syarat untuk kelulusan
Program Strata 1, Program Studi Teknik Informatika,
Universitas Pasundan Bandung
oleh :
Aziz Firmansyah
Nrp. 12.304.0043
PROGRAM STUDI TEKNIK INFORMATIKA
FAKULTAS TEKNIK
UNIVERSITAS PASUNDAN BANDUNG
JANUARI 2017
LEMBAR PENGESAHAN
LAPORAN TUGAS AKHIR
Telah diujikan dan dipertahankan dalam Sidang Sarjana Program Studi Teknik Informatika
Universitas Pasundan Bandung, pada hari dan tanggal sidang sesuai berita acara sidang, tugas
akhir dari :
Nama : Aziz Firmansyah
Nrp
: 12.304.0043
Dengan judul :
“PEMBANGUNAN PROTOTIPE PENCARIAN BARANG
DI BERBAGAI TOKO ONLINE MENGGUNAKAN
TEKNIK WEB SCRAPING
(STUDI KASUS : TOKO ONLINE DI INDONESIA)”
Bandung, Januari 2017
Pembimbing Utama
(Dr.Ir.Leony Lidya.MT)
2
LEMBAR PERNYATAAN KEASLIAN TUGAS AKHIR
Saya menyatakan dengan sesungguhnya bahwa :
1. Tugas akhir ini adalah benar-benar asli dan belum pernah diajukan untuk mendapatkan gelar
akademik, baik di Universitas Pasundan Bandung maupun di Perguruan Tinggi lainnya
2. Tugas akhir ini merupakan gagasan, rumusan dan penelitian saya sendiri, tanpa bantuan pihak lain
kecuali arahan dari tim Dosen Pembimbing
3. Dalam tugas akhir ini tidak terdapat karya atau pendapat orang lain, kecuali bagian-bagian tertentu
dalam penulisan laporan Tugas Akhir yang saya kutip dari hasil karya orang lain telah dituliskan
dalam sumbernya secara jelas sesuai dengan norma, kaidah, dan etika penulisan karya ilmiah, serta
disebutkan dalam Daftar Pustaka pada tugas akhir ini
4. Kakas, perangkat lunak, dan alat bantu kerja lainnya yang digunakan dalam penelitian ini
sepenuhnya menjadi tanggung jawab saya, bukan tanggung jawab Universitas Pasundan Bandung
Apabila di kemudian hari ditemukan seluruh atau sebagian laporan tugas akhir ini bukan hasil karya
saya sendiri atau adanya plagiasi dalam bagian-bagian tertentu, saya bersedia menerima sangsi
akademik, termasuk pencabutan gelar akademik yang saya sandang sesuai dengan norma yang berlaku
di Universitas Pasundan, serta perundang-undangan lainnya
.
Bandung, Januari 2017
Yang membuat pernyataan,
Materai
6000,-
( Aziz Firmansyah )
NRP. 12.304.0043
ABSTRAK
Masyarakat memiliki kebutuhan akan sarana untuk pencarian barang dagang secara online.
Dalam melakukan pencarian barang dapat menggunakan search engine atau langsung mengunjungi
situs e-commerce tertentu. Cara ini agak sulit untuk membandingkan barang.
Web Scraping dan cURL memiliki manfaat besar untuk pengembangan perangkat lunak
contohnya untuk aplikasi pencarian barang di berbagai toko online. Aplikasi ini berjalan dengan cara
mengumpulkan informasi dari berbagai toko online untuk ditampilkan kembali ke pengguna.
Pada tugas akhir ini dilakukan pemodelan dan pembuatan prototipe pencarian barang di
berbagai toko online menggunakan web scraping dan cURL. Hasil dari tugas akhir ini berupa
prototipe pencarian barang dengan fitur yaitu dapat melakukan pencarian barang dengan mengunjungi
beberapa toko online yang sudah terdaftar, dapat mengurutkan hasil pencarian berdasarkan harga.
Kata Kunci : Web Scraping , cURL, aplikasi web, search engine, e-commerce
i
ABSTRACT
Community has a need for a means to search the merchandise online. In their search item can
use the search engine or go directly to a specific e-commerce site. This is quite difficult to compare the
goods.
Web scraping and cURL have major benefits for the development of software applications for
example to search items in various online stores. The application runs by collecting information from
various online stores to be displayed back to the user.
In this final project modeling and prototyping quest items at various stores online using web
scraping and cURL. The results of this thesis a prototype search items with features that can search
items by visiting some online stores are already registered, can sort search results by price.
Keywords: Web scraping, curl, web application, search engine, e-commerce.
ii
KATA PENGANTAR
Assalmu’alaikum, Wr. Wb
Segala puji dan syukur penulis panjatkan kehadirat Allah SWT. Dengan ridho-Nya penulis
mampu mengerjakan dan menyelesaikan laporan sseminar tugas akhir ini dengan judul ‘Pembangunan
Prototipe Pencarian Barang di berbagai Toko Online Menggunakan Teknik Web Scraping‘. Serta
sholawat selalu terlimpahkan untuk sang pencerah dalam gulita, pribadi mulia, rahmat bagi seluruh
semesta, Muhammad SAW.
Laporan Tugas Akhir ini ditujukan untuk memenuhi kelulusan strata 1 (satu) di Program Studi
Teknik Informatika Fakultas Teknik Universitas Pasundan. Dalam penulisan Proposal tugas akhir ini,
penulis ingin mengucapkan terima kasih kepada pihak yang terlibat baik secara langsung maupun tak
langsung serta moril maupun materil terhadap tugas akhir ini. Dengan segala hormat dan kerendahan
hati perkenankanlah penulis mengucapkan terimakasih kepada :
1. Pembimbing tugas akhir , Ibu Dr. Ir. Leony Lidya, M.T.
2. Kepada Orang Tua tersayang, yang selalu memberikan semangat, motivasi, dan do’anya
dalam pembuatan tugas akhir.
3. Seluruh civitas akademika Teknik Informatika di Universitas Pasundan Bandung yang telah
memberikan bekal ilmu selama penulis menimba ilmu.
4. Kepada teman-teman seperjuangan Universitas Pasundan Bandung yang tidak bisa semua
penulis sebutkan.
Penulis menyadari ketidaksempurnaan dalam penulisan Laporan Seminar Tugas Akhir ini dan
masih perlu belajar. Saran dan kritik di kemudian hari sangat penulis harapkan agar dapat memberikan
kontribusi serta manfaat yang lebih signifikan terkait topik Laporan Tugas Akhir ini.
Wasalamu’alaikum Wr.Wb
Bandung, Januari 2017
Penulis
iii
DAFTAR ISI
ABSTRAK .............................................................................................................................................. i
ABSTRACT ...........................................................................................................................................ii
KATA PENGANTAR ......................................................................................................................... iii
DAFTAR ISI ......................................................................................................................................... iv
DAFTAR TABEL ................................................................................................................................vii
DAFTAR GAMBAR ..........................................................................................................................viii
DAFTAR LAMPIRAN ......................................................................................................................... ix
DAFTAR SIMBOL................................................................................................................................ x
BAB 1 PENDAHULUAN ..................................................................................................................1-1
1.1. Latar Belakang .........................................................................................................................1-1
1.2. Identifikasi Masalah .................................................................................................................1-2
1.3. Tujuan Tugas Akhir .................................................................................................................1-2
1.4. Lingkup Tugas Akhir ...............................................................................................................1-2
1.5. Metodologi Tugas Akhir ..........................................................................................................1-3
1.6. Sistematika Penulisan Tugas Akhir ..........................................................................................1-4
BAB 2 LANDASAN TEORI ..............................................................................................................2-1
2.1. Prototipe...................................................................................................................................2-1
2.2. Pengenalan Serch Engine .........................................................................................................2-1
2.3. Pengenalan Web Scrapting ......................................................................................................2-1
2.4. Pengenalan cURL PHP ............................................................................................................2-2
2.4.1. Struktur Dasar Request cURL...........................................................................................2-2
2.5. Model Proses Pembangunan Perangkat Lunak.........................................................................2-3
2.6. Perancangan Pemodelan Perangkat Lunak ...............................................................................2-3
2.7. Tinjauan Teknologi ..................................................................................................................2-4
2.7.1. Boostrap ............................................................................................................................2-4
2.7.2. MySQL .............................................................................................................................2-4
2.7.3. Codeigniter .......................................................................................................................2-4
BAB 3 ANALISIS ..............................................................................................................................3-1
3.1. Kerangka Tugas Akhir .............................................................................................................3-1
3.2. Analisis ....................................................................................................................................3-2
3.3. Peta Analisis ............................................................................................................................3-2
3.3.1. Analisis Solusi ..................................................................................................................3-4
3.3.2. Analisis Penggunaan Konsep ............................................................................................3-4
3.3.3. Objek Penelitian ...............................................................................................................3-4
BAB 4 ANALISIS DAN PERANCANGAN ......................................................................................4-1
iv
4.1 Analisis Sistem yang Berjalan...................................................................................................4-1
4.2 Analisis Perbedaan Web Scraping dengan Web Crawler .........................................................4-3
4.3 Analisis Web Scraping ..............................................................................................................4-3
4.3.1 Create Scraping Template .................................................................................................4-3
4.3.2 Explore Site Navigation .....................................................................................................4-6
4.3.3 Automate Navigation and Extraction .................................................................................4-6
4.3.4 Extracted Data and Package .............................................................................................4-7
4.4 Kesimpulan Analisis Web Scraping ..........................................................................................4-7
4.5 Aplikasi yang akan Dibangun ...................................................................................................4-7
4.6 Digram Aktivitas .......................................................................................................................4-9
4.7 Analisis Pengguna ...................................................................................................................4-11
4.8 Analisis Kebutuhan Fungsional ..............................................................................................4-12
4.9 Perancangan Fungsional Sistem ..............................................................................................4-12
4.9.1 Deskripsi Use Case ..........................................................................................................4-12
4.9.2 Skenario Cara Kerja Fungsi .............................................................................................4-13
4.10 Diagram Sequence ................................................................................................................4-15
4.10.1 Digram Sequence Cari Barang .......................................................................................4-15
4.10.2 Diagram Sequence Kelola Toko Online (Tambah Daftar Toko Online) ........................4-16
4.10.3 Diagram Sequence Kelola Toko Online (Ubah Daftar Toko Online).............................4-16
4.10.4 Kelas Analisis ................................................................................................................4-17
4.11 Perancangan Perangkat Lunak ..............................................................................................4-18
4.11.1 Perancangan Arsitektur ..................................................................................................4-18
4.11.2 Perancangan Kelas .........................................................................................................4-19
4.11.3 Perancangan Data ..........................................................................................................4-20
4.12 Perancangan Antarmuka .......................................................................................................4-22
4.12.1 Antarmuka Halaman Utama...........................................................................................4-22
4.12.2 Antarmuka List Barang ..................................................................................................4-22
4.12.3 Antarmuka Form Tambah Daftar Toko Online ..............................................................4-23
4.12.4 Antarmuka Form Ubah Data Toko Online .....................................................................4-23
4.12.5 Antarmuka Daftar Toko Online .....................................................................................4-24
BAB 5 IMPLEMENTASI ...................................................................................................................5-1
5.1.
Implementasi .......................................................................................................................5-1
5.1.1.
Implementasi Perangkat Lunak....................................................................................5-1
5.1.1 Kebutuhan Implementasi ...................................................................................................5-1
5.2 Implementasi Data ....................................................................................................................5-3
5.3 Implementasi Arsitektur ............................................................................................................5-3
v
5.4 Implementasi Antarmuka ..........................................................................................................5-4
5.4.1 Antarmuka Halaman Utama ..............................................................................................5-4
5.4.2 Antarmuka Profile Pengguna .............................................................................................5-5
BAB 5 KESIMPULAN DAN SARAN ...............................................................................................5-1
5.1. KESIMPULAN ........................................................................................................................5-1
5.2. SARAN ....................................................................................................................................5-1
DAFTAR PUSTAKA
LAMPIRAN
vi
DAFTAR TABEL
Tabel 3.1 Rancangan Penelitian ..........................................................................................................3-1
Tabel 3.2 Tahapan Rencana Analisis ..................................................................................................3-3
Tabel 4.1 Create Scraping Template ...................................................................................................4-3
Tabel 4.2 Explore Site Navigation ......................................................................................................4-6
Tabel 4.3 Deskripsi Pengguna ...........................................................................................................4-11
Tabel 4.4Kebutuhan Fungsional Sitem..............................................................................................4-12
Tabel 4.5 Deskripsi Use Case ............................................................................................................4-12
Tabel 4.6Skenario Use Case Cari Barang ..........................................................................................4-13
Tabel 4.7 Skenariao Use Case Sorting Barang ..................................................................................4-13
Tabel 4.8 Skenario Use Case Kelola Daftar Toko Online (Tambah daftar Toko Online) ..................4-14
Tabel 4.9 Skenario Use Case Kelola Daftar Toko Online (Ubah Data Toko Online) ........................4-14
Tabel 4.10Skenario Use Case Kelola Daftar Toko Online (Hapus daftar Toko Online)....................4-14
Tabel 4.11 Kelas Analisis ..................................................................................................................4-18
Tabel 4.12 Perancangan Kelas Perangkat Lunak ...............................................................................4-19
Tabel 4.13 Perancangan Atribut Kelas ..............................................................................................4-19
Tabel 4.14 Perancangan Data Perangkat Lunak ................................................................................4-21
Tabel 5-1Kebutuhan Perangkat Keras .................................................................................................5-1
Tabel 5-2 Kebutuhan Perangkat Lunak ...............................................................................................5-2
Tabel 5-3 Struktur Folder Perangkat Lunak ........................................................................................5-2
vii
DAFTAR GAMBAR
Gambar 2.1 Ilustrai Cara Kerja Web Scraper ......................................................................................2-2
Gambar 2.2 Basic Structure cURL PHP ..............................................................................................2-2
Gambar 2.3 Metodologi pengembangan perangkat lunak ( RUP ) ......................................................2-3
Gambar 3.1 Peta Analisis ....................................................................................................................3-3
Gambar 4.1 Proses Pencarian Barang di Google .................................................................................4-2
Gambar 4.2 Proses Pencarian Barang dari berbagai Toko Online .......................................................4-2
Gambar 4.4 Automate Navigation and Extraction ...............................................................................4-6
Gambar 4.5 Struktru Array ..................................................................................................................4-7
Gambar 4.3Gambaran Sistem yang Akan Dibangun ...........................................................................4-8
Gambar 4.6 Diagram Aktivitas Pendaftaran Toko Online ...................................................................4-9
Gambar 4.7 Diagram Aktivitas Pencarian Pengunjung .....................................................................4-10
Gambar 4.8 Diagram Aktivitas Pengurutan Harga ............................................................................4-11
Gambar 4.9 Diagram Use Case Aplikasi CRIS .................................................................................4-12
Gambar 4.10 Diagram Sequence Cari Barang ...................................................................................4-15
Gambar 4.11 Diagram Sequence Kelola Toko Online (Tambah Daftar Toko Online) ......................4-16
Gambar 4.12 Diagram Sequence Kelola Toko Online (Ubah Data Toko Online) .............................4-17
Gambar 4.13 Perancangan Arsitektur Perangkat Lunak ....................................................................4-18
Gambar 4.14 Digram Kelas Perancangan .........................................................................................4-20
Gambar 4.15 Antarmuka Halaman Utama ........................................................................................4-22
Gambar 4.16Antarmuka List barang .................................................................................................4-23
Gambar 4.17 AntarmukaForm Tambah Daftar Toko Online .............................................................4-23
Gambar 4.18Antarmuka Ubah Toko Online......................................................................................4-24
Gambar 4.19Antarmuka daftar Toko Online .....................................................................................4-24
Gambar 5.1 Implementasi Data ...........................................................................................................5-3
Gambar 5.2 Arsitektur .........................................................................................................................5-4
Gambar 5.3 Antarmuka Halaman Utama ............................................................................................5-5
Gambar 5.4 List barang .......................................................................................................................5-6
viii
DAFTAR LAMPIRAN
LAMPIRAN A ...................................................................................................................A-1
A.1 Observasi pencarian Barang Menggunakan Search Engine .....................................A-1
A.2 Observasi pencarian Barang Langsung Mengunjungi Website Penyedia Jasa .........A-2
LAMPIRAN B ................................................................................................................... B-1
B.1 Statistka Situs e-commerce familiar di tahun 2015 .................................................. B-1
B.2 Code Sumber Scraping dan DOM ............................................................................ B-2
B.3 Code Aplikasi Pencarian Barang di Berbagai Toko Online ..................................... B-5
ix
DAFTAR SIMBOL
Activity Diagram
No
Simbol
1.
Nama
Keterangan
Start state
Start state dengan tegas menunjukan dimulainya suatu
workflow pada sebuah activity diagram.
2.
Activity
Activity mengambarkan sebuah pekerjaan atau tugas dalam
workflow.
3.
Decision
Decision adalah suatu titik atau point pada activity diagram
yang
mengindikasikan
suatu
kondisi
dimana
ada
kemungkinan perbedaan transisi.
4.
End state
End state menggambarkan akhir atau terminal dari pada
sebuah activity diagram.
5.
State Transition
State transition menunjukan kegiatan apa berikutnya setelah
suatu kegiatan sebelumnya.
Diagram Use Case
No
1.
Simbol
Nama
Keterangan
Actor
Simbol yang merepresentasikan pengguna yang sedang
berinteraksi dengan usecase.
2.
Use Case
Deskripsi dari urutan aksi-aksi yang ditampilkan sistem yang
menghasilkan suatu hasil yang terukur bagi suatu aktor.
3.
Association
Simbol yang menghubungkan antara objek satu dengan
objek lainnya.
4.
Include
Simbol yang menspesifikasikan bahwa use case sumber
secara eksplisit.
5.
Extend
Simbol yang merepresentasikan bahwa use case target
memperluas perilaku dari us case sumber pada suatu titik
yang diberikan.
x
Sequence Diagram
No
Simbol
1.
Nama
Keterangan
Actor
Simbol yang menggambarkan pengguna yang sedang
berinteraksi dengan sistem.
:
2.
Boundary
Simbol yang menggambarkan sebuah penggambaran dari
form.
3.
Boundary : ViewLogin
Controller
Simbol yang menggambarkan penghubung antara boundary
dengan tabel atau entity.
4.
5.
Controller :
ControllerLogin
Entity : User
6.
Entity
Simbol yang menggambarkan hubungan kegiatan yang akan
dilakukan.
Object Message
Simbol yang menggambarkan pengiriman pesan
Return Message
Simbol yang menggambarkan pengiriman pesan kembali.
Flowchart
No
1
Simbol
Nama
Keterangan
Start/End
Simbol untuk permulaan (start) atau akhir (stop) dari suatu
kegiatan.
2
Process
Simbol yang menunjukkan pengolahan yang dilakukan oleh
rototyp.
3
Data
Simbol yang menyatakan proses input dan output tanpa
tergantung dengan jenis peralatannya.
4
Decision
Simbol pemilihan proses berdasarkan kondisi yang ada.
xi