BAB 1 PENDAHULUAN 1.1. Latar Belakang Masalah Internet merupakan salah satu media informasi yang diminati oleh banyak masyarakat dalam memenuhi kebutuhan informasi mereka pada saat ini. Dengan menggunakan internet, seseorang dengan mudahnya mengakses jutaan halaman website yang berisi informasi yang diinginkan dengan mudah dan cepat. Terkadang dengan memasuki satu website saja, memungkinkan seseorang untuk bisa menjelajah (browsing) kemana saja, karena website tersebut memiliki percabangan alamat yang banyak. Sebagai contoh website Yahoo (http://www.yahoo.com) mempunyai banyak sekali percabangan alamat yang mengarah pada banyak halaman website. Hal ini dapat sedikit mempersulit dan membutuhkan waktu yang cukup lama bagi seseorang apabila ingin mencari suatu informasi tertentu, karena harus melakukan pengecekan satu-persatu pada halaman website yang diinginkan. Masalah pencarian alamat suatu halaman website yang sesuai dengan informasi yang akan dicari dapat dipecahkan dengan menggunakan perangkat yang tersedia di Internet, yaitu search engine. Dengan menggunakan search engine, bisa didapatkan daftar (list) alamat dari halaman website yang berhubungan dengan informasi yang sedang dicari dengan memasukkannya kata kunci pada search engine tersebut. Akan tetapi masalah yang timbul lagi setelah mendapatkan daftar (list) alamat halaman website yang berhubungan dengan informasi yang dicari. Karena setelah memasuki salah satu alamat dari hasil dari pencarian search engine tersebut, alamat yang ada pada halaman website tersebut satu-persatu masih harus dijelajahi (browsing) untuk mencari informasi yang diinginkan. Belum lagi apabila halaman website tersebut mempunyai percabangan alamat yang banyak. Pengecekan halaman website tetap saja dilakukan satupersatu pada tiap-tiap alamat secara manual yang ada dalam website tersebut. 1 Ditambah lagi proses penyimpanan jika akan dilakukan penyimpanan halaman website masih harus dilakukan secara manual pada masing-masing halaman website yang diinginkan. Berdasar pada permasalahan di atas, tentunya lebih mudah apabila terdapat aplikasi yang terhubung dengan search engine untuk melakukan pencarian alamat halaman website sesuai dengan topik atau informasi yang diinginkan, serta mampu melakukan proses penyimpanan halaman-halaman website yang mengandung informasi atau topik yang sesuai dengan kata kunci secara otomatis sampai pada kedalaman yang telah ditentukan. Sehingga hasil dari proses penyimpanan aplikasi tersebut yaitu berupa halaman HTML dari suatu website dapat dilihat secara offline. Aplikasi seperti ini biasa disebut dengan nama web grabber. 1.2. Perumusan Masalah Dari uraian latar belakang masalah di atas, maka dapat dirumuskan masalah yang melatar belakangi adalah bagaimana membuat aplikasi web grabber yang dapat menerima inputan dari pengguna berupa kata kunci untuk pencarian halaman website yang diinginkan, kemudian melakukan proses pencarian dan menyimpan halaman-halaman website tersebut apabila terdapat informasi atau topik yang sesuai dengan kata kunci yang diinputkan secara otomatis tanpa harus masuk ke percabangan alamat yang ada secara satu-persatu, dan hasil halaman HTML website yang disimpan dapat dilihat secara offline. Untuk proses pencarian dan melakukan filter halaman website yang akan disimpan, aplikasi web grabber yang akan dibuat menerapkan metode melebar atau yang lebih dikenal dengan BFS (breadth-first search) untuk mencari percabangan alamat halaman website yang ada. 2 1.3. Batasan Masalah Adapun batasan masalah pada tugas akhir ini (aplikasi web grabber dengan metode BFS atau breadth-first search) adalah sebagai berikut : a. Aplikasi web grabber yang dibuat tidak dapat melakukan pencarian link dan menyimpan halaman website pada kedalaman diatas level 3 dalam metode BFS yang digunakan (maksimal kedalaman yang di terima sistem adalah 3 dan minimal adalah 1) b. Aplikasi web grabber yang dibuat hanya terhubung secara otomatis dengan search engine Google (http://www.google.com). c. Bahasa pemrograman yang digunakan adalah Visual Basic .NET. d. Cepat atau lambatnya kinerja dari Aplikasi web grabber yang dibuat sangat tergantung pada kondisi koneksi Internet pada komputer pengguna. e. Tipe regex (RE) yang digunakan hanya cocok untuk melakukan parsing untuk code HTML yang standar dan untuk tipe FULL URL . 1.4. Tujuan Penelitian Tujuan dari tugas akhir adalah sebagai berikut : a. Mengimplementasikan metode BFS atau breadth-first search dalam membangun aplikasi web grabber yang dapat melakukan proses penyimpanan halaman website yang berisi informasi sesuai dengan inputan kata kunci dan kedalaman dari pengguna b. Sebagai syarat untuk menyelesaikan program studi di Fakultas Teknik, Jurusan Teknik Informatika, Universitas Kristen Duta Wacana. 1.5. Metode atau Pendekatan Penulisan tugas akhir ini menggunakan beberapa metode sebagai berikut: a. Studi pustaka, berfungsi sebagai acuan pembelajaran untuk memperoleh teori mengenai internet dan rekayasa perangkat lunak 3 berbasis internet yang diperlukan untuk membahas masalah-masalah yang timbul dalam pengerjaan tugas akhir. b. Mengimplementasikan dalam program serta melakukan uji coba program. 1.6. Sistematika Penulisan Sistematika penulisan tugas akhir ini dibagi menjadi 5 bab, antara lain sebagai berikut: Bab 1, merupakan pendahuluan yang berfungsi untuk memberikan gambaran umum tugas akhir. Pendahuluan berisi latar belakang masalah, perumusan masalah, batasan masalah, tujuan penelitian, metode atau pendekatan, dan sistematika penulisan. Bab 2, merupakan tinjauan pustaka yang berisi tentang tinjauan pustaka dan landasan teori. Tinjuan pustaka berisi dasar teori tentang web grabber, URL, protokol HTTP, metode BFS atau breadth-first search, pengenalan teknologi .NET, dan karateristik aplikasi web grabber yang akan dibangun. Bab 3, merupakan perancangan system yang berisi rancangan antar muka sistem, algoritma atau flowchart untuk menggambarkan alur kerja sistem yang dibuat, dan kebutuhan sistem. Analisis kebutuhan sistem yaitu kebutuhan perangkat keras maupun perangkat lunak, sedangkan desain sistem meliputi perancangan program secara rinci. Bab 4, merupakan implementasi dan analisis sistem, yang berisi capture tampilan sistem yang telah dibuat lengkap beserta penjelasan dan analisis dari sistem yang telah dibuat. Bab 5, merupakan kesimpulan dan saran dari penulis. Kesimpulan berisi jawaban dari pertanyaan tugas akhir yang dinyatakan dalam perumusan masalah, dan saran berisi kesimpulan yang perlu ditindak lanjuti atau direalisasikan. 4