Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 IDENTIFIKASI RISIKO PADA SAAT IMPLEMENTASI LEAN MANUFACTURING DENGAN METODE DELPHI Wiwin Widiasih1), Putu Dana Karningsih2), dan Udisubakti Ciptomulyono3) 1,2,3) Jurusan Teknik Industri, Institut Teknologi Sepuluh Nopember Kampus Sukolilo, Surabaya e-mail: 1)[email protected] ABSTRAK Pada saat implementasi lean manufacturing tidak mudah. Butuh beberapa kali penerapan dan menjadi berhasil. Beberapa hal yang dapat membuat kerugian dapat disebut sebagai risiko. Risiko pada saat implementasi lean manufacturing sangat dapat terjadi. Oleh karena itu perlu dilakukan identifikasi risiko pada saat implementasi lean manufacturing. Dalam manajemen risiko ISO 31000:2009 terdapat beberapa tahapan. Identifikasi risiko merupakan tahapan awal yang penting karena awal mula mendaftar potensi risiko yang penting. Diharapkan dalam tahap identifikasi risiko keseluruhan potensi risiko mampu terdaftar. Terdapat beberapa metode untuk identifikasi risiko seperti wawancara, brainstorming, observasi obyek amatan langsung. Metode Delphi merupakan sebuah metode yang diperlukan untuk memperkuat hasil wawancara ataupun brainstorming. Metode Delphi ini berlangsung tiga putaran dan telah terkonsesus teridentifikasi sebanyak 19 risiko pada saat implementasi lean manufacturing. Penelitian ini dilengkapi dengan studi kasus pada perusahaan manufaktur kompleks bidang aerospace yang telah menerapkan lean manufacturing dalam proses produksinya. Kata kunci: Risiko, Lean Manufacturing, Metode Delphi. PENDAHULUAN Konsep lean manufacturing merupakan sebuah usaha perampingan aktivitas dalam proses produksi dengan mengeliminasi waste yang terjadi dalam proses. Konsep lean production juga merupakan sebuah pendekatan multi dimensi meliputi praktik manajemen secara luas termasuk just in time, quality systems, work teams, cellular manufacturing, supplier management, dan lain-lain (Shah dan Ward, 2003). Konsep lean manufacturing dapat dilakukan juga dengan mengidentifikasi aktivitas value added dan non-value added. Salah satu tools lean manufacturing yang dapat menggambarkan aktivitas adalah Value Stream Mapping (VSM). Dengan menerapkan konsep lean manufacturing diharapkan industri manufaktur dapat menjaga kualitas produksi tetap tinggi walaupun dengan biaya produksi yang rendah dan lead time yang pendek. Konsep lean manufacturing pertama kali diterapkan dalam industri otomotif yaitu Toyota. Meskipun konsep lean manufacturing pertama kali diterapkan dan berhasil dilakukan pada industri otomotif, namun konsep lean manufacturing dapat juga dilakukan dan diterapkan dalam industri lainnya termasuk industri aerospace (Crute et al., 2003). Implementasi konsep tersebut tidak mudah maka diperlukan beberapa asumsi dalam penerapannya. Beberapa asumsi diperlukan karena perbedaan karakteristik industri. Crute et al. (2003) telah memaparkan beberapa faktor penting yang perlu diperhatikan dalam penerapan konsep lean manufacturing dalam industri aerospace antara lain strategi perubahan, budaya perusahaan, fokus pada produk, komitmen dan konsistensi senior management, serta waktu dan ruang untuk pengembangan performansi. ISBN: 978-602-70604-2-5 A-8-1 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 Dalam penerapan konsep lean manufacturing tidak sekali dapat berhasil (Rathje et al., 2009). Diperlukan beberapa kali penerapan untuk dapat berhasil. Beberapa hal yang dapat menyebabkan kegagalan penerapan konsep lean manufacturing antara lain kurang adanya komitmen dari manajemen, kurangnya otonomi tim, tidak terbukanya manajemen dalam penyampaian tujuan lean manufacturing jangka menengah-panjang, tidak adanya mekanisme implementasi lean manufacturing yang berkelanjutan, komunikasi yang tidak baik, yaitu tidak adanya evaluasi yang terus menerus dalam implementasi lean manufacturing (Rathje et al., 2009). Konsep lean manufacturing telah diterapkan pada industri aerospace di Indonesia ini sejak tahun 2013. Penerapan konsep lean manufacturing pada industri tersebut masih berupa pilot project. Dalam penerapannya terdapat beberapa hambatan dan tidak tercapai tujuan program. Sesuatu yang dapat menyebabkan tidak tercapai tujuan dan dapat menimbulkan kerugian dapat disebut sebagai potensi risiko. Diperlukan suatu upaya pengelolaan risiko agar dapat dilakukan langkah antisipasi terhadap risiko tersebut. Pengelolaan risiko dikenal dengan manajemen risiko. Manajemen Risiko ISO 31000:2009 merupakan pedoman dalam melakukan manajemen risiko secara generik. Terdapat beberapa tahapan dalam manajemen risiko antara lain penetapan konteks, risk assessment, dan mitigasi risiko. Dalam Manajemen Risiko ISO 31000:2009 memiliki kelebihan dibandingkan dengan AS/NSZ 4360:2004, Canada CAN/CSA, Coso Enterprise Risk Management 2004 yaitu terdapat feedback loop dalam tiap tahapan. Selain itu dalam Manajemen Risiko ISO 31000:2009 kerangka kerja yang diacu berdasarkan Plan-Do-CheckAction. Dalam framework tersebut perspektif yang digunakan lebih luas dan konseptual dibanding dengan framework yang lain (Susilo, 2010). Marodin dan Saurin (2014) telah melakukan identifikasi dan klasifikasi risiko pada lean production dalam sebuah manufaktur secara umum. Identifikasi risiko tersebut dilakukan dengan studi literatur. Banyak teknik atau metode yang dapat digunakan untuk melakukan tahapan identifikasi risiko antara lain wawancara, brainstorming (depth interview), kuisioner, penilaian berdasarkan pengalaman dan dokumen yang sudah ada, serta observasi terhadap obyek amatan. Diperlukan suatu metode analitis dan statistik dalam melakukan tahapan identifikasi risiko pada risk assessment (Thakkar et al., 2005). Salah satu metode MCDM yang dapat digunakan untuk mengumpulkan data atau informasi terkait secara analitis dan statistik yaitu metode Delphi. Metode Delphi telah banyak digunakan di berbagai bidang seperti forecasting, identifikasi dan prioritas isu serta pengembangan konsep/framework (Okoli dan Pawlowski, 2004). Metode Dephi banyak diyakini merupakan metode yang lebih baik daripada metode survei tradisional dan dalam penggunaan metode Delphi hal yang perlu diperhatikan yaitu pemilihan expert pada diskusi panel (Okoli dan Pawlowski, 2004). Metode Delphi dalam penelitian ini akan digunakan untuk melakukan identifikasi risiko untuk menguatkan cara brainstorming dan wawancara expert (Markmann et al., 2009) (Schmidt et al., 2001). Penelitian ini bertujuan untuk melakukan identifikasi risiko pada saat implementasi lean manufacturing dengan menggunakan metode Delphi. Penelitian ini juga dilakukan studi kasus pada industri aerospace di Indonesia yang telah menerapkan konsep lean manufacturing dalam proses produksi. ISBN: 978-602-70604-2-5 A-8-2 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 METODE DELPHI Metode Delphi pertama kali dikembangkan oleh Norman Dalkey dan Olaf Helmer beserta asosiasinya dalam Rand Corporation pada awal tahun 1950-an. Metode Delphi merupakan proses berkelompok yang digunakan untuk melakukan survei dan mengumpulkan pendapat pada ahli dalam bidang tertentu (Yousuf, 2010). Delphi dapat dikarakteristikkan sebagai sebuah metode berkelompok untuk menstrukturkan hal dengan proses komunikasi sehingga proses akan menjadi efektif untuk menyelesaikan permasalahan yang kompleks. Metode Delphi ini telah diaplikasikan dalam hal pengambilan kebijakan, perencanaan, atau ide yang berdasarkan pada pemikiran atau judgment. Metode Delphi sangat berguna untuk mengumpulkan pendapat dan judgment para ahli dan praktisi ketika waktu dan jarak serta faktor lain tidak memungkinkan bagi mereka bertemu dalam satu lokasi yang sama. Metode Delphi dalam definisi lain merupakan proses pelibatan kelompok dalam sebuah interaksi antara peneliti dan para ahli yang dipilih berdasarkan latar belakang dan kriteria yang relevan terhadap topik bahasan khusus dengan menggunakan kuisioner (Yousuf, 2010). Metode Delphi bertujuan untuk mencapai konsesus dari serangkaian proses penggalian informasi. Dalam melakukan metode Delphi diperlukan pendapat dan judgment dari para ahli serta praktisi. Beberapa karakteristik metode Delphi antara lain: a. Anonim (mengabaikan nama), penggunaan kuisioner atau komunikasi lain yaitu tanggapan dinyatakan tidak diidentifikasi sebagai dari anggota tertentu dalam panel yang memungkinkan untuk anonim. b. Umpan balik kontrol dari interaksi (feedback terkontrol), umpan balik kontrol memungkinkan interaksi dengan pengurangan perselisihan antara anggota panel. Interaksi yang terjadi dimungkinkan dari interaksi antara anggota kelompok dalam beberapa tahap dengan hasil dari tahap sebelumnya diringkas dan anggota kelompok diminta untuk mengevaluasi jawaban mereka dibandingkan dengan pemikiran kelompok. c. Respon kelompok secara statistik, pendapat kelompok didefinisikan sebagai rata-rata statistik pendapat akhir dari masing-masing anggota dengan pendapat setiap anggota kelompok tercermin dalam respon kelompok terakhir. Dalam metode Delphi disarankan 10-15 item topik permasalahan, sedangkan untuk jumlah responden menyarankan antara 15-20 responden (Hsu dan Sanford, 2007). Proses pelaksanaan metode Delphi kurang lebih 45 hari dengan rentang dua minggu tiap putaran panel. Proses konsesus dalam metode Delphi terjadi apabila memiliki prosentase sebesar 80% dari seluruh anggota dengan skala penilaian 0-7. Hsu dan Sanford (2007) menyarankan paling tidak 70% dengan rata-rata nilai tiap item poin kuisioner adalah tiga atau empat skala Likert dan memiliki nilai median paling sedikit 3,25. Metode Delphi memiliki kelebihan antara lain masing-masing responden memiliki waktu yang cukup untuk mempertimbangkan masing-masing bagian dan jika perlu melihat informasi yang diperlukan untuk mengisi kuisioner, menghindari tekanan sosial psikologi, perhatian langsung pada masalah, memenuhi kerangka kerja, dan menghasilkan catatan dokumen yang tepat (Narita, 2010). Sedangkan beberapa kelamahan antara lain lambat dan menghabiskan waktu, responden dapat salah mengerti terhadap kuisioner atau tidak memenuhi ketrampilan komunikasi dalam bentuk tulisan, konsep Delphi adalah ahli yaitu para ahli akan mempresentasikan opini yang tidak dapat dipertahankan secara ilmiah dan melebih-lebihkan, dan mengasumsikan bahwa Delphi dapat menjadi pengganti untuk semua komunikasi manusia di berbagai situasi ISBN: 978-602-70604-2-5 A-8-3 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 PROSEDUR DELPHI Prosedur identifikasi risiko pada implementasi lean manufacturing dengan menggunakan metode Delphi terinci pada Gambar 1. Gambar 1 Algoritma Metode Delphi (Ciptomulyono, 2001) HASIL DAN DISKUSI Metode Delphi pada penelitian ini dilakukan beberapa kali putaran. Putaran pertama Delphi dilakukan pertanyaan terbuka untuk mengetahui informasi dan tingkat pemahaman terhadap permasalahan. Pada putaran pertama, kuisioner disebarkan kepada empat belas responden terdiri atas tujuh manajer dan tujuh kepala divisi. Pada putaran pertama kuisioner kembali sebanyak sepuluh, namun telah dijustifikasi cukup dikarenakan kesepuluh responden tersebut telah dapat dikatakan expert dari lama bekerja yaitu 25-35 tahun, kesesuaian bidang pekerjaan dan kompetensi serta pendidikan. Pada kuisioner Delphi putaran I responden juga telah memiliki pemahaman dan pengetahuan mengenai model implementasi lean manufacturing terbukti dengan dapat menjawab pertanyaan mengenai aktivitas dalam maturity model implementasi lean manufacturing serta dapat menyebutkan tools lean manufacturing yang bermanfaat dan digunakan oleh responden dalam bekerja sehari-hari. Aktivitas yang paling dipahami adalah SQCDP meeting yang telah diterapkan sehari-hari. Tools lean manufacturing yang dirasa responden bermanfaat dalam pekerjaan sehari-hari adalah SQCDP panel, 5S, dan fishbone ISBN: 978-602-70604-2-5 A-8-4 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 diagram. Dari kuisioner Delphi putaran I ini didapatkan tujuh belas risiko. Selanjutnya tujuh belas potensi risiko yang telah diidentifikasi tersebut dinilai kembali oleh responden pada kuisioner Delphi putaran II. Kuisioner Delphi putaran II tetap dilakukan penilaian sesuai skala Likert terhadap setuju atau tidaknya pernyataan potensi risiko yang diidentifikasi. Responden pada kuisioner Delphi putaran II merupakan responden yang sama dengan putaran I. Hasil kuisioner Delphi putaran II oleh responden menunjukkan terdapat beberapa poin potensi risiko yang masih memiliki rata-rata nilai tiga yang berarti ragu-ragu. Sehingga perlu dilakukan penilaian kembali namun sebelumnya dilakukan beberapa perubahan pernyataan potensi risiko supaya dapat menyeragamkan pemahaman responden melalui pernyataan-pernyataan potensi risiko yang dituliskan dalam kuisioner. Pada kuisioner Delphi putaran II juga didapatkan dua daftar tambahan potensi risiko yang perlu diikutsertakan. Dua daftar tambahan potensi risiko tersebut diikutsertakan dalam penilaian kuisioner Delphi putaran III. Hasil pengolahan kuisioner Delphi putaran III merupakan penentu dari konsesus atau tidaknya hasil kuisioner Delphi karena hasil penilaiana yang didapatkan dilakukan perbandingan dengan putaran sebelumnya. Pengolahan kuisioner dilakukan secara statistik antara lain mengolah nilai rata-rata (mean), nilai tengah (median), nilai penyimpangan (standar deviasi), nilai jangkauan antar kuartil (Inter Quartile Range), dan jangkauan nilai minimal-maksimal (range). Nilai Std. Deviasi Antar Putaran Nilai IQR Antar Putaran 2.5 Nilai Nilai 1.5 1 2 1.5 1 0.5 0.5 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Potensi Risiko Putaran II Potensi Risiko Putaran III Putaran II Nilai Range Antar Putaran Putaran III Nilai Median Antar Putaran 4 4 Nilai 5 Nilai 5 3 3 2 2 1 1 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Potensi Risiko Potensi Risiko Putaran II Putaran III Putaran II Putaran III Gambar 2 Proses Konsesus Kuisioner Delphi Dari hasil pengolahan data antar putaran II dan III Delphi ini tercapai konsesus. Konsesus terjadi dilihat dari beberapa analisis statistik yang menunjukkan konvergensi atau seragam. Secara umum untuk nilai rata-rata (mean) telah memenuhi nilai empat yang memiliki arti responden telah setuju terhadap pernyataan potensi risiko yang diidentifikasi. Untuk dua daftar tambahan potensi risiko yaitu (18) kurang ketersediaan budget untuk aktivitas improvement lean manufacturing dan (19) sulitnya merubah pola kerja (budaya) karena belum ada corporate culture (code of conduct) telah memenuhi rata-rata (mean) nilai empat menyatakan bahwa responden setuju dengan tambahan potensi risiko tersebut. ISBN: 978-602-70604-2-5 A-8-5 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 Nilai median dari putaran II ke putaran III menunjukkan kenaikan dan menunjukkan kompromis dinilai empat yang berarti setuju dengan potensi risiko. Akan tetapi pada potensi risiko nomer (17) yaitu materi dalam lean manufacturing training tidak tersampaikan dengan baik kepada peserta training bernilai tiga namun untuk nilai rata-rata poin tersebut sudah bernilai empat. Apabila dilihat dari nilai standar deviasi, range, dan inter quartille range juga mengalami penurunan dari putaran II ke putaran III. Hal tersebut menunjukkan bahwa potensi risiko nomer (17) juga mengalami kompromis. Potensi risiko nomer (18) juga berlaku demikian. Nilai standar deviasi secara umum antar putaran II dan III mengalami trend penurunan. Perubahan nilai standar deviasi memiliki range yang cukup besar (tinggi) pada beberapa potensi risiko antara lain potensi risiko nomer (9) yaitu karyawan kurang dapat merasakan dampak dari aktivitas lean manufacturing sebesar 86%, (13) pencarian data masih manual karena sistem SAP belum mendukung secara optimal sebesar 66%, dan (17) materi dalam lean manufacturing training tidak tersampaikan dengan baik kepada peserta training sebesar 61%. Perubahan nilai standar deviasi 0% atau tetap terjadi pada potensi risiko nomer (3) yaitu action plan tidak bisa diselesaikan tepat waktu dari rencana. Namun adanya trend nilai standar deviasi yang menurun dari putaran II ke putaran III tersebut telah menunjukkan hasil konsesus. Nilai Inter Quartile Range (IQR) menyatakan lebar variasi yang terjadi pada data. Secara umum hasil putaran II ke putaran III menunjukkan penurunan nilai. Akan tetapi terdapat beberapa perbedaan nilai IQR naik dari putaran sebelumnya yaitu potensi risiko (1) kurangnya konsistensi dan komitmen manajemen jangka panjang dalam penerapan/pelaksanaan konsep lean manufacturing, (6) anggota tim kurang berperan (terlibat) dalam penerapan/pelaksanaan lean manufacturing, (10) karyawan kurang mendapatkan apresiasi/reward setelah lean manufacturing tercapai, dan (14) tidak terpenuhinya objective (target) KPI sesuai parameter SQCDP yang masing-masing potensi risiko tersebut memiliki kenaikan nilai rata-rata sebesar 25%. Namun demikian terdapat perubahan nilai IQR menurun sangat besar antara lain pada potensi risiko (4) kurangnya pengetahuan dan pemahaman karyawan dan manajemen tentang konsep, prinsip, dan tools lean manufacturing, (7) anggota tim kurang disiplin (waktu/intensitas kehadiran personil/administrasi seperti pengisian form, check list, bar chart) dalam SQCDP meeting, (9) karyawan kurang dapat merasakan dampak dari aktivitas lean manufacturing, (13) pencarian data masih manual karena sistem SAP belum mendukung secara optimal, dan (17) materi dalam lean manufacturing training tidak tersampaikan dengan baik kepada peserta training. Masing-masing potensi risiko tersebut memiliki penurunan sebesar 100%-175%. Apabila terjadi penurunan IQR menunjukkan semakin konvergen atau seragam. Dengan melihat nilai IQR yang memiliki perubahan IQR naik sedangkan nilai rata-rata (mean) konsesus maka hal tersebut juga menjadikan konsesus. Jangkauan antara nilai maksimum dan minimum (range) pada putaran II ke putaran III secara umum mengalami penurunan. Perubahan penurunan terjadi sangat besar pada potensi risiko nomer (9) karyawan kurang dapat merasakan dampak dari aktivitas lean manufacturing yang memiliki penurunan dari nilai 4 ke nilai 3. Namun juga terdapat potensi risiko yang tidak mengalami perubahan nilai yaitu potensi risiko (3) action plan tidak bisa diselesaikan tepat waktu dari rencana dan (7) anggota tim kurang disiplin (waktu/intensitas kehadiran personil/administrasi seperti pengisian form, check list, bar chart) dalam SQCDP meeting. ISBN: 978-602-70604-2-5 A-8-6 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 KESIMPULAN DAN SARAN Kesimpulan dari penelitian ini menghasilkan daftar risiko yang telah diindentifikasi pada saat implementasi lean manufacturing di industri aerospace. Potensi risiko yang telah diidentifikasi telah mencapai proses konsesus setelah tiga kali putaran kuisioner Delphi. Adapun daftar potensi risiko diidentifikasi antara lain: 1. Kurangnya konsistensi dan komitmen manajemen jangka panjang dalam penerapan/pelaksanaan konsep lean. 2. Kurangnya dukungan manajemen dalam penyediaan fasilitas. 3. Action plan tidak bisa diselesaikan tepat waktu dari rencana. 4. Kurangnya pengetahuan dan pemahaman karyawan dan manajemen tentang konsep, prinsip, dan tools lean. 5. Anggota tim kurang termotivasi (tidak serius) dalam penerapan/pelaksanaan lean. 6. Anggota tim kurang berperan (terlibat) dalam penerapan/pelaksanaan lean. 7. Anggota tim kurang disiplin (waktu/intensitas kehadiran personil/administrasi seperti pengisian form, check list, bar chart) dalam SQCDP meeting. 8. Kurangnya komunikasi dan sosialisasi terstruktur dari manajemen kepada seluruh karyawan. 9. Karyawan kurang dapat merasakan dampak dari aktivitas lean. 10. Karyawan kurang mendapatkan apresiasi/reward setelah lean tercapai. 11. Rencana improvement belum terpetakan dengan baik. 12. Rencana improvement belum terpetakan dengan baik. 13. Pencarian data masih manual karena sistem SAP belum mendukung. 14. Tidak terpenuhinya objective (target) KPI sesuai parameter SQCDP. 15. Kurangnya ketersediaan data untuk VSM, sehingga terjadi kesalahan dalam pembuatan current VSM. 16. Tidak melakukan Tactical Improvement Plan (TIP) sungguh-sungguh. 17. Materi dalam lean training tidak tersampaikan dengan baik kepada peserta training. 18. Kurang ketersediaan budget untuk melakukan aktivitas improvement lean. 19. Sulitnya merubah pola kerja (budaya) karena belum ada corporate culture (code of conduct). Saran yang dapat diberikan dari pelaksanaan metode Delphi antara lain: 1. Dalam pengerjaan metode Delphi perlu dilakukan hati-hati dan teliti mulai dari pemilihan tim pemrasaran (tim monitor) sampai dengan pemilihan responden. Pada putaran awal diperlukan pertanyaan terbuka yang bertujuan untuk mendapatkan informasi lebih luas. 2. Tim pemrasaran (tim monitor) sebagai moderator dalam Delphi memiliki tanggung jawab penuh untuk mengarahkan hasil responden pada tiap putaran. Walaupun metode Delphi menggunakan alat survei berupa kuisioner tertulis namun perlu proses pendampingan pengisian untuk mengatasi masalah bias maksud pertanyaan. 3. Kuisioner metode Delphi dilakukan dengan pertanyaan yang jelas dan singkat. Pertanyaan atau pernyataan panjang belum tentu mampu dan mudah dipahami responden. ISBN: 978-602-70604-2-5 A-8-7 Prosiding Seminar Nasional Manajemen Teknologi XXIII Program Studi MMT-ITS, Surabaya 1 Agustus 2015 DAFTAR PUSTAKA Ciptomulyono, Udisubakti., (2001), “Integrasi Metode Delphi dan Prosedur Analisis Hierarkhis untuk Identifikasi dan Penetapan Prioritas Objektif/kriteria Keputusan”, Majalah IPTEK Jurnal Pengetahuan Alam dan Teknologi Volume 12 Nomor 1 Februari 2001. Lembaga Penelitian ITS. Crute, V., Ward., Y., Brown, S., dan Graves, A., (2003), “Implementing Lean in aerospacechallenging the assumptions and understanding the challenges”, Journal of Technovation (23), page 917-928. Hsu, Chia-Chien dan Sandford, Brian A., (2007), “The Delphi technique: Making Sense od Consensus”, A peer-reviewed electronic journal, Volume 12 Number 10. Marodin, Giuliano Almeida dan Saurin, Tarcisio Abreu, (2014), “Classification and Relationships between Risk that Affect lean Production Implementation: A study in Southern Brazil”, Journal of Manufacturing Technology Management, Volume 26 Number 1, page 57-79. Markmann, Christoph., Darkow, Inga-Lena., Gracht, Heiko von der., (2012), “A Delphibased risk analysis-Identifying and assessing future challenges for supply chain security in a multi-stakeholder environment”, Technological Forecasting & Social Change (80), page 1815-1833. Narita, Putri., (2010), “Pemilihan Prioritas Pengembangan Sektor Industri Kecil Menengah Potensial di Kabupaten Bangkalan Pasca Pembangunan Jembatan Suramadu dengan Metode Delphi dan ANP”, Penelitian Tugas Akhir, ITS: Surabaya. Okoli, C and Pawlowski, S.D., (2004), “The Deplhi Method as a Research Tool: An Example, Design Considerations and Applications”, Information and Management Journal (42), page 15-29. Rathje, Maike Scherrer., Boyle, Todd A., Deflorin, Patricia, (2009), “Lean, take two! Reflections From The Second Attempt At Lean Implementation”, Journal of Business Horizons (52), page 79-88. Schmidt, R.C., Lyytinen, K., Keil, M., Cule, P., (2001), “Identifying software project risks: an international Delphi Study”, Journal of Management Informastion Systems (17), page 5-36. Shah, Racha., Ward, Peter T., (2003), “Lean Manufacturing: context, practice bundles, and performance”, Journal of Operation Management (2), page 129-149. Susilo, Leo J., (2011), “Manajemen Risiko Berbasis ISO 31000 untuk Industri Nonperbankan”, PPM: Jakarta Pusat. Thakkar, J., Deshmukh, S.G., Gupta, A.D., Shankar, R., (2005), “Selection of Third-Party Logistics (3PL): A Hyrbrid Approach Using Interpretive Structural Modeling (ISM) and Analytical Network Process (ANP)”, An International Journal of Supply Chain, Volume 6. page 32-46. Yousuf, Muhammad Imran., (2007), “Using Experts’ Opinions Through Delphi Technique”, A peer reviewed electronic journal, Volume 12 Number 4. ISBN: 978-602-70604-2-5 A-8-8