Bab 1 Sebuah Pengantar Desain Experimental Research Philip Kas, Tino Stankovi C dan Mario Štorga Abstrak Desain penelitian menyatukan pengaruh dari seluruh gamut dari ilmu-ilmu sosial, psikologis, dan lebih teknis untuk menciptakan tradisi studi empiris peregangan kembali lebih dari 50 tahun (Horvath 2004 ; Menyeberang 2007 ). Sebuah bagian yang tumbuh dari tradisi empiris ini eksperimental, yang telah memperoleh pentingnya sebagai lapangan telah matang. Seperti dalam disiplin ilmu berkembang lainnya, psikologi perilaku misalnya, pematangan ini membawa dengan itu semakin besar tuntutan ilmiah dan metodologis (Reiser 1939 ; Dorst 2008 ). Secara khusus, paradigma eksperimental memiliki tantangan yang berbeda dan signifikan bagi peneliti desain modern. Dengan demikian, buku ini membawa bersama-sama peneliti dari seluruh penelitian desain terkemuka untuk memberikan pembaca dengan dasar dalam penelitian desain eksperimen; apresiasi mungkin perspektif eksperimental; dan wawasan tentang bagaimana eksperimen dapat digunakan untuk membangun pengetahuan ilmiah yang kuat dan signifikan. Bab ini menetapkan panggung untuk diskusi ini dengan memperkenalkan desain penelitian eksperimental, menguraikan berbagai jenis pendekatan eksperimental, dan menjelaskan peran buku ini dalam konteks metodologis yang lebih luas. Kata kunci ilmu desain · studi eksperimental · Metode penelitian P. Cash (*) Departemen Teknik Manajemen, Technical University of Denmark, Diplomvej, 2800 Lyngby, Denmark e-mail: [email protected] T. Stankovi C Rekayasa Desain dan Laboratorium Komputasi, Jurusan Teknik Mesin dan Proses, Swiss Federal Institute of Technology Zurich, Zurich, Swiss M. Štorga Fakultas Teknik Mesin dan Naval Arsitektur, Universitas Zagreb, Zagreb, Kroasia © Springer Internasional Publishing Swiss 2016 P. Cash et al. (Eds.), Eksperimental Desain Penelitian, DOI 10,1007 / 978-3-319-33781-4_1 3 P. Cash et al. 4 1.1 Peran Tumbuh dari Eksperimentasi dalam Desain Penelitian Selama 50 tahun terakhir, penelitian desain telah melihat sejumlah pergeseran paradigma dalam budaya ilmiah dan empiris. Dimulai pada tahun 1960-an dan 1970-an, para peneliti khawatir dengan menjawab apa ilmu desain benar-benar berarti dan bagaimana praktek-praktek ilmiah harus disesuaikan agar sesuai bidang ini muncul di mana pemecahan masalah dan pemahaman ilmiah bersama prioritas (Simon 1978 ; Hubka 1984 ; Eder 2011 ). Ini adalah upaya besar pertama untuk beradaptasi dan mengembangkan metode dan proses dari domain ilmiah ke ' ilmu desain ', Di mana para peneliti juga khawatir dengan mengubah praktek desain. Upaya ini berasal dari dorongan untuk mengembangkan pengetahuan desain dan metode ilmiah yang baik mencerminkan fakta bahwa meskipun desain yang bersangkutan dengan artefak, merancang termasuk metode, proses, dan alat-alat tidak langsung tertanam dalam praktek sehari-hari. Pada 1980-an, paradigma baru muncul, ditandai dengan perkembangan ' studi desain '. Hal ini didorong oleh fokus yang tumbuh pada pemahaman dan rasionalisasi proses desain kreatif perilaku desainer dan kognisi. paradigma baru ini juga terkait dengan munculnya penelitian desain komputer-didukung (lihat Bagian III). Pada 1990-an, ada langkah untuk membawa koherensi ke lapangan dengan menyatukan studi desain dan ilmu desain paradigma di bawah label yang lebih luas desain penelitian, yang lebih lengkap ditangkap aspek teoritis, empiris, dan pragmatis penelitian ke dalam desain. Ini juga mencerminkan upaya yang lebih besar untuk menyatukan kelompok penelitian sebelumnya yang berbeda dan pendekatan empiris dalam satu bidang, menyatukan penelitian dan aplikasi industri. Upaya ini telah memicu perkembangan terbaru sejak tahun 2000an: drive untuk membawa bersama-sama disiplin bervariasi dalam penelitian desain dan untuk menghidupkan kembali proses yang sulit membawa ketertiban dan meningkatkan kekakuan ilmiah untuk penelitian desain empiris (Brandt dan Binder 2007 ; Dorst 2008 ). Hal ini telah tercermin dalam fokus baru pada pengembangan metode penelitian lapangan-spesifik (Ball dan Ormerod 2000a ), Sebuah prioritas kekakuan teoritis dan empiris (Dorst 2008 ), Dan munculnya metodologi penelitian desain khusus (Blessing dan Chakrabarti 2009 ). Dengan demikian, panggung diatur untuk diskusi kita eksperimen dalam konteks yang lebih luas dari desain penelitian empiris. studi empiris dalam penelitian desain memberikan dasar untuk pengembangan kedua pengetahuan ilmiah tentang dan bimbingan berdampak untuk desain (lihat Bab. 2 , Dan Bagian IV). Lebih formal, studi empiris mendukung siklus bangunan teori / pengujian diilustrasikan oleh kalangan hitam seperti ditunjukkan pada Gambar. 1.1 (Eisenhardt 1989 ; Eisenhardt dan Graebner 2007 ). wawasan empiris digunakan untuk menurunkan perspektif baru dan membangun penjelasan, serta untuk menguji mereka penjelasan (Carroll dan Swatman 2000 ; Gorard dan Masak 2007 ). Empirisme merangkum semua sarana beragam berasal bukti dari pengamatan langsung atau tidak langsung atau pengalaman. Eksperimen demikian membentuk salah satu bagian dari lingkungan empiris yang lebih luas. Dalam konteks penelitian desain dan untuk tujuan membuka buku ini, eksperimen dapat didefinisikan sebagai “ rekaman pengamatan, kuantitatif atau kualitatif, dibuat oleh operasi didefinisikan dan dicatat dan dalam kondisi yang ditetapkan, 1 Pengantar Eksperimental Desain Penelitian 5 Gambar. 1.1 bangunan teori dan pengujian sebagai siklus terpadu empirisme, dan link ke eksperimen diikuti dengan pemeriksaan data, oleh aturan statistik dan matematika yang sesuai, untuk adanya hubungan yang signifikan ”(Nesselroade dan Cattell 2013 , 11:22). Ini biasanya berikut (meskipun tidak terbatas pada) proses induksi, deduksi, dan pengujian (Nesselroade dan Cattell 2013 ) Dalam mendukung siklus teori bangunan / pengujian (lingkaran putih pada Gambar. 1.1 ). eksperimen yang efektif merupakan bagian inti dari elucidating variabel tertentu, mengembangkan dan menguji hubungan / hipotesis, dan membandingkan kekuatan prediksi dari teori yang bersaing (Wacker 1998 ; Salju dan Thomas 2007 ). Hal ini penting untuk mengenali bahwa perspektif ini membatasi fokus diskusi kita dengan tidak termasuk pengamatan atau dorongan kejadian unik dan tak tertandingi tapi diamati dan dimanipulasi, yang mungkin disebut sebagai percobaan oleh seorang peneliti tindakan. Untuk lebih lanjut tentang pengembangan eksperimen dalam psikologi, melihat Nesselroade dan Cattell ( 2013 ), Dan untuk pembahasan secara substansial lebih rinci tentang bagaimana eksperimen cocok dengan bangunan teori dalam penelitian desain, lihat Bab. 12 , Dan Bagian IV lebih umum. Selama 20 tahun terakhir, pentingnya eksperimen telah terus tumbuh dalam desain penelitian. Misalnya, pada tahun 1990, hanya 2% (1 dari 43) makalah dalam Studi Desain ditangani dengan percobaan, sementara pada 2014, angka itu adalah 24% (8 dari 33) (ScienceDirect 2015 ). 1 Eksperimen dalam berbagai bentuknya semakin diakui sebagai alat yang kuat untuk melaksanakan penelitian desain (lihat Bagian I, Chap. 3 ). Namun, ini membawa peningkatan permintaan dalam hal bagaimana dan di mana teknik eksperimental dapat diterapkan, kekakuan metodologis, dan generasi pengetahuan ilmiah (Kas dan Culley 2014 ; Kas dan Piirainen 2015 ). Desain 1 Kata kunci: percobaan di abstrak, judul atau kata kunci 1990-2015. P. Cash et al. 6 penelitian adalah bidang yang relatif muda dan dengan demikian masih dalam proses pengembangan praktik terbaik metodologis dan ilmiah sendiri. pengembangan lapangan-spesifik ini adalah kunci untuk membangun tubuh ketat metode dan pengetahuan ilmiah dalam disiplin (lihat Bagian I, Chap. 3 ) (Kitchenham et al. 2002 ; Berkat dan Chakrabarti 2009 ). Dengan demikian, buku ini berusaha untuk mengatasi kebutuhan untuk mengembangkan tradisi eksperimen yang disesuaikan dengan tantangan-tantangan khusus dari desain penelitian, sementara juga menyatukan pelajaran dari berbagai bidang yang desain penelitian terkait. Dalam rangka untuk mengatasi kebutuhan ini, pertama-tama perlu untuk memperjelas apa yang kita maksud ketika kita berbicara tentang eksperimen dalam penelitian desain. 1.2 Eksperimental Desain Penelitian Paradigma ilmiah dapat umumnya ditandai sebagai generasi pengetahuan yang dapat diandalkan tentang dunia (lihat Bab. 13 untuk lebih). Secara umum, hal ini mengakibatkan kecenderungan, yang paling penting dalam ilmu alam, untuk mengambil produksi pengetahuan eksperimental untuk diberikan dan untuk fokus pada teori (Radder 2003 ). Namun, perspektif ini dapat menipu sepihak, terutama dalam konteks terapan penelitian desain. Di sini, pengembangan eksperimen secara intrinsik terkait dengan perkembangan teknologi (Ubin dan Oberdiek 1995 ; Radder 2003 ). metode eksperimental membangun (sering dirancang khusus) teknologi dan wawasan teknis (misalnya lihat Bab. 6 ), Sementara secara bersamaan memberikan kontribusi untuk inovasi teknologi dan pemahaman teknis (misalnya lihat Bagian III). Dengan demikian, ada sejumlah persamaan antara realisasi proses eksperimental dan proses-proses perkembangan teknologi yang sering membentuk fokus penelitian desain. Hal ini sangat penting dalam ilmu-ilmu sosial dan manusia, ekonomi misalnya, sosiologi, kedokteran, dan psikologi, di mana kegiatan eksperimental membentuk bagian penting dari usaha ilmiah yang lebih luas. Dilematis dalam konteks ini, pembahasan filosofis sekitarnya penelitian eksperimental dibangun hampir secara eksklusif pada ilmu-ilmu alam. Dengan demikian, ada kebutuhan yang signifikan untuk mengembangkan pemahaman metodologis dan ilmiah dari eksperimen yang mencerminkan tantangan yang unik dalam ilmu-ilmu manusia (lihat, misalnya Winston dan Blais 1996 atau Guala 2005 ), Yang desain penelitian adalah bagian. Dalam penelitian desain eksperimen, diskusi ini baru lahir dan membentuk alasan utama untuk pengembangan buku ini. Inti untuk usaha ini adalah kesadaran bahwa desain penelitian eksperimental menyangkut manusia dan dengan demikian menghadapi serangkaian tantangan tidak sepenuhnya tercermin diskusi eksperimen dalam ilmu alam (Radder 2003 ). Secara khusus, subyek manusia seringkali menyadari, secara aktif menafsirkan, dan bereaksi terhadap apa yang terjadi dalam percobaan. Selanjutnya, kesadaran ini dapat mempengaruhi respon subyek untuk percobaan, sering di atas dan di luar respon intervensi yang sebenarnya dimaksudkan oleh eksperimen. Tantangan ini tercermin dari bias seperti efek John Henry, dan teknik metodologis seperti kontrol plasebo, yang juga diakui dalam, misalnya, ilmu kedokteran (Glasgow dan Emmons 2007 ), Tetapi hanya mulai diakui dan dibahas dalam penelitian desain (Dyba dan Dingsoyr 2008 ; Kas dan Culley 2014 ). 1 Pengantar Eksperimental Desain Penelitian 7 Lebih luas isu-isu bias dan kontrol hanya salah satu pertimbangan ketika berhadapan dengan subyek manusia. Dari perspektif sosial budaya, ilmu pengetahuan berurusan dengan subyek manusia juga harus menghormati perspektif yang masuk akal pada manusia. Di sini, isu-isu sosial dan etika adalah hal yang terpenting. Radder ( 2003 , 274) menyatakan “ siapa yang berhak menentukan sifat manusia: para ilmuwan atau masyarakat itu sendiri? ”Dari ini, adalah mungkin untuk menarik kesejajaran dengan diskusi yang mendukung praktek desain, yaitu bagaimana desainer dapat mempengaruhi pengguna etis (Berdichevsky dan Neuenschwander 1999 ; Lilley dan Wilson 2013 ). Dengan demikian, seperti desainer harus mempertimbangkan hak mereka untuk menafsirkan dan mempengaruhi pengguna, peneliti desain juga harus mempertimbangkan implikasi yang berasal dari interpretasi mereka dan mempengaruhi desainer. Ini membentuk batuan dasar di mana semua diskusi penelitian eksperimental harus membangun. Namun, itu bukan tujuan dari pekerjaan ini untuk membahas ini lebih lanjut, dan kami hanya menunjuk ke pedoman etika yang komprehensif yang disediakan oleh organisasi-organisasi seperti American Psychological Association ( 2010 ) Dan National Academy of Sciences ( 2009 ). Sebagaimana dibahas di atas, penelitian desain eksperimen merangkum berbagai desain penelitian, berbagi konvensi desain dasar (lihat Bagian I, Chap. 3 ). Meja 1.1 memberikan gambaran dari jenis dasar penelitian eksperimental, yang dijabarkan lebih lanjut sehubungan dengan desain penelitian di Chap. 12 . Ini tidak termasuk studi simulasi berbasis komputer, yang akan ditangani secara lebih rinci dalam Bagian III. Dengan demikian, Tabel 1.1 menggambarkan jenis pendekatan eksperimental, bagaimana masingmasing jenis mengontrol variabel asing, dan apa jenis bukti masing-masing mampu menghasilkan. Sebagai contoh, penelitian terbaru oleh Dong et al. ( 2015 ) Dimanfaatkan tugas acak dan antara kelompok desain, sehingga jenis percobaan yang benar. Sebaliknya, studi oleh Cash et al. ( 2012 ) Digunakan sejenis perbandingan betweengroup tetapi digunakan non-random tugas kelompok, sehingga jenis tabel 1.1 Sebuah gambaran dari jenis dasar desain eksperimental Jenis Ringkasan deskripsi percobaan acak atau Peserta secara acak ditugaskan untuk kondisi perawatan, termasuk benar kontrol (lihat juga percobaan terkontrol acak) Alat kontrol variabel asing dikontrol melalui tugas acak dan perbandingan dengan kondisi kontrol Mampu menunjukkan Sebab dan akibat, kualitas tinggi bukti Eksperimen semu ( eksperimen Peserta non-acak ditugaskan untuk kondisi perlakuan (peserta juga dapat alami) diberikan oleh kekuatan-kekuatan di luar peneliti mengontrol dalam kasus eksperimen alami) Alat kontrol variabel asing dikontrol melalui perbandingan dengan kondisi kontrol Mampu menunjukkan Korelasi Pre-eksperimen atau Mengikuti konvensi desain eksperimental, namun tidak ada kondisi kontrol yang digunakan. pseudo-eksperimen Kadang-kadang disebut pseudo-eksperimen Alat kontrol variabel asing dikurangi melalui perbandingan dengan kelompok tanpa perlakuan (yaitu kelompok yang tidak menerima intervensi sama sekali) atau menggunakan kelompok pra-desain tunggal dibandingkan pasca-desain Mampu menunjukkan Korelasi, lemah generalisability, rendahnya kualitas bukti P. Cash et al. 8 eksperimen semu. Dalam setiap jenis, ada banyak sub-tipe. Untuk penjelasan rinci dari pertimbangan desain eksperimen, misalnya memilih sampel yang tepat, lihat Bab. 3 . Memahami perbedaan antara jenis yang diuraikan dalam Tabel 1.1 dapat penting untuk menilai bukti-bukti yang diberikan oleh sebuah studi dan bagaimana hal ini dapat digunakan untuk mengembangkan pengetahuan ilmiah yang ketat (lihat Bagian IV). Dalam hal subjek, eksperimen dapat diterapkan pada tingkat kognitif atau organisasi, memanfaatkan klasik (Bagian II) atau pendekatan komputasi (Bagian III), dan termasuk bingkai waktu panjang atau pendek. Dengan demikian, integrasi mereka dengan metodologi yang lebih luas adalah penting jika bukti yang ketat dan tubuh kohesif pengetahuan ilmiah yang akan dikembangkan (Bagian I dan IV). Dalam penelitian desain eksperimen, tantangan ini integrasi lebih signifikan dari sebelumnya karena semakin pentingnya eksperimen berbasis komputer. Bangunan pada karya perintis dalam kecerdasan buatan di mana komputer yang terutama digunakan untuk simulasi, yang memungkinkan studi tentang berbagai model kognisi manusia (Weisberg 2006 ), Perkembangan terakhir dalam praktek ilmiah menyoroti potensi untuk eksperimen berbasis komputer. sarana baru untuk analisis otomatis, interpretasi data dan visualisasi, dan penyimpanan dan penyebaran mencerminkan hanya beberapa novel pendekatan dibuka oleh penelitian berbasis komputer (Radder 2003 ). Seperti sebelumnya metodologis paradigma shift (Bag. 1.1 ), Ini domain penelitian berkembang pesat menghadapi tantangan bagaimana mendefinisikan standar eksperimental dan prosedur yang sistematis, yang memastikan kedua justifiability dari metode eksperimen dan pengulangan dari data yang diperoleh. Namun, potensi peneliti desain sangat besar, terutama dalam ilmu muncul dari kompleksitas dan studi tentang akar sosiologis dan psikologis merancang (lihat Bagian III). Dengan demikian, buku ini membawa bersama-sama dan menghadapkan persamaan dan konflik antara desain penelitian eksperimental klasik dan komputasi agar dapat menyaring wawasan metodologi inti yang mendukung semua desain penelitian eksperimental, menjembatani metodologi dan metode, pendekatan, perspektif, dan aplikasi. 1.3 Tujuan Buku ini: Menghubungkan Metodologi, Metode, dan Aplikasi Dari Sekte. 1.1 dan 1.2 , Jelas bahwa eksperimen baik dijelaskan baik di tingkat metodologi dalam hal peran mereka dalam teori bangunan / pengujian (Gambar. 1.1 ) Dan metode khusus rinci tingkat (Tabel 1.1 ). Pada tingkat metodologi, banyak teks menawarkan bimbingan, misalnya, Blessing dan Chakrabarti ( 2009 ), Saunders et al. ( 2009 ), Atau Robson ( 2002 ) (Lihat juga Bagian IV). Demikian pula, di tingkat metode khusus, sms seperti yang oleh Kirk ( 2009 ) Atau Shadish et al. ( 2002 ) 1 Pengantar Eksperimental Desain Penelitian 9 mengeksplorasi desain eksperimental secara rinci (lihat juga Bagian II). Selanjutnya, ada banyak artikel membahas aspek-aspek tertentu dari metodologi eksperimental atau desain. Jadi, mengapa kebutuhan eksis dalam penelitian desain? Sebuah aspek yang tidak metodologi atau metode khusus teks berurusan dengan adalah bagaimana peneliti dapat beradaptasi atau mengadopsi wawasan ke dalam konteks spesifik bidang mereka sendiri. Ini kebutuhan untuk bidang khusus pengembangan dan adaptasi pada antarmuka antara metodologi dan metode disorot oleh berbagai penulis dalam penelitian desain (Ball dan Ormerod 2000b ; Berkat dan Chakrabarti 2009 , 8) dan bidang terkait, di mana upayaupaya serupa telah menerima dukungan yang signifikan (Levin dan O'Donnell 1999 ; Kitchenham et al. 2002 ). Elemen kunci yang mendorong adaptasi fieldspecific adalah integrasi antara metode tertentu dan tubuh yang lebih luas dari praktek penelitian dan metodologi, yaitu jalan tengah antara metodologi dan metode. Dengan demikian, itu adalah jalan tengah ini bahwa buku ini berusaha untuk mengisi, membantu eksperimen kontekstualisasi dalam penelitian desain dan mengeksplorasi bagaimana mereka dapat digunakan, disesuaikan dengan, dan dikembangkan dalam konteks desain penelitian seperti yang diilustrasikan pada Gambar. 1.2 . Buku ini secara eksplisit menjawab kebutuhan diartikulasikan dalam Sect. 1.1 : untuk mengembangkan tradisi eksperimen yang baik didasarkan pada metodologi yang ketat dan disesuaikan dengan tantangan-tantangan khusus dari desain penelitian; untuk mendukung peneliti desain sebagai berikut: • Menyatukan metodologi dan metode penelitian desain eksperimental. • Menjelajahi perspektif yang berbeda tentang bagaimana metode eksperimental dapat berhasil disesuaikan dengan konteks desain penelitian. • Membahas pendekatan untuk mengembangkan kekuatan ilmiah yang lebih besar dan praktek terbaik dalam desain penelitian eksperimental. • Membangun alat ilmiah lebih kuat dan metode untuk membentuk tubuh kohesif pengetahuan ilmiah. Gambar. 1.2 Jalan tengah antara metodologi dan metode P. Cash et al. 10 1.4 Struktur Buku Ini Sepanjang buku ini, bab penulis menarik pada berbagai perspektif dalam rangka memberikan landasan multifaset dalam pendekatan untuk, dan penggunaan, desain penelitian eksperimental dalam membangun pengetahuan ilmiah yang ketat. Ini disusun dalam empat bagian diuraikan di bawah ini dan diilustrasikan pada Gambar. 1.3 : bagian I Dasar-dasar desain penelitian eksperimental berkaitan dengan pengembangan tradisi desain penelitian eksperimental, perannya dalam lingkup yang lebih luas empirisme desain penelitian, dan dasar-dasar desain eksperimental. Bagian II pendekatan klasik untuk desain penelitian eksperimental penawaran dengan studi tentang individu dan tim, dan fitur kunci dari pemeriksaan mata pelajaran ini dalam konteks desain penelitian. bagian III Perhitungan pendekatan untuk desain penelitian eksperimental terlibat dengan penggunaan komputasi untuk melengkapi dan memperluas penelitian desain eksperimen klasik, serta perkembangan yang signifikan dalam bidang ini. bagian IV Membangun desain penelitian eksperimental penawaran dengan cara menggambar semua pendekatan dan perspektif bersama-sama dalam rangka membangun teori yang bermakna, tubuh kohesif pengetahuan ilmiah, dan model yang efektif dari desain. Gambar. 1.3 Ikhtisar isi buku ini dan struktur 1 Pengantar Eksperimental Desain Penelitian Referensi American Psychological Association (2010) prinsip-prinsip etis dari psikolog dan kode consaluran. Am Psychol 57: 1060-1073 Bola LJ, Ormerod TC (2000a) Menempatkan etnografi untuk bekerja: kasus untuk etnografi kognitif desain. Int J Hum Comput Stud 53: 147-168 Bola LJ, Ormerod TC (2000b) Menerapkan etnografi dalam analisis dan dukungan keahlian dalam desain teknik. Des Stud 21: 403-421 Berdichevsky D, Neuenschwander E (1999) Menuju etika teknologi persuasif. commun ACM 42: 51-58. doi: 10,1145 / 301.353,301410 Blessing LTM, Chakrabarti A (2009) DRM, Metodologi Penelitian Desain. Springer, New York Brandt E, Binder T (2007) desain penelitian eksperimental: silsilah, intervensi, argumen. Di: asosiasi internasional IASDR masyarakat penelitian desain, pp 1-18 Carroll JM, Swatman PA (2000) Terstruktur-kasus: kerangka metodologis untuk membangun theory dalam penelitian sistem informasi. Eur J Inf Syst 9: 235-242 Kas P, Culley S (2014) Peran studi eksperimental dalam penelitian desain. Dalam: Rodgers P, Yee J (Eds) The Routledge pendamping untuk merancang penelitian. Routledge, New York, pp 175-189 Cash P, Elias EWA, Dekoninck E, Culley SJ (2012) wawasan metodologis dari ketat Percobaan desain skala kecil. Des Stud 33: 208-235 Kas P, Piirainen KA (2015) Membangun tubuh kohesif pengetahuan desain: perkembangan dari perspektif penelitian ilmu desain. Dalam ICED 15 konferensi internasional tentang desain rekayasa. Milan, Italia (in press) Lintas N (2007) Empat puluh tahun penelitian desain. Des Stud 28: 1-4 Dong A, Lovallo D, Mounarath R (2015) Pengaruh penalaran abductive pada pemilihan konsep keputusan. Des Stud 37: 37-58. doi: 10,1016 / j.destud.2014.12.004 Dorst K (2008) Desain penelitian: revolusi-tunggu-to-terjadi. Des Stud 29: 4-11 Dyba T, Dingsoyr T (2008) studi empiris dari pengembangan perangkat lunak tangkas: review sistematis. Inf p'baru Technol 50: 833-859 Ernst Eder W (2011) Teknik ilmu desain dan teori sistem teknis: warisan Vladimir Hubka. J Eng Des 25: 361-385 Eisenhardt KM (1989) teori Bangunan dari penelitian studi kasus. Acad Manag Rev 14: 532-550 Eisenhardt KM, Graebner ME (2007) bangunan Teori dari kasus: peluang dan tantangan. Acad Manag J 50: 25-32 Glasgow RE, Emmons KM (2007) Bagaimana kita dapat meningkatkan terjemahan dari penelitian ke dalam praktek? Jenis bukti yang dibutuhkan. Annu Rev Kesehatan Masyarakat 28: 413-433 Gorard S, Masak TD (2007) mana bukti yang baik datang dari? Int J Res Cara Educ 30: 307-323 Guala F (2005) Metodologi ekonomi eksperimental. Cambridge University Press, Cambridge Horvath I (2004) Risalah tentang ketertiban dalam penelitian desain rekayasa. Res Eng Desain 15: 155-181 Hubka V (1984) Teori sistem teknis: dasar-dasar Konstruktionslehre ilmiah. Springer, Berlin Kirk RE (2009) desain eksperimental. Sage Publications, London, UK Kitchenham BA, Pfleeger SL, Pickard LM, Jones PW, Hoaglin DC, El-Emam K, Rosenberg J (2002) pedoman awal untuk penelitian empiris dalam rekayasa perangkat lunak. IEEE Trans p'baru Eng 28: 721-734 Nesselroade JR, Cattell RB (2013) Handbook psikologi eksperimental multivariat, vol 11. Springer Science & Media Bisnis Radder H (2003) Filosofi dari percobaan ilmiah. University of Pittsburgh Press, Pittsburgh Reiser OL (1939) Aristotelian, Galilea dan mode non-Aristotelian berpikir. Psychol Rev 46: 151-162 Robson C (2002) penelitian dunia nyata, vol 2. Wiley, Chichester Saunders MNK, Lewis P, Thornhill A (2009) Metode penelitian untuk mahasiswa bisnis, vol 3. Pearson, Essex ScienceDirect (2015) Science Direct: kertas repositori (Online). www.sciencedirect.com (2002) desain Shadish WR, Masak TD, Campbell DT Eksperimental dan quasi-eksperimental untuk umum inferensi kausal. Mifflin dan Perusahaan, Boston Simon HA (1978) Ilmu buatan. Harvard University Press Salju CC, Thomas JB (2007) metode penelitian lapangan dalam manajemen strategis: kontribusi ke bangunan teori dan pengujian. J Mengelola Stud 31: 457-480 Ubin M, Oberdiek H (1995) Hidup dalam budaya teknologi: alat manusia dan nilai-nilai kemanusiaan. Routledge Wacker JG (1998) Definisi teori: pedoman penelitian untuk berbagai teori-bangunan metode penelitian dalam manajemen operasi. J Oper Mengelola 16: 361-385 Weisberg RW (2006) Kreativitas: inovasi pemahaman dalam pemecahan masalah, ilmu pengetahuan, invention, dan seni. John Wiley & Sons Winston AS, Blais DJ (1996) Apa yang dianggap sebagai percobaan? Sebuah analisis transdisciplinary dari text buku, 1930-1970. Am J Psychol 109: 599-616 11
