Cara mengukur risiko dengan OKR yang lebih baik.

Saya telah menjadi penggemar berat Objective and Key Result (OKR) di perusahaan yang menganggapnya serius. Saya akan menjelaskan metode berpendapatan yang cocok dalam OKR dan mengukur pengurangan (atau peningkatan) risiko yang dipilih. Ini akan menginformasikan keputusan tim untuk mengurangi atau meningkatkan upaya rekayasa untuk mengurangi risiko tersebut di masa mendatang.

Metode ini mirip dengan bagaimana seorang ahli meteorologi meramalkan cuaca.

Untuk penyelaman mendalam ke dalam OKR, Anda dapat membaca ini, menonton ini, atau membaca ini.

OKR adalah cara sederhana untuk mengekspresikan tujuan motivasi dan berkomitmen untuk daftar pendek hasil terukur yang mendorong kelompok ke arah tujuan itu. Mereka kadang-kadang mengalir dari manajemen eksekutif ke semua karyawan. OKR adalah praktik umum di antara perusahaan teknologi dan banyak tim keamanan yang bekerja dengan saya.

Ambil, misalnya:

Tujuan: Meningkatkan otentikasi dari laptop pengembang ke dalam produksi.

Tujuan ini tidak buruk, tetapi banyak peluang pengukuran risiko terlewatkan.

Kami akan mengurangi risiko yang langka dan berdampak dengan metode yang dapat diukur.

Jenis risiko ini biasanya sulit diukur.

Data historis (tidak pernah terjadi) memberi informasi buruk tentang masa depan kita (bisakah itu terjadi?).

Dengan metode perkiraan dan estimasi, kita dapat mengukur seberapa besar kemungkinan skenario masa depan dapat terjadi, bahkan jika kita tidak memiliki data historis untuk skenario tersebut di masa lalu. Kami menggunakan "ketidakpastian" grup sebagai proksi risiko, dan kami akan mengukurnya. Kami akan mengelola bias kognitif yang terkait dengan perkiraan.

TUJUAN: Tulis tujuan dengan "skenario risiko".

Tujuan Anda adalah mengurangi risiko yang dinyatakan dalam skenario.

Di bawah ini adalah tujuan yang disebutkan sebelumnya yang ditulis untuk mengurangi risiko. Itu ditulis dengan beberapa ruang untuk perbaikan:

Tujuan: Meningkatkan otentikasi dari laptop pengembang ke dalam produksi.

Ini tidak selalu merupakan tujuan yang buruk, meskipun dapat ditingkatkan dengan menulis ulang sebagai skenario.

Tujuan: Mengurangi risiko "Musuh telah mengakses produksi dari laptop pengembang di Q3."

Mereka tampak serupa, bukan?

  • Perbedaan utama adalah bahwa suatu skenario adalah probabilistik. Frasa probabilistik dapat diperkirakan. Peramalan diriset dengan baik, dipahami secara umum (mis .: cuaca), kuantitatif, dan mengukur ketidakpastian Anda.

Ketidakpastian adalah hal yang ada di otak Anda yang membuat Anda mengangkat satu set pilihan, atau merasa kuat tentang salah satunya. Ternyata, ketidakpastian suatu kelompok dapat diukur secara langsung. Kami akan menjadikan ketidakpastian para ahli sebagai proksi untuk target pengukuran kami.

  • Perbedaan kecilnya adalah bahwa skenario itu menghargai kreativitas seorang insinyur.

Misalnya, apakah mengurangi jumlah pengembang yang memerlukan kredensial produksi meningkatkan otentikasi? Tidak, itu mencapai sedikit. Tapi itu akan mengurangi risiko, dan hasil utama lebih kompatibel dengan tujuan yang dimodifikasi. Itu adalah tujuan yang lebih baik, jadi mungkin hasil utama kami akan lebih baik sebagai hasilnya.

Sasaran "skenario risiko" tidak menentukan solusi. Itu hanya membuat perkiraan yang bersih. Skenario dapat melakukan pekerjaan yang lebih baik dalam mendefinisikan risiko sebagai peristiwa masa depan yang harus dihindari.

Skenario yang dapat diprediksi baik melibatkan campuran ancaman, vektor, aset, atau dampak. Anda dapat secara kreatif memutuskan lingkup atau risiko tertentu dengan menambahkan kekhususan penyempitan atau pelebaran. Prakiraan harus memutuskan jangka waktu yang konkret.

HASIL UTAMA: Pilih tonggak atau metrik, dan berkomitmen untuk perkiraan.

Pertama, hal-hal yang mudah. Hasil-hasil utama harus dapat diukur. Di masa-masa awal Google, Marisa Meyer berkata:

"Ini bukan hasil utama kecuali jika memiliki nomor."

Salah satu bentuk pengukuran sederhana adalah pencapaian biner: 1 untuk selesai, 0 jika tidak dilakukan. Misalnya: "Kami menambahkan aplikasi bisnis XYZ ke platform Single Sign On kami". Jika Anda melakukannya, Anda mendapat "1"!

Yang lain, adalah memilih metrik kuantitatif seperti "memperbaiki bug X" atau "mengurangi insiden X" atau "merekrut insinyur N". Ini diperlukan, umum, dan mewakili tujuan proyek dan metrik operasional. Anda mungkin terbiasa dengan ini. Mereka dapat membuat hasil kunci yang bagus juga.

Namun, mereka tidak benar-benar mengukur pengurangan risiko yang terkait dengan skenario kami. Sebaliknya, mereka adalah indikator lagging dari pekerjaan yang dilakukan. Pekerjaan ini telah menciptakan nilai dalam memitigasi risiko, tetapi Anda belum benar-benar mengukur pengurangan risiko. Anda hanya menganggap risiko berkurang, karena upaya Anda.

Tetapi seberapa banyak? Bagaimana jika itu benar-benar meningkat?

Membandingkan metrik keamanan versus pengukuran kepastian

Metrik keamanan tradisional sangat berguna untuk nilai informatif mereka. Mereka menginformasikan ketidakpastian kita terhadap risiko, tetapi tidak mewakili sifat risiko probabilistik, dan sering tidak mengungkapkan ketidakpastian besar yang dapat kita miliki tentang skenario tertentu.

Sebagai contoh, saya percaya bahwa hitungan historis kerentanan atau frekuensi regresi tidak secara langsung mengungkapkan risiko, tetapi tentu saja membantu menginformasikan ketidakpastian saya terhadap apakah skenario yang terkait akan terjadi atau tidak sebagai hasil dari data tersebut.

Ini karena nilai yang kami tetapkan untuk metrik individual berada dalam fluks konstan.

Metrik spesifik apa pun mungkin menjadi titik data paling informatif saya ... hingga sesuatu menggantikannya. Penghakiman saya akan mencabut data sebelumnya segera setelah mendengar informasi baru yang berteriak "oh sial" di hadapan data lama, atau model rapuh yang kami coba buat untuk masalah ini.

Sekarang mari kita ke "bagian yang sulit". Mari kita buat OKR ini.

Ini sebenarnya sangat mudah ketika Anda terbiasa.

Contoh OKR yang dirancang untuk diukur:

Seperti yang disebutkan, kami akan membangun OKR ini sehingga kompatibel untuk pengukuran risiko dengan teknik peramalan dan estimasi.

Berikut ini contoh OKR untuk tim keamanan AWS kecil:

Objektif:

Kurangi kemungkinan “Kredensial AWS produksi terpapar ke publik pada Q3”.

Hasil Utama:

  1. Komit yang menyebutkan AWS_SECRET_KEY muncul di slack #security.
  2. Pipa photobackup akan dipindahkan ke peran AWS.
  3. Selesaikan Monyet Keamanan Lengkap yang sedang menyiarkan deteksi kami saat panggilan.
  4. Selesaikan perkiraan sebelum & sesudah, dan perburuan CloudTrail.

Hasil utama pertama (1-3) tidak memerlukan diskusi. Itu hanya pekerjaan rekayasa pabrik, dan Anda dapat memilih apa pun yang Anda inginkan. Hasil Kunci terakhir (# 4) adalah apa yang akan kami fokuskan untuk maju.

Untuk mengukur skenario risiko ini, kami akan menggunakan panel perkiraan. Ini akan meningkatkan kemampuan kami untuk mengukur skenario risiko yang mendasari OKR secara probabilistik.

1. Sebelum Anda mulai bekerja: Prakiraan "dasar".

Mari kita asumsikan ini adalah OKR untuk kuartal ketiga tahun ini. Awal Juni, beberapa individu yang beragam dan terlatih yang mengenal OKR akan memperkirakan probabilitas skenario yang terjadi dalam hal probabilistik (Persentase keyakinan).

Peserta kami adalah Monyet (), Unicorn (), Sapi (), dan Penguin (). Kami secara singkat mengkalibrasi mereka untuk berpikir secara probabilistik (pelatihan online). Mereka memiliki akses ke metrik, model, post-mortem, audit konsultan, atau diagram infrastruktur apa pun yang tersedia. Semuanya bermanfaat dan menginformasikan perkiraan mereka.

Perkiraan di atas memiliki kepastian 78% bahwa perburuan CloudTrail tidak akan mengungkapkan insiden. Ada 14% kepastian bahwa suatu insiden dapat ditemukan, dan kepastian 6% bahwa kita akan berada dalam masalah besar.

Sekarang, pertimbangkan bahwa jawaban 33% dari panel untuk setiap kategori akan menunjukkan ketidakpastian total, seolah-olah mereka benar-benar tidak memiliki informasi atau pendapat. Skenario bisa ditulis dalam bahasa lain, misalnya. Bukan itu masalahnya di sini, para peserta tidak percaya bahwa setiap opsi sama dengan yang lain. Mereka berpikir sangat mungkin bahwa tidak ada insiden akan terjadi, mengingat pengetahuan mereka tentang lingkungan dan kemungkinan ancaman.

Dengan demikian, panel ini menyatakan pendapat dalam hal probabilitas bahwa kemungkinan besar tidak akan ada insiden dalam jangka waktu itu. Tapi, insiden yang ditemukan tidak sepenuhnya keluar dari pertanyaan. Itu terjadi di banyak perusahaan lain. Mereka harus percaya ada kemungkinan kecil itu bisa terjadi.

Bahkan, seorang panelis (Monyet ) tampaknya lebih pasti sesuatu akan ditemukan.

Tidak apa-apa kalau Monkey memiliki pendapat yang berbeda dari grup. Kami akan membahas ini nanti - panel tidak perlu setuju!

2. Sekarang lakukan pekerjaan Anda, buat kemajuan seperti biasa.

Pertengahan kuartal ini berfokus untuk memenuhi tujuan Anda seperti biasa. Kerjakan saja.

Seperti yang dinyatakan oleh tujuan kami, tim membangun peringatan, refactor aplikasi untuk menggunakan peran AWS, dan menyebarkan Security Monkey. Semoga mereka melakukannya dengan baik dan menyelesaikan semuanya!

Metode ini tidak memiliki pengaruh pada pekerjaan sehari-hari yang Anda lakukan. Ini hanya memandu pekerjaan menuju hasil yang terukur. Serang risikonya seperti biasa.

3. EOQ. Kami membuat kemajuan! Sekarang kita bandingkan dengan baseline.

Kami berkomitmen untuk melakukan dua hal di akhir kuartal.

Pertama, kami mengerahkan upaya memburu log CloudTrail dengan cermat, dan melihat apakah kami dapat menyingkirkan insiden P0 dari upaya investigasi kami.

Kedua, panel mengukur lagi, kecuali dengan ketidakpastian kami untuk kuartal berikutnya (Q4).

Panel kami dipersenjatai dengan pengetahuan baru. Kemajuan kuartal ini dan hasil perburuan CloudTrail akan sangat mengubah pendapat kami tentang skenario ini.

Mari kita asumsikan tim berhasil dalam Hasil Utama mereka yang lain dan penilaian pelanggaran kembali bersih.

Kami memperkirakan lagi. Inilah hasilnya.

Sekarang kita bisa mengamati berapa banyak kepastian yang didapat, atau hilang, berdasarkan upaya mereka. Dalam contoh ini, kepercayaan kami cenderung lebih baik menuju kepastian (jauh dari 33%). Apakah pekerjaan kami memengaruhi kepastian panel kami? Panel ini percaya demikian.

Dalam hal ini, kami meningkatkan kepastian tentang risiko ini. Kami memiliki peningkatan kuantitatif 5% ke arah yang benar.

4. Buat keputusan kepemimpinan yang dipandu oleh data.

Sekarang Anda dipersenjatai untuk pengambilan keputusan yang efektif.

Ini tampaknya memperkirakan pelanggaran dalam satu dari setiap sepuluh kuartal.

  • Apakah itu cukup baik?
  • Apakah kita ingin meningkatkan itu lebih lanjut, atau kita menghadapi risiko lain?
  • Apa ambang batas yang dapat kami terima?
  • Berapa banyak upaya dan sumber daya yang kita butuhkan untuk melampaui itu?

Kenapa pendekatan ini?

Manusia dibangun untuk memproses sumber informasi yang berbeda, dan dengan cepat menyerap informasi baru untuk membuat keputusan.

Sepanjang kuartal, kita pasti akan mendapatkan informasi yang mengubah tingkat kepastian kita tentang risiko yang kita pilih.

Informasi ini berasal dari banyak tempat: Pekerjaan langsung itu sendiri, tren industri, pelanggaran, mungkin laporan kerentanan di bidang infrastruktur lainnya, penelitian eksploitasi kita sendiri, tweet pengungkapan bom, dll.

Namun, kepercayaan kami pada sumber-sumber informasi ini adalah dinamis. Kami tidak dapat bergantung pada metrik individual dan statis untuk mewakili risiko kami, karena nilai pengambilan keputusannya berubah dengan cepat. Kami dapat menggunakan kepastian kami sendiri sebagai proksi untuk risiko-risiko ini, yang diketahui dapat diukur, banyak diteliti, dengan meningkatkan panduan tentang peningkatan metode perkiraan sebagai instrumen pengukuran.

Faktanya, elisitasi pakar merupakan faktor penting dalam Penilaian Risiko Probabilistik di industri lain, seperti Nuklir, Aerospace, dan Lingkungan.

Itu bukan hal baru, hanya baru bagi kami.

Isolasi terhadap risiko bias.

Peramalan berbahaya jika tidak didekati dengan keras. Bias kognitif diteliti dengan baik, dan temuan-temuan itu perlu sering diulang. Ada berbagai mitigasi untuk risiko peramalan buruk.

Penelitian berpendapat bahwa peramalan dapat ditingkatkan ketika:

  1. Panelis dilatih untuk berpikir secara probabilistik dan tentang bias.
  2. Panelis bekerja sama untuk menggabungkan dan memperlancar dampak bias. Keragaman dalam perspektif adalah kuncinya!
  3. Panelis berulang kali dihadapkan dengan hasil perkiraan mereka (Kalibrasi). (Pelatihan Daring, Pembukaan Penghakiman yang Baik, Kalibrasi Keyakinan)
  4. Panelis didorong untuk menguraikan skenario menjadi bagian-bagian yang lebih terperinci, dan diberi akses transparan ke data yang tersedia yang mereka butuhkan untuk memahaminya.
  5. Pemahaman yang kuat tentang “Black Swan” sejati. Mereka menipu peramal.
  6. Jangan mencoba memperkirakan dan memitigasi setiap risiko, bersiaplah untuk kegagalan yang tak terhindarkan.
  7. Pisahkan promosi dan gaji dari hasil OKR & perkiraan untuk menghindari sandbagging, yang sudah menjadi masalah dalam manajemen kinerja karyawan.

Cukup bertanya kepada panelis tentang perkiraan "berpikir cepat!" Pasti akan memberikan hasil yang buruk. Pendekatan yang ketat memiliki biaya pengukuran (pertemuan) yang lebih tinggi, tetapi jauh lebih mudah daripada metode dengan spreadsheet matriks risiko buruk.

Tapi ... saya selalu "menganggap pelanggaran", jadi ini tidak berhasil!

Sangat valid untuk menganggap bahwa Anda dilanggar. Saya akan memberikan peluang yang sangat tinggi kepada organisasi mana pun (99%) bahwa di suatu tempat, dengan tingkat keparahan apapun, memiliki semacam aktivitas permusuhan pada sistem yang mereka miliki. Itulah yang artinya “menganggap pelanggaran” bagi saya.

Namun, tidak sehat untuk percaya bahwa setiap komponen dari setiap sistem dikompromikan oleh setiap musuh pada setiap waktu tertentu. Orang-orang yang rasional, bahkan pengumbar FUD, jangan sampai sejauh ini ke ujung yang dalam.

Pikiran pesimistis mendalam yang rasional masih menyisakan ruang untuk keraguan, hanya lebih atau kurang dari yang lain. Jika Anda memiliki keyakinan bahwa upaya individu akan meningkatkan risiko, maka Anda dapat mengukur pengurangan ketidakpastian dalam hal probabilistik. Seorang pesimis tentu tidak percaya bahwa pekerjaan mereka memperburuk keadaan, misalnya.

Singkatnya, bahkan garis dasar pesimistis dapat ditingkatkan, dan memiliki beberapa pesimis dalam sebuah panel sebenarnya adalah hal yang sangat, sangat baik.

Masa depan estimasi dan perkiraan risiko

Selama banyak kuartal, kita dapat meningkatkan metode probabilistik lebih jauh. Kami dapat memperkenalkan Tim Merah, Skor Brier, dan pengambilan sampel industri untuk memandu perkiraan kami. Kami dapat menyetujui nilai data dan melihatnya berfluktuasi. Kami dapat "Chatham House" atau menganonimkan prakiraan untuk dibagikan dengan tim keamanan rekan.

Kita dapat memasukkan hasil perkiraan ke dalam simulasi Monte Carlo, memungkinkan kita untuk menarik pelajaran dan keahlian dari NASA, Perizinan Nuklir, dan bidang lain yang lebih jauh dari keamanan dunia maya dalam memahami risiko ekstrem.

Ada banyak peluang bagi organisasi untuk mengadopsi praktik peramalan risiko. Energi yang luar biasa tidak diperlukan untuk menghasilkan hasil yang baik. Memulai dari yang kecil, seperti dengan OKR berbasis risiko, dapat secara nyata mengurangi risiko bagi organisasi Anda, dan menempatkan organisasi Anda pada jalur menuju risiko kuantitatif.

Kesimpulan

OKR adalah cara umum untuk memandu tim teknik. Membuat OKR yang kompatibel dengan teknik estimasi dan peramalan dapat memungkinkan kita untuk mengukur kemajuan dalam pengurangan risiko dengan lebih baik.

Metode-metode ini tidak mengganggu “bagaimana” suatu tim melakukan pekerjaan mereka, itu hanya mengukur “berapa banyak” yang mungkin berubah sebagai hasilnya. Jika saat ini Anda tidak memiliki metode untuk mengukur risiko, maka metode kuantitatif apa pun harus lebih baik daripada yang Anda miliki. Strategi ini memiliki dampak minimal pada praktik rekayasa sambil menyelaraskan tim ke tingkat pengurangan risiko yang terukur.

Bacaan lebih lanjut

Peramalan Risiko: Presentasi tingkat tinggi tentang metode ini.

Analisis Risiko Sederhana: Menyelam dalam-dalam tentang risiko perkiraan.

Killing Chicken Little: Menjelajahi keterbatasan dan peluang peramalan risiko.

Mengurai Risiko Keamanan Menjadi Skenario: Memecah risiko menjadi hierarki skenario, dari skenario luas menjadi skenario yang lebih terperinci.

Berpikir Cepat dan Lambat: Penelitian pemenang hadiah Nobel tentang kesalahan kognisi manusia, sebagian besar dalam bentuk bias.

Superforecasting: Meneliti bagaimana kesalahan kognisi dapat dikurangi dan dipersenjatai menjadi tim peramalan yang efektif.

Cara Mengukur Apa Pun dalam Risiko Keamanan Siber: Sumber yang bagus dalam pertahanan peramalan sebagai metode pengukuran. Debat yang kuat yang mempromosikan peran pengukuran dalam pengambilan keputusan.

Ryan McGeehan menulis tentang keamanan di Medium.