Cara Kerja Deep Web

Betapa kusutnya jaring yang kita rajut. Sekitar 40 persen populasi dunia menggunakan Web untuk berita, hiburan, komunikasi, dan berbagai tujuan lainnya [sumber: Internet World Stats].

Namun meski semakin banyak orang masuk, mereka sebenarnya menemukan lebih sedikit data yang disimpan secara online. Itu karena hanya sebagian dari apa yang kita kenal sebagai World Wide Web yang mudah diakses.

Yang disebut Surface Web (Web Permukaan), yang kita semua gunakan secara rutin, terdiri dari data yang dapat ditemukan oleh mesin telusur dan kemudian ditawarkan sebagai tanggapan atas kueri Anda.

Tetapi dengan cara yang sama bahwa hanya puncak gunung es yang terlihat oleh pengamat, mesin pencari tradisional hanya melihat sejumlah kecil informasi yang tersedia - hanya 0,03 persen [sumber: OEDB].

Adapun sisanya? Banyak yang terkubur dalam apa yang disebut Deep Web. Deep Web (juga dikenal sebagai undernet, invisible Web dan hidden Web, di antara moniker lainnya) terdiri dari data yang tidak akan Anda temukan dengan pencarian Google sederhana.

Tidak ada yang benar-benar tahu seberapa besar Deep Web sebenarnya, tapi itu ratusan (atau mungkin bahkan ribuan) kali lebih besar dari Web permukaan. Data ini tidak selalu disembunyikan dengan sengaja. Sangat sulit bagi teknologi mesin pencari saat ini untuk menemukan dan memahaminya.

Ada sisi lain dari Deep Web yang jauh lebih suram dan terkadang lebih gelap, itulah sebabnya situs ini juga dikenal sebagai web gelap. Di Dark Web, pengguna benar-benar sengaja mengubur data. Seringkali, bagian Web ini hanya dapat diakses jika Anda menggunakan perangkat lunak peramban khusus yang membantu mengelupas lapisan Web gelap yang seperti bawang.

Perangkat lunak ini menjaga privasi sumber dan tujuan data dan orang yang mengaksesnya. Untuk para pembangkang politik dan penjahat, anonimitas semacam ini menunjukkan kekuatan besar dari Web gelap, yang memungkinkan transfer informasi, barang dan jasa, secara legal atau ilegal, hingga mengecewakan para penguasa di seluruh dunia.

Sama seperti mesin telusur yang hanya menggores permukaan Web, kami baru memulainya. Teruslah membaca untuk mengetahui betapa kusutnya Web kita sebenarnya.

Tersembunyi dari Situs Biasa

Web yang dalam sangat besar dibandingkan dengan Web permukaan. Saat ini Web memiliki lebih dari 555 juta domain terdaftar. Masing-masing domain tersebut dapat memiliki lusinan, ratusan atau bahkan ribuan sub-halaman, banyak di antaranya tidak dikatalogkan, dan dengan demikian termasuk dalam kategori Deep Web.

Meskipun tidak ada yang benar-benar tahu pasti, Deep Web mungkin 400 sampai 500 kali lebih besar dari web permukaan [sumber: BrightPlanet]. Dan permukaan dan Web yang dalam tumbuh semakin besar setiap hari.

Untuk memahami mengapa begitu banyak informasi tidak terlihat oleh mesin pencari, ada baiknya jika Anda memiliki sedikit latar belakang tentang teknologi pencarian. Anda dapat membaca semua tentangnya dengan Cara Kerja Mesin Pencari Internet, tetapi kami akan memberikan ikhtisar singkatnya di sini.

Mesin pencari biasanya membuat indeks data dengan mencari informasi yang disimpan di situs Web dan sumber online lainnya. Proses ini berarti menggunakan spider atau crawler otomatis, yang menemukan domain dan kemudian mengikuti hyperlink ke domain lain, seperti arakhnida yang mengikuti sulur halus web, dalam arti membuat peta Web yang luas.

Indeks atau peta ini adalah kunci Anda untuk menemukan data spesifik yang relevan dengan kebutuhan Anda. Setiap kali Anda memasukkan pencarian kata kunci, hasil muncul hampir seketika berkat indeks itu. Tanpanya, mesin pencari benar-benar harus mulai mencari miliaran halaman dari awal setiap kali seseorang menginginkan informasi, sebuah proses yang akan sulit dan menjengkelkan.

Tetapi mesin telusur tidak dapat melihat data yang disimpan di Deep web. Ada ketidakcocokan data dan kendala teknis yang mempersulit upaya pengindeksan. Ada situs Web pribadi yang memerlukan kata sandi login sebelum Anda dapat mengakses isinya.

Perayap tidak dapat menembus data yang memerlukan pencarian kata kunci di satu situs Web tertentu. Ada situs dengan akses berjangka waktu yang tidak lagi mengizinkan tampilan publik setelah batas waktu tertentu berlalu.

Semua tantangan itu, dan banyak lagi lainnya, membuat data lebih sulit ditemukan dan diindeks oleh mesin telusur. Teruskan membaca untuk mengetahui lebih banyak tentang apa yang memisahkan permukaan dan Web dalam.

Tepat Di Bawah Permukaan

Seperti yang telah kami catat, ada jutaan demi jutaan sub-halaman yang tersebar di jutaan domain. Ada halaman internal tanpa link eksternal. Ada posting blog yang tidak dipublikasikan atau tidak terdaftar, galeri gambar, direktori file, dan jumlah konten yang tak terhitung yang tidak dapat dilihat oleh mesin pencari.

Ini hanya satu contoh. Ada banyak situs web surat kabar independen yang online, dan terkadang, mesin pencari mengindeks beberapa artikel di situs tersebut. Hal ini terutama berlaku untuk berita utama yang mendapat banyak perhatian media. Pencarian cepat Google pasti akan mengungkap banyak lusinan artikel, misalnya, tim sepak bola Piala Dunia.

Tetapi jika Anda mencari cerita yang lebih tidak jelas, Anda mungkin harus pergi langsung ke situs surat kabar tertentu dan kemudian menelusuri atau mencari konten untuk menemukan apa yang Anda cari.

Hal ini terutama berlaku seiring bertambahnya usia sebuah berita. Semakin tua ceritanya, semakin besar kemungkinan itu hanya disimpan di arsip surat kabar, yang tidak terlihat di permukaan Web. Selanjutnya, cerita itu mungkin tidak langsung muncul di mesin telusur - jadi ini dianggap sebagai bagian dari Deep Web.

Potensi Deep Web

Data di Deep Web sulit dilihat oleh mesin telusur, tetapi tidak terlihat tidak berarti tidak penting. Seperti yang dapat Anda lihat, ada nilai yang sangat besar dalam informasi yang tersimpan di Deep Web.

Deep Web adalah gudang tanpa akhir untuk sejumlah informasi yang mencengangkan. Ada database teknik, semua jenis informasi keuangan, makalah medis, gambar, ilustrasi ... daftarnya terus berlanjut, pada dasarnya, selamanya.

Dan Deep Web semakin dalam dan semakin rumit. Agar mesin telusur dapat meningkatkan kegunaannya, pemrogramnya harus mencari cara untuk menyelami Web yang dalam dan menampilkan data ke permukaan. Entah bagaimana, mereka tidak hanya harus menemukan informasi yang valid, tetapi mereka harus menemukan cara untuk menyajikannya tanpa membebani pengguna akhir.

Seperti halnya bisnis lainnya, mesin pencari menghadapi masalah yang lebih berat daripada apakah Anda dan saya dapat menemukan resep renyah apel terbaik di dunia. Mereka ingin membantu kekuatan perusahaan menemukan dan menggunakan Deep Web dengan cara yang baru dan berharga.

Misalnya, insinyur konstruksi berpotensi mencari makalah penelitian di beberapa universitas untuk menemukan bahan bangunan jembatan terbaru dan terbaik. Dokter dapat dengan cepat menemukan penelitian terbaru tentang penyakit tertentu.

Potensinya tidak terbatas. Tantangan teknisnya menakutkan. Itulah daya tarik Deep Web. Namun ada juga sisi yang lebih suram dari Deep Web salah satu yang mengganggu banyak orang karena banyak alasan.

Darkness Falls

Deep Web mungkin merupakan negeri bayangan dengan potensi yang belum dimanfaatkan, tetapi dengan sedikit keterampilan dan sedikit keberuntungan, Anda dapat menerangi banyak informasi berharga yang ingin diarsipkan oleh banyak orang. Di Dark Web, di mana orang dengan sengaja menyembunyikan informasi, mereka lebih suka jika Anda mematikan lampunya.

Dark Web agak mirip dengan id Web. Ini pribadi. Ini anonim. Itu sangat kuat. Ia melepaskan sifat manusia dalam segala bentuknya, baik maupun buruk.

Hal-hal buruk, seperti biasa, menjadi berita utama. Anda dapat menemukan segala jenis barang dan aktivitas ilegal melalui situs gelap. Itu termasuk obat-obatan terlarang, p*rn*grafi anak, nomor kartu kredit curian, perdagangan manusia, senjata, hewan eksotik, media berhak cipta, dan apa pun yang dapat Anda pikirkan. Secara teoritis, Anda bahkan dapat, katakanlah, menyewa pembunuh bayaran untuk membunuh seseorang yang tidak Anda sukai.

Tetapi Anda tidak akan menemukan informasi ini dengan pencarian Google. Jenis situs Web ini mengharuskan Anda menggunakan perangkat lunak khusus, seperti The Onion Router, lebih dikenal sebagai Tor.

Tor adalah perangkat lunak yang diinstal ke browser Anda dan mengatur koneksi khusus yang Anda butuhkan untuk mengakses situs Web gelap. Secara kritis, Tor adalah teknologi terenkripsi yang membantu orang menjaga anonimitas online. Ini dilakukan sebagian dengan merutekan koneksi melalui server di seluruh dunia, membuatnya jauh lebih sulit untuk dilacak.

Tor juga memungkinkan orang mengakses apa yang disebut layanan tersembunyi, situs web bawah tanah yang terkenal dengan situs web gelapnya. Alih-alih melihat domain yang diakhiri dengan .com atau .org, situs tersembunyi ini diakhiri dengan .onion. Di halaman berikutnya kita akan mengupas lapisan beberapa bawang tersebut.

Menggetarkan Tor

Situs onion yang paling terkenal adalah Silk Road yang sekarang sudah tidak berfungsi, pasar online tempat pengguna dapat membeli obat-obatan, senjata, dan segala macam barang ilegal lainnya. FBI akhirnya menangkap Ross Ulbricht, yang mengoperasikan Silk Road, tetapi situs peniru seperti Black Market Reloaded masih tersedia.

Anehnya, Tor adalah hasil penelitian yang dilakukan oleh Laboratorium Riset Angkatan Laut AS, yang menciptakan Tor untuk pembangkang politik dan pelapor, memungkinkan mereka untuk berkomunikasi tanpa takut akan pembalasan.

Tor sangat efektif dalam memberikan anonimitas untuk kelompok-kelompok ini sehingga tidak butuh waktu lama bagi yang berpikiran kriminal untuk mulai menggunakannya juga.

Hal itu membuat penegak hukum AS berada dalam posisi ironis dalam upaya melacak penjahat yang menggunakan perangkat lunak yang disponsori pemerintah untuk menyembunyikan jejak mereka. Tor, tampaknya, adalah pedang bermata dua.

Anonimitas adalah bagian tak terpisahkan di Dark Web, tetapi Anda mungkin bertanya-tanya bagaimana transaksi terkait uang dapat terjadi ketika penjual dan pembeli tidak dapat mengidentifikasi satu sama lain. Di situlah Bitcoin masuk.

Jika Anda belum pernah mendengar tentang Bitcoin, itu pada dasarnya adalah mata uang digital terenkripsi. Seperti uang tunai biasa, Bitcoin bagus untuk segala jenis transaksi, dan terutama, ia juga memungkinkan anonimitas; tidak ada yang bisa melacak pembelian, ilegal atau lainnya.

Bitcoin mungkin menjadi mata uang masa depan, jenis uang yang terdesentralisasi dan tidak diatur yang bebas dari kendali pemerintah mana pun. Tetapi karena Bitcoin tidak didukung oleh pemerintah mana pun, nilainya berfluktuasi, seringkali dengan sangat liar.

Itu bukan tempat yang aman untuk menyimpan tabungan hidup Anda. Tetapi ketika dipasangkan dengan benar dengan Tor, itu mungkin hal yang paling dekat dengan cara yang sangat mudah untuk membeli dan menjual di Web.

Sisi Kegelapan yang Lebih Cerah

Web gelap memiliki nuansa yang tidak menyenangkan. Tapi tidak semua yang ada di sisi gelap itu buruk. Ada berbagai macam layanan yang tidak selalu melanggar hukum.

Dark Web adalah rumah bagi mesin pencari alternatif, layanan email, penyimpanan file, file sharing, media sosial, situs obrolan, outlet berita dan situs whistleblowing, serta situs yang menyediakan tempat pertemuan yang lebih aman bagi para pembangkang politik dan siapa pun yang mungkin menemukan diri mereka berada di pinggiran masyarakat.

Di zaman di mana pengawasan jenis NSA ada di mana-mana dan privasi tampak seperti sesuatu di masa lalu, Web gelap menawarkan sedikit kelegaan bagi orang-orang yang menghargai anonimitas mereka.

Mesin pencari Dark Web mungkin tidak menawarkan hasil pencarian yang dipersonalisasi, tetapi mereka tidak melacak perilaku online Anda atau juga menawarkan aliran iklan tanpa akhir. Bitcoin mungkin tidak sepenuhnya stabil, tetapi ia menawarkan privasi, yang tentunya tidak dimiliki oleh perusahaan kartu kredit Anda.

Untuk warga yang tinggal di negara-negara dengan pemimpin yang kejam atau penindas, Web gelap menawarkan cara yang lebih aman untuk berkomunikasi dengan individu yang berpikiran sama. Tidak seperti Facebook atau Twitter, yang mudah dipantau oleh otoritas yang ditentukan, Web gelap memberikan perlindungan yang lebih dalam dan tingkat keamanan bagi mereka yang akan menjelekkan atau berkomplot untuk melemahkan politisi atau penguasa perusahaan.

Sebuah makalah yang ditulis oleh para peneliti di University of Luxembourg berusaha untuk menentukan peringkat materi yang paling sering diakses di Dark Web. Apa yang mereka temukan adalah bahwa meskipun situs yang memperdagangkan aktivitas ilegal dan konten dewasa sangat populer, begitu pula mereka yang peduli dengan hak asasi manusia dan kebebasan informasi [Sumber: ArXiv].

Jadi meskipun Web gelap jelas memiliki sisi buruknya, ia juga memiliki potensi besar.

Lebih Dalam

Deep Web hanya semakin dalam. Penyimpanan pengetahuan manusia dan hal-hal sepele tumbuh lebih besar setiap hari, mempersulit upaya kami untuk memahami semuanya. Pada akhirnya, mungkin itulah tantangan terbesar di balik Internet yang kami buat.

Pemogram akan terus meningkatkan algoritme mesin telusur, membuatnya lebih baik dalam menggali lapisan Web yang lebih dalam. Dengan melakukan itu, mereka akan membantu para peneliti dan bisnis untuk menghubungkan dan referensi silang informasi dengan cara yang sebelumnya tidak pernah mungkin dilakukan.

Pada saat yang sama, tugas utama mesin pencari yang cerdas bukanlah sekadar mencari informasi. Apa yang Anda benar-benar ingin lakukan adalah menemukan informasi yang paling relevan. Jika tidak, Anda akan dibanjiri lautan data yang berantakan yang membuat Anda berharap tidak pernah mengeklik tombol penelusuran itu.

Itulah masalah yang disebut data besar. Data besar adalah sebutan untuk kumpulan data yang begitu besar sehingga menjadi tidak dapat dikelola dan tidak koheren. Karena Internet berkembang begitu cepat, seluruh dunia kita dibanjiri dengan data, dan sulit bagi siapa pun untuk memahami semuanya, bahkan semua komputer yang canggih dan serba tahu di markas Bing dan Google.

Seiring pertumbuhan Internet, setiap perusahaan besar menghabiskan lebih banyak uang untuk manajemen dan analisis data, baik untuk menjaga agar organisasi mereka tetap berfungsi dan juga untuk mendapatkan keunggulan kompetitif dibandingkan yang lain.

Menambang dan mengatur Deep Web adalah bagian penting dari strategi tersebut. Perusahaan-perusahaan yang belajar memanfaatkan data ini untuk keperluan mereka sendiri akan bertahan dan mungkin mengubah dunia dengan teknologi baru. Mereka yang hanya mengandalkan Web permukaan tidak akan bisa bersaing.

Sementara itu, Deep Web akan terus membingungkan dan mempesona semua orang yang menggunakan Internet. Ini berisi sejumlah pengetahuan yang memikat yang dapat membantu kita berevolusi secara teknologi dan sebagai spesies ketika terhubung ke potongan informasi lain.

Dan tentu saja, sisi gelapnya akan selalu mengintai, seperti yang selalu terjadi dalam sifat manusia. Deep Web berbicara tentang potensi yang tak terbayangkan dan tersebar tidak hanya di Internet, tetapi juga umat manusia.

Deep Web adalah tempat yang samar dan ambigu. Tetapi saat meneliti cerita ini, mudah untuk menyimpulkan setidaknya satu hal yang pasti, sebagian besar tajuk berita cenderung membuat sensasi Web gelap dan sisi yang lebih tersembunyi, dan jarang menyebutkan potensi Deep Web yang belum dimanfaatkan. Artikel tentang obat-obatan terlarang dan senjata jelas menarik lebih banyak pembaca daripada yang merinci tantangan teknis dalam mengumpulkan data dari Deep Web.

Membaca artikel negatif dan sesak dengan sebutir garam. Perlu diingat bahwa ada lebih banyak hal di Deep Web daripada elemen kriminal yang jelas. Saat para insinyur menemukan cara yang lebih baik dan lebih cepat untuk membuat katalog penyimpanan data Web, Internet secara keseluruhan dapat mengubah masyarakat kita dengan cara yang menakjubkan.