Alat apa yang digunakan python untuk menganalisis data?

Python telah menjadi pemikat para ilmuwan data untuk sementara waktu sekarang. Semakin saya berinteraksi dengan sumber daya, literatur, kursus, pelatihan, dan orang-orang di Ilmu Data, pengetahuan yang mahir tentang Python muncul sebagai aset yang baik untuk dimiliki. Karena itu, ketika saya mulai mengembangkan keterampilan Python saya, saya memiliki daftar pustaka Python yang harus saya ketahui. Beberapa saat kemudian…

Python telah menjadi pemikat para ilmuwan data untuk sementara waktu sekarang. 😀

Orang-orang di Data Science pasti tahu tentang library Python yang bisa digunakan di Data Science tetapi ketika ditanya dalam sebuah wawancara untuk menyebutkan atau menyebutkan fungsinya, kita sering meraba-raba atau mungkin tidak mengingat lebih dari 5 library (terjadi dengan saya. /)

Di sini hari ini, saya telah menyusun daftar 10 perpustakaan Python yang membantu dalam Ilmu Data dan periferalnya, kapan menggunakannya, apa saja fitur dan kelebihannya yang signifikan

Dalam cerita ini, saya telah menguraikan secara singkat 10 pustaka Python paling berguna untuk ilmuwan dan insinyur data, berdasarkan pengalaman dan eksplorasi saya baru-baru ini. Baca cerita selengkapnya untuk mengetahui tentang 4 perpustakaan bonus

Pandas adalah paket Python sumber terbuka yang menyediakan struktur data berkinerja tinggi, mudah digunakan, dan alat analisis data untuk data berlabel dalam bahasa pemrograman Python. Panda adalah singkatan dari Python Data Analysis Library. Siapa yang pernah tahu itu?

Kapan harus digunakan? . Ini dirancang untuk manipulasi, pembacaan, agregasi, dan visualisasi data yang cepat dan mudah

Panda mengambil data dalam file CSV atau TSV atau database SQL dan membuat objek Python dengan baris dan kolom yang disebut bingkai data. Kerangka data sangat mirip dengan tabel dalam perangkat lunak statistik, katakanlah Excel atau SPSS

Apa yang dapat Anda lakukan dengan Panda?

1. Mengindeks, memanipulasi, mengganti nama, menyortir, menggabungkan bingkai data
2. Perbarui, Tambah, Hapus kolom dari bingkai data
3. Hitung file yang hilang, tangani data yang hilang atau NAN
4. Plot data dengan histogram atau box plot

Ini menjadikan Pandas sebagai perpustakaan dasar dalam mempelajari Python untuk Ilmu Data

2. NumPy

Salah satu paket paling mendasar di Python, NumPy adalah paket pemrosesan array tujuan umum. Ini menyediakan objek dan alat array multidimensi berkinerja tinggi untuk bekerja dengan array. NumPy adalah wadah data multi-dimensi generik yang efisien

Objek utama NumPy adalah array multidimensi yang homogen. Ini adalah tabel elemen atau angka dari tipe data yang sama, diindeks oleh tupel bilangan bulat positif. Di NumPy, dimensi disebut sumbu dan jumlah sumbu disebut peringkat. Kelas array NumPy disebut ndarray alias array

Kapan harus digunakan? . NumPy memfasilitasi operasi matematika pada array dan vektorisasinya. Ini secara signifikan meningkatkan kinerja dan mempercepat waktu eksekusi

Apa yang dapat Anda lakukan dengan NumPy?

1. Operasi array dasar. tambahkan, gandakan, iris, ratakan, bentuk ulang, indeks array
2. Operasi array tingkat lanjut. stack array, dibagi menjadi beberapa bagian, broadcast array
3. Bekerja dengan DateTime atau Linear Algebra
4. Pengiris Dasar dan Pengindeksan Tingkat Lanjut di NumPy Python

3. SciPy

Pustaka SciPy adalah salah satu paket inti yang menyusun tumpukan SciPy. Sekarang, ada perbedaan antara SciPy Stack dan SciPy, perpustakaannya. SciPy dibangun di atas objek array NumPy dan merupakan bagian dari tumpukan yang menyertakan alat seperti Matplotlib, Pandas, dan SymPy dengan alat tambahan,

Pustaka SciPy berisi modul untuk rutinitas matematika yang efisien seperti aljabar linier, interpolasi, pengoptimalan, integrasi, dan statistik. Fungsionalitas utama perpustakaan SciPy dibangun di atas NumPy dan lariknya. SciPy memanfaatkan NumPy secara signifikan

Kapan harus digunakan? . Ini memiliki berbagai modul untuk melakukan tugas pemrograman ilmiah umum seperti aljabar linier, integrasi, kalkulus, persamaan diferensial biasa, dan pemrosesan sinyal

Ini tidak diragukan lagi favorit saya dan perpustakaan Python klasik. Anda dapat membuat cerita dengan data yang divisualisasikan dengan Matplotlib. Pustaka lain dari SciPy Stack, Matplotlib memplot gambar 2D

Kapan harus digunakan? . Ini sangat mirip dengan MATLAB yang tertanam dalam bahasa pemrograman Python

Apa yang dapat Anda lakukan dengan Matplotlib?

Histogram, plot batang, plot pencar, plot area ke plot pai, Matplotlib dapat menggambarkan berbagai macam visualisasi. Dengan sedikit usaha dan warna kemampuan visualisasi, dengan Matplotlib, Anda dapat membuat visualisasi apa saja

1. Plot garis
2. Plot pencar
3. Plot daerah
4. Bagan batang dan Histogram
5. Diagram lingkaran
6. Plot batang
7. Plot kontur
8. Plot bergetar
9. Spektogram

Matplotlib juga memfasilitasi label, kisi, legenda, dan beberapa entitas pemformatan lainnya dengan Matplotlib. Pada dasarnya, semua yang bisa digambar

5. Yg keturunan dr laut

Jadi ketika Anda membaca dokumentasi resmi di Seaborn, itu didefinisikan sebagai perpustakaan visualisasi data berdasarkan Matplotlib yang menyediakan antarmuka tingkat tinggi untuk menggambar grafik statistik yang menarik dan informatif. Sederhananya, seaborn adalah perpanjangan dari Matplotlib dengan fitur-fitur canggih

Jadi, apa perbedaan antara Matplotlib dan Seaborn?

Apa yang dapat Anda lakukan dengan Seaborn?

1. Menentukan hubungan antara beberapa variabel (korelasi)
2. Amati variabel kategori untuk statistik agregat
3. Menganalisis distribusi univariat atau bivariat dan membandingkannya di antara subset data yang berbeda
4. Plot model regresi linier untuk variabel dependen
5. Berikan abstraksi tingkat tinggi, kisi multi-plot

Seaborn adalah barang bekas yang bagus untuk perpustakaan visualisasi R seperti corrplot dan ggplot

Diperkenalkan ke dunia sebagai proyek Google Summer of Code, Scikit Learn adalah perpustakaan pembelajaran mesin yang tangguh untuk Python. Ini fitur algoritma ML seperti SVM, hutan acak, pengelompokan k-means, pengelompokan spektral, pergeseran rata-rata, validasi silang dan banyak lagi. Bahkan NumPy, SciPy, dan operasi ilmiah terkait didukung oleh Scikit Learn dengan Scikit Learn menjadi bagian dari SciPy Stack

Kapan harus digunakan? . Model pembelajaran yang diawasi seperti Naive Bayes untuk mengelompokkan data yang tidak berlabel seperti KMeans, Scikit learn akan menjadi pilihan Anda

Apa yang dapat Anda lakukan dengan Scikit Learn?

1. Klasifikasi. Deteksi spam, pengenalan gambar
2. Kekelompokan. Respon obat, Harga saham
3. Regresi. Segmentasi pelanggan, Pengelompokan hasil percobaan
4. Pengurangan dimensi. Visualisasi, Peningkatan efisiensi
5. Pemilihan model. Akurasi yang ditingkatkan melalui penyetelan parameter
6. Pra-pemrosesan. Mempersiapkan data input sebagai teks untuk diproses dengan algoritma pembelajaran mesin

Scikit Learn berfokus pada pemodelan data; . Kami memiliki NumPy dan Pandas untuk meringkas dan memanipulasi

7. TensorFlow

Kembali pada tahun 2017, saya menerima USB TensorFlow sebagai penghargaan karena telah menjadi pembicara yang luar biasa di acara Google WTM, haha. USB dimuat dengan dokumentasi resmi TensorFlow. Tanpa petunjuk pada saat itu tentang apa itu TensorFlow, saya mencarinya di Google

TensorFlow adalah library AI yang membantu developer membuat jaringan saraf berskala besar dengan banyak lapisan menggunakan grafik aliran data. TensorFlow juga memfasilitasi pembuatan model Deep Learning, mendorong kecanggihan dalam ML/AI, dan memungkinkan penerapan aplikasi yang didukung ML dengan mudah

Salah satu situs web paling berkembang di antara semua perpustakaan adalah TensorFlow. Raksasa seperti Google, Coca-Cola, Airbnb, Twitter, Intel, DeepMind, semua orang menggunakan TensorFlow

Kapan Menggunakan?

Apa yang harus dilakukan dengan TensorFlow?

1. Pengenalan Suara/Suara — IoT, Otomotif, Keamanan, UX/UI, Telekomunikasi
2. Analisis Sentimen — Sebagian besar untuk CRM atau CX
3. Aplikasi Berbasis Teks — Deteksi Ancaman, Google Terjemahan, balasan cerdas Gmail
4. Pengenalan Wajah — Wajah Dalam Facebook, Penandaan Foto, Smart Unlock
5. Time Series — Rekomendasi dari Amazon, Google, dan Netflix
6. Deteksi Video — Deteksi Gerakan, Deteksi Ancaman Real-Time di Game, Keamanan, Bandara

8. Keras

Keras adalah API tingkat tinggi TensorFlow untuk membuat dan melatih kode Deep Neural Network. Ini adalah pustaka jaringan saraf sumber terbuka dengan Python. Dengan Keras, pemodelan statistik, bekerja dengan gambar dan teks jauh lebih mudah dengan pengkodean yang disederhanakan untuk pembelajaran mendalam

Apa perbedaan antara Keras dan TensorFlow?

Keras adalah pustaka Python jaringan saraf sementara TensorFlow adalah pustaka sumber terbuka untuk berbagai tugas pembelajaran mesin. TensorFlow menyediakan API level tinggi dan level rendah sementara Keras hanya menyediakan API level tinggi. Keras dibangun untuk Python yang membuatnya lebih ramah pengguna, modular, dan dapat disusun daripada TensorFlow

Apa yang dapat Anda lakukan dengan Keras?

1. Tentukan persentase akurasi
2. Hitung fungsi kerugian
3. Buat lapisan fungsi kustom
4. Data bawaan dan pemrosesan gambar
5. Tulis fungsi dengan blok kode berulang. 20, 50, 100 lapisan dalamnya

9. Model statistik

Ketika saya pertama kali belajar R, melakukan tes statistik, dan eksplorasi data statistik sepertinya paling mudah di R dan menghindari Python untuk analisis statistik sampai saya menjelajahi Statsmodels atau Python

Kapan harus digunakan?

Apa yang harus dilakukan dengan Statsmodels?

1. Regresi linier
2. Korelasi
3. Kuadrat Terkecil Biasa (OLS) untuk ekonom dalam diri Anda
4. Analisis kelangsungan hidup
5. Model linier umum dan model Bayesian
6. Analisis univariat dan bivariat, Pengujian Hipotesis (pada dasarnya, apa yang dapat dilakukan R. )

10. Secara plot

Plotly adalah pustaka plotting grafik klasik untuk Python. Pengguna dapat mengimpor, menyalin, menempel, atau mengalirkan data yang akan dianalisis dan divisualisasikan. Plotly menawarkan Python kotak pasir (Sesuatu di mana Anda dapat menjalankan Python yang terbatas pada apa yang dapat dilakukannya) Sekarang saya kesulitan memahami apa itu kotak pasir, tetapi saya tahu pasti bahwa Plotly membuatnya mudah. ?

Kapan harus digunakan? . Plotly juga memiliki fitur tambahan pengiriman data ke server cloud. Itu menarik

Apa yang dapat Anda lakukan dengan Plotly?

Pustaka grafik Plotly memiliki berbagai grafik yang dapat Anda plot

1. Bagan Dasar. Line, Pie, Scatter, Bubble, Dot, Gantt, Sunburst, Treemap, Sankey, Filled Area Charts
2. Gaya Statistik dan Seaborn. Kesalahan, Kotak, Histogram, Plot Segi dan Teralis, Plot Pohon, Plot Biola, Garis Tren
3. Bagan ilmiah. Contour, Ternary, Log, Quiver, Carpet, Radar, Heat map Windrose dan Polar Plots
4. Bagan Keuangan
5. Peta
6. Subplot
7. Berubah
8. Interaksi Widget Jupyter

Sudah kubilang, Plotly adalah perpustakaan plot klasik. Pikirkan visualisasi dan plotly dapat melakukannya

Sekarang adalah waktunya, ketika kami telah menjelajahi panduan senilai catatan wawancara dari 10 pustaka Python teratas untuk ilmu data, kami mencari empat pustaka bonus kami

1. Spasi

SpaCy adalah pustaka sumber terbuka yang digunakan untuk NLP tingkat lanjut untuk Python dan Cython (Bahasa pemrograman Python untuk memberikan nuansa dan kinerja seperti C dengan kode Python, ditambah sintaks yang terinspirasi C)

2. Bokeh

Bokeh adalah pustaka Python yang ingin saya istilahkan untuk visualisasi data interaktif. Dengan alat seperti Tableau, QlikView atau PowerBI, mengapa kita membutuhkan Bokeh? . Mendukung HTML, notebook atau output server. Kedua, dimungkinkan untuk mengintegrasikan visualisasi Bokeh ke aplikasi Flask dan Django, atau visualisasi yang ditulis di perpustakaan lain seperti matplotlib, seaborn, ggplot

3. Gensim

Gensim adalah sesuatu yang saya yakini sangat berbeda dari apa yang telah kita lihat sejauh ini. Ini secara otomatis mengekstrak topik semantik dari dokumen dengan efisiensi tinggi dan mudah. Algoritme Gensim tidak diawasi, yang mengisyaratkan bahwa tidak diperlukan input manusia —hanya dokumen teks biasa dan ekstraksi kemudian dilakukan

4. NLTK

NLTK (Natural Language Toolkit) terutama bekerja dengan bahasa manusia lebih dari bahasa komputer untuk menerapkan pemrosesan bahasa alami (NLP). Ini berisi pustaka pemrosesan teks yang dengannya Anda dapat melakukan tokenisasi, parsing, klasifikasi, stemming, penandaan, dan penalaran semantik data. Ini mungkin terdengar berulang tentang apa yang dapat dilakukan perpustakaan ini, tetapi setiap lib dalam Python ditulis untuk mengatasi beberapa efisiensi

Itu saja untuk cerita ini. Selanjutnya…

10 Algoritma Teratas untuk Ilmu Data

Terima kasih telah membaca. Jika Anda menikmati artikel ini, tekan tombol tepuk tangan dan beri tahu saya perpustakaan apa yang membuat perjalanan Ilmu Data Anda menarik. Selamat Data tenting

Kenali penulis Anda

Rashi adalah mahasiswa pascasarjana dan Analis Data, Analis dan Konsultan Pengalaman Pengguna, Pembicara Teknologi, dan Blogger. Dia bercita-cita untuk membentuk sebuah organisasi yang menghubungkan Women in Business dengan lautan sumber daya agar tidak takut dan bersemangat tentang pekerjaan dan dunia. Jangan ragu untuk mengiriminya pesan di sini

Bagaimana Python digunakan untuk Menganalisis data?

Framework Python mana yang digunakan untuk analisis data?

Alat apa yang digunakan dalam analisis data?

Mengapa Python adalah alat terbaik dalam analisis data?