Bagaimana cara memasukkan gambar ke dalam database sql menggunakan python?

Kumpulan Data untuk Dimainkan

Kami akan menggunakan dataset gambar Canadian Institute for Advanced Research, lebih dikenal sebagai CIFAR-10, yang terdiri dari 60.000 gambar berwarna berukuran 32x32 piksel milik kelas objek yang berbeda, seperti anjing, kucing, dan pesawat terbang. Relatif, CIFAR bukanlah kumpulan data yang sangat besar, tetapi jika kami menggunakan kumpulan data TinyImages lengkap, Anda memerlukan sekitar 400GB ruang disk kosong, yang mungkin akan menjadi faktor pembatas

Kredit untuk kumpulan data seperti yang dijelaskan dalam bab 3 laporan teknologi ini diberikan kepada Alex Krizhevsky, Vinod Nair, dan Geoffrey Hinton

Jika Anda ingin mengikuti contoh kode dalam artikel ini, Anda dapat mengunduh CIFAR-10 di sini, memilih versi Python. Anda akan mengorbankan 163MB ruang disk

Saat Anda mengunduh dan mengekstrak folder, Anda akan menemukan bahwa file tersebut bukan file gambar yang dapat dibaca manusia. Mereka sebenarnya telah diserialisasi dan disimpan dalam batch menggunakan cPickle

Meskipun kami tidak akan mempertimbangkan

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Kode berikut membuka masing-masing dari lima file batch dan memuat semua gambar ke dalam array NumPy

import numpy as np
import pickle
from pathlib import Path

# Path to the unzipped CIFAR data
data_dir = Path("data/cifar-10-batches-py/")

# Unpickle function provided by the CIFAR hosts
def unpickle(file):
    with open(file, "rb") as fo:
        dict = pickle.load(fo, encoding="bytes")
    return dict

images, labels = [], []
for batch in data_dir.glob("data_batch_*"):
    batch_data = unpickle(batch)
    for i, flat_im in enumerate(batch_data[b"data"]):
        im_channels = []
        # Each image is flattened, with channels in order of R, G, B
        for j in range(3):
            im_channels.append(
                flat_im[j * 1024 : (j + 1) * 1024].reshape((32, 32))
            )
        # Reconstruct the original image
        images.append(np.dstack((im_channels)))
        # Save the label
        labels.append(batch_data[b"labels"][i])

print("Loaded CIFAR-10 training set:")
print(f" - np.shape(images)     {np.shape(images)}")
print(f" - np.shape(labels)     {np.shape(labels)}")

Semua gambar sekarang ada di RAM dalam variabel

$ pip install lmdb

$ pip install lmdb

Catatan. Blok kode terakhir itu menggunakan f-string. Anda dapat membaca lebih lanjut tentang mereka di f-Strings Python 3. Sintaks Pemformatan String yang Disempurnakan (Panduan)

Pengaturan untuk Menyimpan Gambar di Disk

Anda harus menyiapkan lingkungan Anda untuk metode penyimpanan default dan mengakses gambar ini dari disk. Artikel ini menganggap Anda memiliki Python 3. x diinstal pada sistem Anda, dan akan menggunakan

$ pip install lmdb

$ pip install Pillow

Atau, jika mau, Anda dapat menginstalnya menggunakan Anaconda

$ conda install -c conda-forge pillow

Catatan.

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Sekarang Anda siap untuk menyimpan dan membaca gambar dari disk

Memulai Dengan LMDB

LMDB, terkadang disebut sebagai "Basis Data Petir", adalah singkatan dari Basis Data Pemetaan Memori Petir karena cepat dan menggunakan file yang dipetakan memori. Ini adalah penyimpanan nilai kunci, bukan database relasional

Dalam hal implementasi, LMDB adalah pohon B+, yang pada dasarnya berarti bahwa ini adalah struktur grafik seperti pohon yang disimpan dalam memori di mana setiap elemen nilai kunci adalah simpul, dan simpul dapat memiliki banyak anak. Node pada level yang sama dihubungkan satu sama lain untuk traversal cepat

Secara kritis, komponen kunci pohon B+ diatur agar sesuai dengan ukuran halaman sistem operasi host, memaksimalkan efisiensi saat mengakses pasangan kunci-nilai apa pun di database. Karena kinerja tinggi LMDB sangat bergantung pada poin khusus ini, efisiensi LMDB telah terbukti bergantung pada sistem file yang mendasarinya dan implementasinya.

Alasan utama lain untuk efisiensi LMDB adalah karena dipetakan memori. Ini berarti mengembalikan pointer langsung ke alamat memori dari kunci dan nilai, tanpa perlu menyalin apa pun di memori seperti kebanyakan database lain.

Mereka yang ingin mempelajari lebih dalam tentang detail implementasi internal pohon B+ dapat melihat artikel ini tentang pohon B+ dan kemudian bermain dengan visualisasi penyisipan simpul ini

Jika pohon B+ tidak menarik bagi Anda, jangan khawatir. Anda tidak perlu tahu banyak tentang penerapan internalnya untuk menggunakan LMDB. Kami akan menggunakan pengikatan Python untuk pustaka LMDB C, yang dapat diinstal melalui pip

$ pip install lmdb

Anda juga memiliki opsi untuk menginstal melalui Anaconda

$ conda install -c conda-forge python-lmdb

Pastikan Anda dapat

$ conda install -c conda-forge python-lmdb

Memulai Dengan HDF5

HDF5 adalah singkatan dari Hierarchical Data Format, format file yang disebut sebagai HDF4 atau HDF5. Kami tidak perlu khawatir tentang HDF4, karena HDF5 adalah versi yang dipertahankan saat ini

Menariknya, HDF berasal dari National Center for Supercomputing Applications, sebagai format data ilmiah yang ringkas dan portabel. Jika Anda bertanya-tanya apakah itu digunakan secara luas, lihat uraian NASA di HDF5 dari proyek Data Bumi mereka

File HDF terdiri dari dua jenis objek

1. Dataset
2. Grup

Kumpulan data adalah array multidimensi, dan grup terdiri dari kumpulan data atau grup lain. Array multidimensi dengan berbagai ukuran dan jenis dapat disimpan sebagai kumpulan data, tetapi dimensi dan jenisnya harus seragam di dalam kumpulan data. Setiap dataset harus berisi larik N-dimensi yang homogen. Meskipun demikian, karena grup dan kumpulan data mungkin bersarang, Anda masih bisa mendapatkan heterogenitas yang mungkin Anda perlukan

$ pip install h5py

Seperti perpustakaan lainnya, Anda dapat menginstal secara bergantian melalui Anaconda

$ conda install -c conda-forge h5py

Jika Anda dapat

$ conda install -c conda-forge python-lmdb

Menyimpan ke Disk

Masukan kami untuk percobaan ini adalah satu gambar

$ conda install -c conda-forge python-lmdb

$ pip install lmdb

$ conda install -c conda-forge python-lmdb

$ pip install lmdb

from PIL import Image
import csv

def store_single_disk(image, image_id, label):
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, (32, 32, 3) to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray(image).save(disk_dir / f"{image_id}.png")

    with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
        writer = csv.writer(
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        )
        writer.writerow([label])

Ini menyimpan gambar. Dalam semua aplikasi realistik, Anda juga memperhatikan meta data yang dilampirkan pada gambar, yang dalam kumpulan data contoh kami adalah label gambar. Saat Anda menyimpan gambar ke disk, ada beberapa opsi untuk menyimpan data meta

Salah satu solusinya adalah menyandikan label ke dalam nama gambar. Ini memiliki keuntungan karena tidak memerlukan file tambahan

Namun, ini juga memiliki kerugian besar karena memaksa Anda menangani semua file setiap kali Anda melakukan sesuatu dengan label. Menyimpan label dalam file terpisah memungkinkan Anda bermain-main dengan label saja, tanpa harus memuat gambar. Di atas, saya telah menyimpan label dalam file

$ pip install h5py

Sekarang mari beralih ke melakukan tugas yang persis sama dengan LMDB

Menyimpan ke LMDB

Pertama, LMDB adalah sistem penyimpanan nilai kunci di mana setiap entri disimpan sebagai array byte, jadi dalam kasus kami, kunci akan menjadi pengidentifikasi unik untuk setiap gambar, dan nilainya adalah gambar itu sendiri. Baik kunci dan nilai diharapkan berupa string, jadi penggunaan umumnya adalah membuat serialisasi nilai sebagai string, lalu membatalkan serialisasi saat membacanya kembali.

Anda dapat menggunakan

$ pip install lmdb

Anda dapat membuat kelas Python dasar untuk gambar dan data metanya

$ pip install Pillow

Kedua, karena LMDB dipetakan memori, basis data baru perlu mengetahui berapa banyak memori yang diperkirakan akan digunakan. Ini relatif mudah dalam kasus kami, tetapi bisa sangat menyakitkan dalam kasus lain, yang akan Anda lihat lebih dalam di bagian selanjutnya. LMDB menyebut variabel ini

$ pip install h5py

Terakhir, operasi baca dan tulis dengan LMDB dilakukan di

$ pip install h5py

Dengan mengingat ketiga poin tersebut, mari kita lihat kode untuk menyimpan satu gambar ke LMDB

$ pip install Pillow

Catatan. Sebaiknya hitung jumlah persis byte yang akan digunakan oleh setiap pasangan nilai kunci

Dengan kumpulan data gambar dengan berbagai ukuran, ini akan menjadi perkiraan, tetapi Anda dapat menggunakan

$ pip install h5py

$ pip install h5py

Fungsi juga tidak akan dapat sepenuhnya menghitung item bersarang, daftar, atau objek yang berisi referensi ke objek lain

Bergantian, Anda dapat menggunakan untuk menghemat beberapa perhitungan dengan menentukan ukuran yang tepat dari suatu objek

Anda sekarang siap untuk menyimpan gambar ke LMDB. Terakhir, mari kita lihat metode terakhir, HDF5

Menyimpan Dengan HDF5

Ingatlah bahwa file HDF5 dapat berisi lebih dari satu kumpulan data. Dalam kasus yang agak sepele ini, Anda dapat membuat dua set data, satu untuk gambar, dan satu lagi untuk meta datanya

$ pip install Pillow

$ pip install h5py

Catatan. Pilihan tipe data akan sangat mempengaruhi persyaratan runtime dan penyimpanan HDF5, jadi sebaiknya pilih persyaratan minimum Anda

Sekarang kami telah meninjau tiga metode untuk menyimpan satu gambar, mari beralih ke langkah berikutnya

Eksperimen untuk Menyimpan Gambar Tunggal

Sekarang Anda dapat memasukkan ketiga fungsi untuk menyimpan satu gambar ke dalam kamus, yang dapat dipanggil nanti selama percobaan waktu

$ pip install Pillow

Akhirnya, semuanya siap untuk melakukan percobaan berjangka waktu. Mari kita coba menyimpan gambar pertama dari CIFAR dan label yang sesuai, dan menyimpannya dengan tiga cara berbeda

$ pip install Pillow

Catatan. Saat bermain-main dengan LMDB, Anda mungkin melihat kesalahan

$ pip install h5py

Ini berkontribusi pada waktu penulisan yang cepat, tetapi ini juga berarti bahwa jika Anda menyimpan gambar lebih dari sekali dalam file LMDB yang sama, Anda akan menghabiskan ukuran peta. Jika Anda menjalankan fungsi penyimpanan, pastikan untuk menghapus file LMDB yang sudah ada terlebih dahulu

Ingatlah bahwa kita tertarik pada runtime, yang ditampilkan di sini dalam hitungan detik, dan juga penggunaan memori

MetodeSimpan Gambar Tunggal + MetaMemoryDisk1. 915 ms8 KLMDB1. 203 ms32 KHDF58. 243 ms8 K

Ada dua takeaways di sini

1. Semua metode ini sangat cepat
2. Dalam hal penggunaan disk, LMDB menggunakan lebih banyak

Jelas, meskipun LMDB memiliki sedikit keunggulan kinerja, kami belum meyakinkan siapa pun mengapa tidak hanya menyimpan gambar di disk. Lagi pula, ini adalah format yang dapat dibaca manusia, dan Anda dapat membuka dan melihatnya dari browser sistem file apa pun. Nah, saatnya untuk melihat lebih banyak gambar…

Menyesuaikan Kode untuk Banyak Gambar

Menyimpan banyak gambar sebagai

$ pip install lmdb

$ conda install -c conda-forge h5py

Anda perlu sedikit mengubah kode dan membuat tiga fungsi baru yang menerima banyak gambar,

$ conda install -c conda-forge h5py

$ conda install -c conda-forge h5py

$ conda install -c conda-forge h5py

$ pip install Pillow

Agar Anda dapat menyimpan lebih dari satu file ke disk, metode file gambar diubah untuk mengulang setiap gambar dalam daftar. Untuk LMDB, loop juga diperlukan karena kami membuat objek

$ conda install -c conda-forge h5py

Penyesuaian terkecil adalah dengan metode HDF5. Bahkan, hampir tidak ada penyesuaian sama sekali. File HFD5 tidak memiliki batasan ukuran file selain dari batasan eksternal atau ukuran dataset, jadi semua gambar dimasukkan ke dalam satu dataset, seperti sebelumnya

Selanjutnya, Anda perlu menyiapkan kumpulan data untuk eksperimen dengan memperbesar ukurannya

Mempersiapkan Dataset

Sebelum menjalankan eksperimen lagi, pertama-tama mari gandakan ukuran set data kita agar kita dapat menguji hingga 100.000 gambar

$ pip install Pillow

Sekarang sudah cukup banyak gambar, saatnya untuk percobaan

Eksperimen untuk Menyimpan Banyak Gambar

Seperti yang Anda lakukan dengan membaca banyak gambar, Anda dapat membuat kamus yang menangani semua fungsi dengan

$ conda install -c conda-forge h5py

$ pip install Pillow

Jika Anda mengikuti dan menjalankan kode sendiri, Anda perlu duduk sejenak dalam ketegangan dan menunggu 111.110 gambar disimpan tiga kali masing-masing ke disk Anda, dalam tiga format berbeda. Anda juga harus mengucapkan selamat tinggal pada sekitar 2 GB ruang disk

Sekarang untuk momen kebenaran. Berapa lama semua penyimpanan itu?

Grafik pertama menunjukkan waktu penyimpanan normal dan tidak disesuaikan, menyoroti perbedaan drastis antara menyimpan ke

$ pip install lmdb

Grafik kedua menunjukkan

$ conda install -c conda-forge h5py

Sementara hasil yang tepat dapat bervariasi tergantung pada mesin Anda, inilah mengapa LMDB dan HDF5 patut dipertimbangkan. Berikut kode yang menghasilkan grafik di atas

$ pip install Pillow

Sekarang mari kita membaca kembali gambar-gambar itu

Membaca Dari Disk

Dari ketiga metode tersebut, LMDB membutuhkan kerja keras paling banyak saat membaca file gambar kembali dari memori, karena langkah serialisasi. Mari telusuri fungsi-fungsi ini yang membaca satu gambar untuk masing-masing dari tiga format penyimpanan

Pertama, baca satu gambar dan metanya dari file

$ pip install lmdb

$ pip install h5py

$ pip install Pillow

Membaca Dari LMDB

Selanjutnya, baca gambar dan meta yang sama dari LMDB dengan membuka lingkungan dan memulai transaksi baca

$ conda install -c conda-forge pillow

Berikut adalah beberapa poin untuk tidak membahas cuplikan kode di atas

• Baris 13. Bendera

  from pathlib import Path
  
  disk_dir = Path("data/disk/")
  lmdb_dir = Path("data/lmdb/")
  hdf5_dir = Path("data/hdf5/")
  

  _0 menetapkan bahwa tidak ada penulisan yang diizinkan pada file LMDB hingga transaksi selesai. Dalam istilah basis data, ini sama dengan mengambil kunci baca
• Baris 20. Untuk mengambil objek CIFAR_Image, Anda perlu membalik langkah-langkah yang kami ambil untuk mengasinkannya saat kami menulisnya. Di sinilah

  from pathlib import Path
  
  disk_dir = Path("data/disk/")
  lmdb_dir = Path("data/lmdb/")
  hdf5_dir = Path("data/hdf5/")
  

  _1 objek sangat membantu

Ini mengakhiri membaca gambar kembali dari LMDB. Terakhir, Anda ingin melakukan hal yang sama dengan HDF5

Membaca Dari HDF5

Membaca dari HDF5 terlihat sangat mirip dengan proses penulisan. Berikut adalah kode untuk membuka dan membaca file HDF5 dan mengurai gambar dan meta yang sama

$ conda install -c conda-forge pillow

Perhatikan bahwa Anda mengakses berbagai set data dalam file dengan mengindeks objek

from pathlib import Path

disk_dir = Path("data/disk/")
lmdb_dir = Path("data/lmdb/")
hdf5_dir = Path("data/hdf5/")

from pathlib import Path

disk_dir = Path("data/disk/")
lmdb_dir = Path("data/lmdb/")
hdf5_dir = Path("data/hdf5/")

$ conda install -c conda-forge pillow

Dengan menyiapkan kamus ini, Anda siap menjalankan percobaan

Eksperimen untuk Membaca Satu Gambar

Anda mungkin berharap bahwa eksperimen untuk membaca satu gambar akan memiliki hasil yang agak sepele, tetapi inilah kode eksperimennya

$ conda install -c conda-forge pillow

Berikut adalah hasil percobaan untuk membaca satu gambar

MetodeBaca Gambar Tunggal + MetaDisk1. 61970 msLMDB4. 52063 msHDF51. 98036 mdtk

Ini sedikit lebih cepat untuk membaca file

$ pip install lmdb

$ pip install h5py

Menyesuaikan Kode untuk Banyak Gambar

Memperluas fungsi di atas, Anda dapat membuat fungsi dengan

from pathlib import Path

disk_dir = Path("data/disk/")
lmdb_dir = Path("data/lmdb/")
hdf5_dir = Path("data/hdf5/")

$ conda install -c conda-forge pillow

Dengan fungsi membaca disimpan dalam kamus seperti fungsi menulis, Anda siap untuk percobaan

Eksperimen untuk Membaca Banyak Gambar

Anda sekarang dapat menjalankan percobaan untuk membaca banyak gambar

$ conda install -c conda-forge pillow

Seperti yang kita lakukan sebelumnya, Anda dapat membuat grafik hasil percobaan baca

Grafik teratas menunjukkan waktu baca normal yang tidak disesuaikan, menunjukkan perbedaan drastis antara membaca dari file

$ pip install lmdb

Sebaliknya, grafik di bagian bawah menunjukkan

$ conda install -c conda-forge h5py

Plot Waktu BacaTampilkan/Sembunyikan

Menggunakan fungsi plot yang sama seperti untuk pengaturan waktu penulisan, kami memiliki yang berikut ini

$ conda install -c conda-forge pillow

Dalam praktiknya, waktu tulis seringkali kurang kritis dibandingkan waktu baca. Bayangkan Anda sedang melatih jaringan saraf yang dalam pada gambar, dan hanya setengah dari seluruh kumpulan data gambar Anda yang cocok dengan RAM sekaligus. Setiap zaman pelatihan jaringan membutuhkan seluruh kumpulan data, dan model membutuhkan beberapa ratus zaman untuk konvergen. Anda pada dasarnya akan membaca setengah dari kumpulan data ke dalam memori setiap zaman

Ada beberapa trik yang dilakukan orang, seperti melatih zaman semu untuk membuatnya sedikit lebih baik, tetapi Anda mengerti

Sekarang, lihat kembali grafik baca di atas. Perbedaan antara waktu baca 40 detik dan 4 detik tiba-tiba adalah perbedaan antara menunggu enam jam untuk model Anda berlatih, atau empat puluh menit

Jika kita melihat waktu baca dan tulis pada bagan yang sama, kita memiliki yang berikut ini

Plot Waktu Baca dan TulisTampilkan/Sembunyikan

Anda dapat memplot semua pengaturan waktu baca dan tulis pada satu grafik menggunakan fungsi plotting yang sama

$ conda install -c conda-forge pillow

Saat Anda menyimpan gambar sebagai file

$ pip install lmdb

Sekarang setelah Anda melihat manfaat kinerja LMDB dan HDF5, mari kita lihat metrik penting lainnya. penggunaan disk

Akses Paralel

Perbandingan utama yang tidak kami uji dalam percobaan di atas adalah membaca dan menulis secara bersamaan. Seringkali, dengan kumpulan data sebesar itu, Anda mungkin ingin mempercepat operasi Anda melalui paralelisasi

Dalam sebagian besar kasus, Anda tidak akan tertarik membaca bagian dari gambar yang sama pada waktu yang sama, tetapi Anda ingin membaca banyak gambar sekaligus. Dengan definisi konkurensi ini, menyimpan ke disk sebagai

$ pip install lmdb

Bagaimana dengan LMDB? . Anda dapat membaca lebih lanjut tentang itu di situs web teknologi LMDB

Beberapa aplikasi dapat mengakses database LMDB yang sama secara bersamaan, dan beberapa utas dari proses yang sama juga dapat secara bersamaan mengakses LMDB untuk membaca. Ini memungkinkan waktu baca yang lebih cepat. jika Anda membagi semua CIFAR menjadi sepuluh set, maka Anda dapat menyiapkan sepuluh proses untuk setiap pembacaan dalam satu set, dan itu akan membagi waktu pemuatan menjadi sepuluh

HDF5 juga menawarkan I/O paralel, yang memungkinkan pembacaan dan penulisan bersamaan. Namun, dalam penerapannya, kunci tulis ditahan, dan aksesnya berurutan, kecuali jika Anda memiliki sistem file paralel

Ada dua opsi utama jika Anda mengerjakan sistem seperti itu, yang dibahas lebih mendalam dalam artikel ini oleh Grup HDF pada IO paralel. Ini bisa menjadi sangat rumit, dan opsi paling sederhana adalah dengan membagi kumpulan data Anda secara cerdas menjadi beberapa file HDF5, sehingga setiap proses dapat menangani satu file

disk_dir.mkdir(parents=True, exist_ok=True)
lmdb_dir.mkdir(parents=True, exist_ok=True)
hdf5_dir.mkdir(parents=True, exist_ok=True)

Dokumentasi

Jika Anda Google

disk_dir.mkdir(parents=True, exist_ok=True)
lmdb_dir.mkdir(parents=True, exist_ok=True)
hdf5_dir.mkdir(parents=True, exist_ok=True)

Sebenarnya, ada satu sumber dokumentasi utama untuk pengikatan Python LMDB, yang dihosting. Sementara paket Python bahkan belum mencapai versi > 0. 94, cukup banyak digunakan dan dianggap stabil

Adapun teknologi LMDB itu sendiri, ada dokumentasi yang lebih rinci di situs web teknologi LMDB, yang bisa terasa seperti belajar kalkulus di kelas dua, kecuali jika Anda memulai dari halaman Memulai mereka

Untuk HDF5, ada dokumentasi yang sangat jelas di situs h5py docs, serta postingan blog yang bermanfaat dari Christopher Lovell, yang merupakan ikhtisar bagus tentang cara menggunakan paket

disk_dir.mkdir(parents=True, exist_ok=True)
lmdb_dir.mkdir(parents=True, exist_ok=True)
hdf5_dir.mkdir(parents=True, exist_ok=True)

Meskipun tidak terdokumentasi seperti yang mungkin dihargai oleh pemula, baik LMDB dan HDF5 memiliki komunitas pengguna yang besar, sehingga pencarian Google yang lebih dalam biasanya menghasilkan hasil yang bermanfaat

Pandangan Lebih Kritis pada Implementasi

Tidak ada utopia dalam sistem penyimpanan, dan baik LMDB maupun HDF5 memiliki kekurangan masing-masing

Poin kunci untuk dipahami tentang LMDB adalah bahwa data baru ditulis tanpa menimpa atau memindahkan data yang ada. Ini adalah keputusan desain yang memungkinkan pembacaan sangat cepat yang Anda saksikan dalam eksperimen kami, dan juga menjamin integritas dan keandalan data tanpa perlu tambahan menyimpan log transaksi

Ingat, bagaimanapun, bahwa Anda perlu menentukan parameter

$ pip install h5py

Kemudian, nanti, Anda ingat bahwa Anda perlu menambahkan data baru. Bahkan dengan buffer yang Anda tentukan pada

$ pip install h5py

disk_dir.mkdir(parents=True, exist_ok=True)
lmdb_dir.mkdir(parents=True, exist_ok=True)
hdf5_dir.mkdir(parents=True, exist_ok=True)

$ pip install h5py

Selain itu, beberapa sistem memiliki batasan berapa banyak memori yang dapat diklaim sekaligus. Dalam pengalaman saya sendiri, bekerja dengan sistem komputasi kinerja tinggi (HPC), ini terbukti sangat membuat frustrasi, dan sering kali membuat saya lebih memilih HDF5 daripada LMDB

Dengan LMDB dan HDF5, hanya item yang diminta yang dibaca ke dalam memori sekaligus. Dengan LMDB, pasangan unit kunci dibaca ke dalam memori satu per satu, sedangkan dengan HDF5, objek

from PIL import Image
import csv

def store_single_disk(image, image_id, label):
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, (32, 32, 3) to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray(image).save(disk_dir / f"{image_id}.png")

    with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
        writer = csv.writer(
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        )
        writer.writerow([label])

from PIL import Image
import csv

def store_single_disk(image, image_id, label):
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, (32, 32, 3) to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray(image).save(disk_dir / f"{image_id}.png")

    with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
        writer = csv.writer(
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        )
        writer.writerow([label])

from PIL import Image
import csv

def store_single_disk(image, image_id, label):
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, (32, 32, 3) to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray(image).save(disk_dir / f"{image_id}.png")

    with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
        writer = csv.writer(
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        )
        writer.writerow([label])

from PIL import Image
import csv

def store_single_disk(image, image_id, label):
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, (32, 32, 3) to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray(image).save(disk_dir / f"{image_id}.png")

    with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
        writer = csv.writer(
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        )
        writer.writerow([label])

Karena cara sistem dioptimalkan, dan bergantung pada sistem operasi Anda, urutan item yang Anda akses dapat memengaruhi kinerja

Dalam pengalaman saya, secara umum benar bahwa untuk LMDB, Anda mungkin mendapatkan kinerja yang lebih baik saat mengakses item secara berurutan dengan kunci (pasangan nilai kunci disimpan dalam memori yang diurutkan secara alfanumerik dengan kunci), dan untuk HDF5, mengakses rentang besar akan bekerja lebih baik daripada membaca

$ conda install -c conda-forge pillow

Jika Anda sedang mempertimbangkan pilihan format penyimpanan file untuk menulis perangkat lunak Anda, akan lalai untuk tidak menyebutkan Pindah dari HDF5 oleh Cyrille Rossant pada perangkap HDF5, dan tanggapan Konrad Hinsen Pada HDF5 dan masa depan manajemen data, yang mana . Perhatikan bahwa kumpulan data yang relatif lebih kecil masih berukuran beberapa GB

Integrasi Dengan Perpustakaan Lain

Jika Anda berurusan dengan kumpulan data yang sangat besar, kemungkinan besar Anda akan melakukan sesuatu yang signifikan dengannya. Penting untuk mempertimbangkan perpustakaan pembelajaran mendalam dan jenis integrasi apa yang ada dengan LMDB dan HDF5

Pertama-tama, semua perpustakaan mendukung membaca gambar dari disk sebagai

$ pip install lmdb

Berikut adalah beberapa perpustakaan pembelajaran mendalam paling populer dan integrasi LMDB dan HDF5 mereka

• Caffe memiliki integrasi LMDB yang stabil dan didukung dengan baik, dan menangani langkah membaca secara transparan. Lapisan LMDB juga dapat dengan mudah diganti dengan database HDF5

• Keras menggunakan format HDF5 untuk menyimpan dan memulihkan model. Ini menyiratkan bahwa TensorFlow juga bisa

• TensorFlow memiliki kelas bawaan

  from PIL import Image
  import csv
  
  def store_single_disk(image, image_id, label):
      """ Stores a single image as a .png file on disk.
          Parameters:
          ---------------
          image       image array, (32, 32, 3) to be stored
          image_id    integer unique ID for image
          label       image label
      """
      Image.fromarray(image).save(disk_dir / f"{image_id}.png")
  
      with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
          writer = csv.writer(
              csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
          )
          writer.writerow([label])
  

  5 yang menyediakan antarmuka untuk membaca data input dari file LMDB dan dapat menghasilkan iterator dan tensor dalam batch. TensorFlow tidak memiliki kelas bawaan untuk HDF5, tetapi dapat ditulis yang mewarisi dari kelas

  from PIL import Image
  import csv
  
  def store_single_disk(image, image_id, label):
      """ Stores a single image as a .png file on disk.
          Parameters:
          ---------------
          image       image array, (32, 32, 3) to be stored
          image_id    integer unique ID for image
          label       image label
      """
      Image.fromarray(image).save(disk_dir / f"{image_id}.png")
  
      with open(disk_dir / f"{image_id}.csv", "wt") as csvfile:
          writer = csv.writer(
              csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
          )
          writer.writerow([label])
  

  6. Saya pribadi menggunakan kelas khusus yang dirancang untuk akses baca optimal berdasarkan cara saya menyusun file HDF5 saya

• Theano tidak secara native mendukung format file atau database tertentu, tetapi seperti yang dinyatakan sebelumnya, dapat menggunakan apa saja asalkan dibaca sebagai array N-dimensi

Meskipun jauh dari komprehensif, semoga ini memberi Anda gambaran tentang integrasi LMDB/HDF5 oleh beberapa pustaka pembelajaran mendalam utama