Airbyte Adalah Platform Pipeline Data Sumber Terbuka

Jika Anda bekerja untuk perusahaan yang menangani banyak sekali data, kemungkinan perusahaan Anda terus-menerus memindahkan data dari aplikasi, API, dan database dan mengirimkannya ke gudang data atau data lake . Ada beberapa platform terkenal untuk mengekstrak, memuat, dan mengubah data, seperti Fivetran dan Stitchdata .

Airbyte sedang membuat platform pipeline data sumber terbuka. Alternatif open-source untuk Fivetran atau Stitchdata menarik karena membangun dan memelihara konektor membutuhkan banyak sumber daya. Jika Anda baru memulai dengan pipeline data dan Anda tidak memiliki tim yang besar, hal itu akan menjadi penghalang untuk masuk.

Tentu, platform pipeline data yang ada sudah menyediakan lusinan integrasi dengan sumber dan tujuan populer. Sumber populer termasuk Salesforce, Stripe, Marketo, SendGrid, dll. Tujuan populer termasuk Redshift, Snowflake, dan BigQuery.

Namun ada banyak layanan kecil yang tidak didukung pada platform pipeline data tradisional. Jika Anda tidak dapat mengimpor semua data Anda, Anda mungkin hanya memiliki sebagian gambar dari bisnis Anda.

Banyak perusahaan yang akhirnya membuat konektor ubahsuaian untuk aplikasinya. Dengan pendekatan sumber terbuka ini, Airbyte merasa dapat mendorong komunitas pengguna untuk membangun dan memelihara ribuan konektor sumber terbuka. Saat sebuah perusahaan membangun konektor khusus, perusahaan lain dapat menggunakannya, meningkatkannya, dan memberikan kembali kepada komunitas.

Pendekatan sumber terbuka adalah pendekatan yang tepat, kata salah satu pendiri dan CEO Michel Tricot kepada saya. Jika seseorang yang menggunakan konektor menyadari bahwa konektor rusak, mereka dapat memperbaikinya untuk seluruh komunitas.

Tim di balik Airbyte awalnya memulai dengan produk yang berfokus pada data pemasaran. Mereka menghadiri Y Combinator dan kemudian berputar karena wabah virus corona. Di dunia COVID, tidak ada anggaran pemasaran, kata salah satu pendiri John Lafleur kepada saya.

Konektor Airbyte berjalan dalam wadah Docker, yang berarti semuanya beroperasi secara independen satu sama lain. Anda dapat menjadwalkan pembaruan, menyegarkan konektor Anda secara manual dan memantaunya satu per satu.

Saat ini, ada 46 konektor - Airbyte saat ini sedang mengerjakan sertifikasi untuk memastikannya siap produksi. 250 perusahaan saat ini menggunakan Airbyte.