Chi tiết dự án
Hệ thống tiếp thị liên kết tùy chỉnh cụ thể này cung cấp bộ công cụ hiệu quả để điều hướng và vận hành trong một lượng lớn thông tin đa dạng đến trong thời gian thực. Mục đích chính của sản phẩm là kiếm tiền từ việc cung cấp nền tảng khả thi cho các quảng cáo được thiết kế để cài đặt ứng dụng dành cho thiết bị di động.
Khách hàng của chúng tôi đã có một sản phẩm CPA hiện có và họ đang chuẩn bị mở rộng hoạt động kinh doanh của mình, vì vậy họ cần chuyển đổi nó thành nền tảng tiếp thị nhãn trắng để hệ thống có khả năng xử lý mức tăng trưởng lưu lượng truy cập theo kế hoạch. Do đó, khách hàng của chúng tôi đã tiếp cận chúng tôi với yêu cầu xây dựng hệ thống tiếp thị liên kết tùy chỉnh nhằm mục đích chuyển đổi trên thiết bị di động.
Nhiệm vụ của chúng tôi là mở rộng và tinh chỉnh bộ công cụ để xử lý dữ liệu — làm cho nó có thể mở rộng quy mô, thêm các tham số và chỉ số mới, giúp thiết kế dễ theo dõi.
Thách thức: Di chuyển hệ thống lên đám mây
Một trong những thách thức lớn nhất mà chúng tôi đã giải quyết trong quá trình phát triển ứng dụng là chuyển sang hệ thống mới được xây dựng trên Google Cloud Platform . Chúng tôi cần đảm bảo quá trình chuyển đổi suôn sẻ và khả năng mở rộng. Nó liên quan đến việc chuyển vài terabyte dữ liệu từ một nền tảng trước đó. Chúng tôi không chỉ cần thiết kế kiến trúc bao gồm hiệu quả ngay từ đầu mà còn cần làm cho khả năng mở rộng của nó trở nên linh hoạt và hoạt động hiệu quả cao.
Thách thức: Tạo tính năng phân tích dữ liệu
Thử thách đó được kết hợp với việc thêm nhiều tính năng mới vào hỗn hợp. Để làm cho việc nhắm mục tiêu và phân tích dữ liệu chính xác và hiệu quả hơn, chúng tôi đã thêm một số loại tham số mới và đa dạng hóa các chỉ số. Điều này đã cải thiện và ổn định hoạt động của các thành phần kiểm soát lưu lượng và nhắm mục tiêu.
Do liên tục bổ sung các tính năng mới, chúng tôi cần đảm bảo khả năng triển khai liên tục mà không bị mất hoạt động về phía khách hàng. Mục đích chính của những bổ sung này là mở rộng phạm vi và làm cho bức tranh tổng thể chi tiết hơn.
Thách thức: Phát triển theo dõi dữ liệu cho tải trọng cao
Một nhiệm vụ khó khăn khác là xử lý thành phần theo dõi. Để cải thiện hiệu suất và khả năng mở rộng an toàn, chúng tôi đã viết lại thành phần theo dõi để nó có thể xử lý số lượng lớn yêu cầu.
Thách thức: Làm cho nó có thể sử dụng được cho mọi người
Chúng tôi cũng cần cung cấp cho hệ thống giao diện thân thiện với người dùng, không quá phức tạp để thành thạo. Với một chút trợ giúp của các nguyên tắc UX, chúng tôi đã quản lý để làm cho nó trở nên trực quan và thoải mái nhất có thể.
Giải pháp của chúng tôi
Bước đầu tiên của chúng tôi là chuyển hệ thống sang Google Cloud Platform. Trong khi làm việc để mở rộng quy mô, chúng tôi đã viết lại quy trình xử lý dữ liệu và thành phần theo dõi. Điều này làm tăng tính ổn định của hệ thống và làm cho nó đáng tin cậy hơn.
Ở dạng hiện tại, hệ thống kết hợp hiệu quả cao và thiết kế trực quan. Từ một sản phẩm nguyên khối, chúng tôi đang hướng tới các dịch vụ mang lại sự linh hoạt hơn. Chúng tôi có một bảng quản trị mạnh mẽ với nhiều cấp độ quyền của người dùng.
Bản thân hệ thống được nhắm mục tiêu vào chuyển đổi, thay vì nhắm mục tiêu truyền thống vào số lần hiển thị và số lần nhấp. Do đó, sơ đồ kiếm tiền được xây dựng để tối đa hóa chuyển đổi. Các tính năng dành cho doanh nghiệp bao gồm nhắm mục tiêu chính xác và phức tạp cũng như nhiều công cụ giúp quản lý dữ liệu và chiến dịch thuận tiện cho người dùng cuối.
Hiện tại, hệ thống có thể xử lý hơn 100 triệu sự kiện mỗi ngày với khoảng 5000 truy vấn mỗi giây khi tải cao nhất.
Việc tích hợp liên tục được tổ chức thông qua sơ đồ triển khai xanh lam-xanh lá cây , cho phép bổ sung liền mạch các chức năng mới mà không có thời gian ngừng hoạt động. Điều này đạt được bằng cách sử dụng hai bộ máy chủ cho sản phẩm. Một bộ đang hoạt động trong khi bộ kia được giữ ở chế độ chờ như ứng cử viên phát hành. Khi phiên bản mới của sản phẩm sẵn sàng — các máy chủ đang đổi chỗ.
ngăn xếp công nghệ
Để cung cấp cách tốt nhất có thể để phát triển ứng dụng, chúng tôi đã thử một số tùy chọn phần mềm trước khi giải quyết một bộ hoàn chỉnh. Chúng tôi muốn tạo ứng dụng mà việc bảo trì sẽ hoàn toàn độc lập với phần mềm bổ sung.
Các công cụ sau đã được sử dụng để đảm bảo hoạt động trơn tru, không bị gián đoạn trong nền tảng Android:
- theo dõi:
- Symfony 4 và PHP 7.1
- Google Cloud cho các tính năng tự động thay đổi quy mô và giảm chi phí
- Google Stack Driver để theo dõi;
- Redis Cluster để truy cập nhanh vào dữ liệu vận hành.
- Phân tích và xử lý dữ liệu:
- Apache Beam trên Google Cloud Dataflow để xử lý dữ liệu truyền trực tuyến có thể mở rộng;
- Java — được sử dụng để xử lý dữ liệu;
- Ban đầu, chúng tôi sử dụng MySQL để phân tích tương tác các bộ dữ liệu khổng lồ. Sau đó, chúng tôi chuyển sang BigQuery vì tính tích hợp của nó.
- Google Cloud PubSub — dịch vụ nhắn tin thời gian thực.
- Terraform, Packer, Ansible – bộ công cụ để tự động hóa cơ sở hạ tầng
- PagerDuty – tích hợp với dịch vụ này cung cấp hệ thống cảnh báo và hỗ trợ 24/7 để theo dõi tình trạng hệ thống;
Nhóm của chúng tôi bao gồm:
- 1 Quản lý dự án
- 3 Lập trình viên phụ trợ
- 1 Nhà phát triển giao diện người dùng
- 1 kỹ sư QA
- 1 Kỹ sư DevOps
Bản tóm tắt
Dự án này là thành tựu kỹ thuật to lớn cho nhóm của chúng tôi. Toàn bộ kiến trúc của dự án đã được sửa đổi, nâng cấp và dự án đã được chuyển sang Google Cloud để đơn giản hóa quy trình mở rộng quy mô và giảm chi phí. xem xét mức độ phức tạp của dự án và yêu cầu về khả năng mở rộng dễ dàng, chúng tôi đã chọn dịch vụ Google Cloud.
Chương trình phụ trợ cũng được tối ưu hóa để xử lý trung bình 2.000 truy vấn/giây (tải cao nhất cho đến nay là khoảng 5.000 truy vấn/giây). Đối với dự án này, chúng tôi đã triển khai một giải pháp sáng tạo để nhắm mục tiêu quảng cáo với khả năng chọn các cách thực hiện cơ sở dữ liệu IP (IPDB) khác nhau cho mỗi nhãn trắng (Maxmind và Phần tử kỹ thuật số). Quyết định này cũng ảnh hưởng tích cực đến hiệu quả chi phí.
Nhờ sự hợp tác của chúng tôi, khách hàng đã có một nền tảng nơi khách hàng của mình có thể đăng ký các hệ thống nhắm mục tiêu CPA mới. Các phân tích hiện có hơn 50 thông số với 20 số liệu, mô tả từng lần hiển thị, lần nhấp và chuyển đổi. Tất cả điều này được trình bày trong một giao diện đơn giản, trực quan.
