Full Stack Data Science

LMCache hiện đã hỗ trợ GPUDirect Storage (GDS) thông qua cuFile, giúp mọi người có thể offload KV Cache xuống SSD và mang trở lại GPU memory một cách đơn giản hơn rất nhiều, bypass (bỏ qua) hoàn toàn CPU và system memory.

Setup với cái này nhé anh em: --gds-l1-path. Mọi người có thể đọc thêm về GDS ở bài dưới comment nhé. GPU, LLM serving optimization, cache, là những vấn đề quan trọng sẽ được discuss trong khoá Full Stack Data Science khai giảng vào giữa tháng 8 tới.

Hai yếu tố rất quan trọng khi làm Data Science trong Marketing có thể nhiều anh em bỏ lỡ:
+ Adstock: khi người dùng thấy ads thì chưa quên nó ngay, mà sẽ còn hiệu ứng lưu giữ kỷ niệm (từ này tôi chém ra thôi, tiếng anh là memory effect). Kỉ niệm này càng kéo dài thì hiệu ứng này càng dễ tan biến, và đồng thời làm delay sales. Hiểu được yếu tố này sẽ giúp mọi người có chiến lược marketing chính xác hơn cho từng loại sản phẩm
+ Saturation: double tiền chạy ads không có nghĩa double sales, hiểu điều này giúp mọi người xác định được trình trạng bão hoà đã xảy ra chưa để quay xe sang cách phương thức chạy ads khác

Đây cũng thuộc nội dung học phần Data Science & AI (DSAI) luôn, điểm qua riêng module 1 mọi người đã có những use-case sau: customer churn, financial analytics, marketing analytics, recsys, time-series forecasting và RCA :D. Giáo trình vẫn ở comment cho anh em tham khảo.