Bài viết được sự cho phép bởi tác giả Vũ Thành Nam Bài viết này mình sẽ giới thiệu cho các bạn cách kiến trúc sharding trong distributed database. Điều đầu tiên, khi bạn đã quyết định chia nhỏ cơ sở dữ liệu với sharding, bạn cần phải hiểu rõ nó nên và sẽ làm như thế nào. Khi bạn bắt đầu chạy truy vấn dữ liệu trong các bảng được chia nhỏ, điều quan trọng là bạn phải xác định đúng phân đoạn mà bạn cần truy vấn. Nếu không nó có thể dẫn đến việc mất dữ liệu hoặc truy vấn chậm chạp một cách đáng tiếc. Trong phần này mình sẽ cùng các bạn làm rõ kiến trúc sharding phổ biến và quy trình sử dụng nó nhằm đảm bảo việc phân phối và truy vấn dữ liệu trên cơ sở dữ liệu phân tán sao cho phù hợp nhất (mình nhấn mạnh là phù hợp nhất nhé, [...]

Bài viết được sự cho phép của tác giả Võ Doãn Thành 1. Tâm sự xíu nha Đã mấy lần bạn được nghe câu hỏi này khi đang phỏng vấn ở công ty chưa? Nếu đã từng thì mình rất vui vì bạn đã được nhà tuyển dụng đánh giá cao về kiến thức chuyên môn hoặc kinh nghiệm làm việc. Đối với mình đây sẽ là câu hỏi nâng cao để khai thác 1 ứng viên về cách xử lý tình huống. Bạn có thể đọc nhiều sách hoặc nghe youtube để nạp thêm kiến thức về xây dựng hệ thống dễ maintain, dễ mở rộng, thiết kế các ứng dựng theo kiến trúc microservice, hoặc làm sao để bảo vệ ứng dụng tránh những tấn công, ... Nhưng mà để lựa chọn được giải pháp nào theo từng hoàn cảnh thì đó là kĩ năng. Vì thực tế nếu mà bạn không có kĩ năng để đưa ra nên chọn giải pháp nào thì sẽ có thể tốn nhiều thờ [...]

Data hay Dữ liệu là một thuật ngữ quen thuộc nhưng mang ý nghĩa vô cùng quan trọng. Trong bài viết này, cùng TopDev khám phá khái niệm cơ bản về data và tầm quan trọng của nó trong cuộc sống hàng ngày. Data là gì? Data (hay Dữ liệu), có thể được định nghĩa đơn giản là các thông tin, số liệu hoặc sự kiện được ghi lại hoặc thu thập. Từ những dữ liệu thô như tên, địa chỉ, tuổi tác, đến những dữ liệu phức tạp hơn như hành vi người dùng trên các nền tảng trực tuyến, lượng người xem một video, hay thậm chí là các mẫu âm thanh và hình ảnh - tất cả đều có thể được coi là dữ liệu. Sự ra đời của Big Data Trong kỷ nguyên số hiện nay, với sự phát triển không ngừng của công nghệ, chúng ta đang tạo ra một khối lượng khổng lồ dữ liệu mỗi ngày. Sự ra đời của Big Data đượ [...]

Bắt đầu hành trình học về Big Data đôi khi có thể là một thách thức đối với những người mới chập chững bước vào lĩnh vực này. Những câu hỏi như "Học Big Data bắt đầu từ đâu?" hay "Big Data cần học gì?" thường xuyên làm cho các newbie cảm thấy bối rối và không biết phải bắt đầu từ đâu. Nhưng đừng lo, bài viết này sẽ giúp bạn hiểu rõ hơn về Big Data và cung cấp lộ trình chi tiết để trở thành một chuyên gia Big Data giỏi. Bắt đầu thôi nào! Big Data là gì? Vai trò Big Data đối với doanh nghiệp Big Data là một tập dữ liệu cực lớn vượt qua khả năng quản trị và xử lý thông thường. Thay vào đó, big data cần một phương pháp, công cụ tinh vi hơn để khai thác dữ liệu, phân tích chuyên sâu và trích lọc ra các data hữu ích với doanh nghiệp. Dựa và [...]

Bài viết được sự cho phép của tác giả Anh CSC Đầu tiên phải hỏi là "Big Data là gì?". Vậy thì hỏi tiếp "Bạn có nghe tới AI chưa?" (dễ gì mà chưa). Nếu mà có nghe nói thì bạn có biết là AI hoạt động thế nào không? Nó học được nhờ vào Big Data đó... Bạn có thể tưởng tượng nó như một mớ thông tin thiệt bự mà sẽ dươc sắp xếp như môn học Thống kê vậy, và với số mẫu thiệt lớn, AI (cũng như con người) có thể học được cách phân biệt giữa vật A với vật B. Dông dài thì trong thời đại được thống trị bởi công nghệ, Big Data đã thầm lặng xuất hiện trong thế giới xung quanh chúng ta đã lâu rồi (nhưng mà ta không biết hoặc để ý thấy thôi). Mặc dù có vẻ như là một khái niệm phức tạp, Big Data từng ngày được dệt chặt vào cuộc sống của chúng ta, [...]

Bài viết được sự cho phép bởi tác giả Sơn Dương Trong bài viết trước, chúng ta đã tìm hiểu big data là gì? Tầm quan trọng và cần phải chuẩn bị những kiến thức gì trước khi bắt đầu học big data. Hiểu đơn giản, Big data là dữ liệu quá lớn và phức tạp mà không thể quản lý và xử lý bằng các công cụ truyền thống như MySQL, SQL server.v.v… Big data yêu cầu một bộ công cụ và kỹ thuật đặc biệt để xử lý đống dữ liệu khổng lồ đó. Có một số công cụ khá nổi tiếng ngoài thị trường như Hadoop (hỗ trợ lưu trữ và xử lý big data), Spark (giúp tính toán dữ liệu ngay trong bộ nhớ), Storm, MongoDB… Mỗi công cụ lại có tác dụng và chức năng khác nhau để hỗ trợ phân tích big data. Trong mỗi lĩnh vực đều có một yếu tố quan trọng nhất giúp bạn dễ dàng làm chủ và tiến xa hơn. Với [...]

Data Analyst và Business Analyst là 2 vị trí công việc khác nhau nhưng thường hay bị nhầm lẫn vai trò, chủ yếu là do đều cùng chức danh là nhà phân tích. Với sự phát triển của Big Data thì 2 vị trí trên ngày càng trở nên quan trọng trong một tổ chức. Để hiểu rõ hơn vai trò, nhiệm vụ của từng vị trí, bài viết hôm nay chúng ta cùng đi so sánh giữa Data Analyst và Business Analyst nhé. Trước tiên, chúng ta cùng đi vào từng vai trò một để hiểu được công việc của một Nhà phân tích dữ liệu và Nhà phân tích kinh doanh là gì? Data Analyst là gì? Data Analyst – Chuyên viên phân tích dữ liệu là người sử dụng các công cụ đặc biệt để kiếm tra dữ liệu trong doanh nghiệp, sau đó sử dụng dữ liệu đó một cách chính xác và hiệu quả nhằm đưa ra các báo cáo, đánh giá về một vấn đề cụ thể trong tổ chức. Data Analyst có vai [...]

Trong thời đại số hóa, dữ liệu trở thành một yếu tố quan trọng quyết định đến sự phát triển của doanh nghiệp. Dữ liệu được ứng dụng trong hầu hết mọi ngành nghề từ các tổ chức kinh doanh, marketing cho đến những lĩnh vực như chăm sóc sức khỏe, logistics. Chính vì vậy, Data Analyst đã trở thành một ngành nghề được săn đón bật nhất hiện nay. Vậy để trở thành Data Analyst cần học gì? Những kỹ năng nào là cần thiết? Bài viết này sẽ trình bày những kiến thức và kỹ năng quan trọng mà bạn cần phải học và phát triển để theo đuổi sự nghiệp trong lĩnh vực này. Data Analyst hot như thế nào? Mức lương bao nhiêu? Data Analyst là một trong những ngành nghề hot nhất hiện nay, không chỉ ở Việt Nam mà còn trên toàn thế giới. Theo một báo cáo của LinkedIn, Data Analyst là một trong 10 công việc có nhu cầ [...]

Đối với bất kỳ lĩnh vực nào, việc phân tích dữ liệu luôn là yếu tố then chốt để đưa ra các đường lối, chiến lược phát triển hợp lí cho việc kinh doanh. Trên thị trường hiện nay, các công việc liên quan đến phân tích số liệu như Data Analysis, Data Science,... luôn là những vị trí “khát” nhân lực nhất. Cơ hội làm việc rộng mở cùng mức thu nhập hấp dẫn là điều khiến nhiều người quan tâm đến công việc này. Vậy Data Analyst là gì? Câu chuyện nghề nghiệp của một Data Analyst ra sao? Hãy cùng tìm hiểu với bài viết dưới đây. [caption id="attachment_43764" align="aligncenter" width="591"] Câu chuyện công việc của một Data Analyst[/caption] Data Analyst là gì? Data Analyst (DA) - chuyên viên phân tích dữ liệu, là công việc được hoạt động gắn liệu với khoa học dữ liệu, nhiệm vụ chính của họ là thu thập, chọ [...]

Phỏng vấn Data Scientist liệu có phải chỉ là những câu hỏi liên quan tới giải thuật và phân tích dữ liệu? Lựa chọn bước đi trên con đường làm Data Scientist, mong rằng bộ câu hỏi dưới đây có thể giúp đỡ bạn phần nào trong quá trình phỏng vấn và ứng tuyển vị trí Data Scientist. 1. Những library nào thường được bạn sử dụng? Khởi động với câu hỏi phỏng vấn Data Scientist đầu tiên, luôn là câu hỏi nhẹ nhàng nhưng không kém phần tinh tế. Nhưng library nào bạn thường sử dụng ở vị trí Data Scientist? Việc sử dụng library nào tuỳ thuộc vào kinh nghiệm của bản thân ứng viên, tuy nhiên có một số library thường được sử dụng nhiều. Tensor Flow Pandas NumPy SciPy Scrapy Librosa MatPlotLib Tensor Flow và Pandas anh em chắc không còn xa lạ gì. Tuỳ vào kinh nghiệm thực tế cũng như quá trình làm việc. Ứng viên có thể nêu ra các libraries thâ [...]

Phỏng vấn Big Data Engineer liệu có khó? Có phải Big là luôn đặt ra những câu hỏi hóc búa dành cho ứng viên phỏng vấn Big Data Engineer? Câu trả lời là không, bất kì vị trí nào cũng có các topics cần và sẽ hỏi qua. Đơn cử như Big data engineer thì đó sẽ là các câu hỏi liên quan tới kỹ năng, khả năng xử lý dữ liệu. Ngoài ra các công cụ thường được sử dụng cũng sẽ là câu hỏi đáng lưu tâm khi phỏng vấn vị trí này. Chi tiết mời anh em cùng tìm hiểu qua 5 câu hỏi dưới đây. Bắt đầu ngay thôi nào! 1. Làm việc với dữ liệu, bạn xử lý duplicate data như thế nào? Câu hỏi đầu tiên phỏng vấn Big Data Engineer đề cập tới SQL. Đã là làm việc với dữ liệu tất nhiên sẽ làm việc với dữ liệu được lưu ở các RDBMS. Làm việc với RDBMS tất nhiên sẽ biết tớ [...]

Bài viết đến từ anh Vũ Tuấn Nghĩa - Quản lý cao cấp hoạch định dữ liệu Data Engineering team @Techcombank DynamoDB là một dịch vụ cơ sở dữ liệu NoSQL cung cấp hiệu năng nhanh và nhất quán - có khả năng mở rộng và linh hoạt trong cách sử dụng. Khác với cơ sở dữ liệu quan hệ (RDMS), DynamoDB không sử dụng joins và các cấu trúc quan hệ khác để lưu trữ và truy vấn dữ liệu. Thay vào đó, bạn sẽ thiết kế table của mình theo Single design table - 1 table duy nhất phục vụ toàn bộ application hay service, việc này giúp hiệu suất đọc và ghi nhanh hơn ở scale lớn và giảm chi phí cloud. Trong bài viết này, chúng mình sẽ khám phá các lợi ích và thách thức của việc sử dụng Single design table trong DynamoDB, cũng như cách Datalake ở Techcombank sử dụng để đáp ứng và tối ưu như cầu sử dụng. Single table design Trong tài liệu trang chủ AWS có đề cập: You should maintain as few tables as [...]

Bài viết đến từ anh Vũ Tuấn Nghĩa - Quản lý cao cấp hoạch định dữ liệu Data Engineering team @Techcombank Data orchestration là một khối xây dựng cốt lõi của các hệ thống ETL dữ liệu, và là một công cụ đã có từ lâu đời và được áp dụng trong nhiều hệ thống khác nhau. Khi xây dựng Data Lake tại Techcombank, chúng mình có cơ hội thiết kế nhiều component/system từ đầu, từ hệ thống Data sourcing đến Datalake, đến hệ thống data ETL pipeline trên các zones của Data Lake. Để đáp ứng các nhu cầu và thách thức thực tế, ta cần có một hệ thống Data orchestration để giải quyết các bài toán: Cơ chế trigger các downstream job một cách linh hoạt mà không gây khó khăn trong quá trình vận hành Rút ngắn thời gian phát triển, xây dựng và kiểm thử Hạn chế sự phụ thuộc lẫn nhau gây ra chain failure Hôm nay chúng ta sẽ tìm hiểu về Data orchestration và cách giả [...]

Anh Nguyễn Quang Huy từng có kinh nghiệm nhiều năm về Khoa học dữ liệu cũng như phát triển và quản lý Hệ thống Dữ liệu lớn (Big Data) khi công tác tại các tập đoàn đa quốc gia tại tại Sing và Mỹ. Được truyền cảm hứng từ những bài toán lớn trên hành trình số hóa mà Techcombank đang giải quyết cho thị trường ngân hàng, Anh Nguyễn Quang Huy đã quyết định quay trở về Việt Nam để đồng hành với đội ngũ Techcombank trong giai đoạn chuyển đổi số mạnh mẽ nhất từ trước đến nay. Ở thời điểm hiện tại, anh đang giữ vị trí Director, Data Engineer tại Techcombank. Công việc chính của anh là phụ trách xây dựng các hoạt động, dự án liên quan đến Data Lake (Hồ dữ liệu) tại Techcombank. Hãy cùng nghe câu chuyện về Data Lake sẽ giải quyết những bài toán lớn nào cho hàng triệu khách hàng của Techcombank. Theo anh đâu là tầm quan trọ [...]

Thời kỳ công nghiệp 4.0 với sự phát triển của BigData, AI, Machine Learning,… tất cả các công nghệ mới hiện nay có một đặc điểm chung là cần phải xử lý dữ liệu ở một tổ chức và quy mô lớn. Cũng vì đó mà ngành kỹ sư dữ liệu trở nên hot hơn bao giờ hết. Data Engineer được rất nhiều công ty tuyển dụng với mức đãi ngộ cao cũng như định hướng tốt trong tương lai. Để chuẩn bị cho buổi phỏng vấn vị trí này, chúng ta cùng nhau tìm hiểu về những câu hỏi phỏng vấn Data Engineer thường gặp nhé. Vai trò của một Data Engineer Data Engineer / Kỹ sư dữ liệu là có nhiệm vụ chính là thu thập, chuẩn bị các dữ liệu và cùng những nhà khoa học, phân tích dữ liệu sử dụng. 3 vai trò của một Data Engineer bao gồm: Generalist – Đảm nhận các công việc tổng quát: thu thập, tải lên, nhập, đồng thời xử lý dữ liệ [...]