Bài viết được sự cho phép bởi tác giả Vũ Thành Nam Bài viết này mình sẽ giới thiệu cho các bạn cách kiến trúc sharding trong distributed database. Điều đầu tiên, khi bạn đã quyết định chia nhỏ cơ sở dữ liệu với sharding, bạn cần phải hiểu rõ nó nên và sẽ làm như thế nào. Khi bạn bắt đầu chạy truy vấn dữ liệu trong các bảng được chia nhỏ, điều quan trọng là bạn phải xác định đúng phân đoạn mà bạn cần truy vấn. Nếu không nó có thể dẫn đến việc mất dữ liệu hoặc truy vấn chậm chạp một cách đáng tiếc. Trong phần này mình sẽ cùng các bạn làm rõ kiến trúc sharding phổ biến và quy trình sử dụng nó nhằm đảm bảo việc phân phối và truy vấn dữ liệu trên cơ sở dữ liệu phân tán sao cho phù hợp nhất (mình nhấn mạnh là phù hợp nhất nhé, [...]

Bài viết được sự cho phép của tác giả Võ Doãn Thành 1. Kể chuyện nè Có 2 điều mình muốn kể cho bạn nghe. Một là tại sao mình viết topic này. Hai là hoàn cảnh nào mà mình nhận được câu hỏi như topic. Thật ra, ban đầu mình không nghĩ sẽ chia sẽ topic này đâu. Do trước đó mình có viết 1 vài về "Data nên lưu vào database trước rồi mới lưu vào cache hay phải làm ngược lại?". Thì mình có lấy ví dụ để mô tả thì đa số các ví dụ đều dùng Microservice. Và có rất nhiều bạn đặt câu hỏi liên quan tới việc làm sao đảm bảo tính nhất quán (consitent) dữ liệu cho các services với nhau. Lúc đó mình mới nghĩ ra được topic này. Vì nó khá liên quan tới việc quản lý transactions giữa các services. Nguyên văn câu hỏi mà mình nhận được trước đó "How do you handle transactions in Microservice architecture? And if one service fails, what's the [...]

Bài viết được sự cho phép của tác giả Võ Doãn Thành 1. Tâm sự xíu nha Đã mấy lần bạn được nghe câu hỏi này khi đang phỏng vấn ở công ty chưa? Nếu đã từng thì mình rất vui vì bạn đã được nhà tuyển dụng đánh giá cao về kiến thức chuyên môn hoặc kinh nghiệm làm việc. Đối với mình đây sẽ là câu hỏi nâng cao để khai thác 1 ứng viên về cách xử lý tình huống. Bạn có thể đọc nhiều sách hoặc nghe youtube để nạp thêm kiến thức về xây dựng hệ thống dễ maintain, dễ mở rộng, thiết kế các ứng dựng theo kiến trúc microservice, hoặc làm sao để bảo vệ ứng dụng tránh những tấn công, ... Nhưng mà để lựa chọn được giải pháp nào theo từng hoàn cảnh thì đó là kĩ năng. Vì thực tế nếu mà bạn không có kĩ năng để đưa ra nên chọn giải pháp nào thì sẽ có thể tốn nhiều thờ [...]

Trong bối cảnh thế giới ngày càng chú trọng đến sự bền vững và giảm thiểu tác động môi trường, các yếu tố chất lượng của kiến trúc phần mềm cũng đang dần thay đổi để thích ứng với yêu cầu này. Bài viết này sẽ trình bày chi tiết về tính bền vững như một yếu tố chất lượng mới trong kiến trúc phần mềm và những bước cần thiết để đạt được điều này. Các thuộc tính chất lượng Các yêu cầu không chức năng (non-functional requirements) là các tiêu chí quan trọng để đánh giá mức độ hoàn thiện của một hệ thống phần mềm. Chúng bao gồm hơn 80 thuộc tính đáng chú ý như tính sẵn sàng, độ tin cậy, khả năng mở rộng, bảo mật và bảo trì. Dưới đây là một số bộ thuộc tính chất lượng chính: Bảo mật (Security): Bảo mật thông tin, tính toàn [...]

Data hay Dữ liệu là một thuật ngữ quen thuộc nhưng mang ý nghĩa vô cùng quan trọng. Trong bài viết này, cùng TopDev khám phá khái niệm cơ bản về data và tầm quan trọng của nó trong cuộc sống hàng ngày. Data là gì? Data (hay Dữ liệu), có thể được định nghĩa đơn giản là các thông tin, số liệu hoặc sự kiện được ghi lại hoặc thu thập. Từ những dữ liệu thô như tên, địa chỉ, tuổi tác, đến những dữ liệu phức tạp hơn như hành vi người dùng trên các nền tảng trực tuyến, lượng người xem một video, hay thậm chí là các mẫu âm thanh và hình ảnh - tất cả đều có thể được coi là dữ liệu. Sự ra đời của Big Data Trong kỷ nguyên số hiện nay, với sự phát triển không ngừng của công nghệ, chúng ta đang tạo ra một khối lượng khổng lồ dữ liệu mỗi ngày. Sự ra đời của Big Data đượ [...]

Bài viết được sự cho phép bởi tác giả Vũ Thành Nam Trong bài viết sự tiến hóa của kiến trúc phần mềm mình có đề cập đến loại kiến trúc này, bạn đọc có thể tìm đọc lại link ở cuối bài viết. Bài viết này mình sẽ đi sâu hơn một chút nhưng vẫn không phải dùng những thuật ngữ đao to búa lớn để diễn tả kiến trúc này, mà mình thông qua những ví dụ đơn giản nhất để bạn đọc có thể hiểu được một cách dễ dàng. Bắt đầu nhé! Bạn bắt đầu hình dung, một ứng dụng hay một website thường sẽ có 3 lớp thành phần chính đó là tầng giao diện, tầng xử lý nghiệp vụ business và tầng  cơ sở dữ liệu. Ba lớp ngày sẽ đi từ ngoài vào trong, thứ mà đập vào mắt bạn như bài viết này cũng không ngoại lệ, để có thể hiển thị được cho bạn đọc (client hay [...]

Bắt đầu hành trình học về Big Data đôi khi có thể là một thách thức đối với những người mới chập chững bước vào lĩnh vực này. Những câu hỏi như "Học Big Data bắt đầu từ đâu?" hay "Big Data cần học gì?" thường xuyên làm cho các newbie cảm thấy bối rối và không biết phải bắt đầu từ đâu. Nhưng đừng lo, bài viết này sẽ giúp bạn hiểu rõ hơn về Big Data và cung cấp lộ trình chi tiết để trở thành một chuyên gia Big Data giỏi. Bắt đầu thôi nào! Big Data là gì? Vai trò Big Data đối với doanh nghiệp Big Data là một tập dữ liệu cực lớn vượt qua khả năng quản trị và xử lý thông thường. Thay vào đó, big data cần một phương pháp, công cụ tinh vi hơn để khai thác dữ liệu, phân tích chuyên sâu và trích lọc ra các data hữu ích với doanh nghiệp. Dựa và [...]

Bài viết được sự cho phép của tác giả Anh CSC Đầu tiên phải hỏi là "Big Data là gì?". Vậy thì hỏi tiếp "Bạn có nghe tới AI chưa?" (dễ gì mà chưa). Nếu mà có nghe nói thì bạn có biết là AI hoạt động thế nào không? Nó học được nhờ vào Big Data đó... Bạn có thể tưởng tượng nó như một mớ thông tin thiệt bự mà sẽ dươc sắp xếp như môn học Thống kê vậy, và với số mẫu thiệt lớn, AI (cũng như con người) có thể học được cách phân biệt giữa vật A với vật B. Dông dài thì trong thời đại được thống trị bởi công nghệ, Big Data đã thầm lặng xuất hiện trong thế giới xung quanh chúng ta đã lâu rồi (nhưng mà ta không biết hoặc để ý thấy thôi). Mặc dù có vẻ như là một khái niệm phức tạp, Big Data từng ngày được dệt chặt vào cuộc sống của chúng ta, [...]

Bài viết được sự cho phép bởi tác giả Sơn Dương Trong bài viết trước, chúng ta đã tìm hiểu big data là gì? Tầm quan trọng và cần phải chuẩn bị những kiến thức gì trước khi bắt đầu học big data. Hiểu đơn giản, Big data là dữ liệu quá lớn và phức tạp mà không thể quản lý và xử lý bằng các công cụ truyền thống như MySQL, SQL server.v.v… Big data yêu cầu một bộ công cụ và kỹ thuật đặc biệt để xử lý đống dữ liệu khổng lồ đó. Có một số công cụ khá nổi tiếng ngoài thị trường như Hadoop (hỗ trợ lưu trữ và xử lý big data), Spark (giúp tính toán dữ liệu ngay trong bộ nhớ), Storm, MongoDB… Mỗi công cụ lại có tác dụng và chức năng khác nhau để hỗ trợ phân tích big data. Trong mỗi lĩnh vực đều có một yếu tố quan trọng nhất giúp bạn dễ dàng làm chủ và tiến xa hơn. Với [...]

Data Analyst và Business Analyst là 2 vị trí công việc khác nhau nhưng thường hay bị nhầm lẫn vai trò, chủ yếu là do đều cùng chức danh là nhà phân tích. Với sự phát triển của Big Data thì 2 vị trí trên ngày càng trở nên quan trọng trong một tổ chức. Để hiểu rõ hơn vai trò, nhiệm vụ của từng vị trí, bài viết hôm nay chúng ta cùng đi so sánh giữa Data Analyst và Business Analyst nhé. Trước tiên, chúng ta cùng đi vào từng vai trò một để hiểu được công việc của một Nhà phân tích dữ liệu và Nhà phân tích kinh doanh là gì? Data Analyst là gì? Data Analyst – Chuyên viên phân tích dữ liệu là người sử dụng các công cụ đặc biệt để kiếm tra dữ liệu trong doanh nghiệp, sau đó sử dụng dữ liệu đó một cách chính xác và hiệu quả nhằm đưa ra các báo cáo, đánh giá về một vấn đề cụ thể trong tổ chức. Data Analyst có vai [...]

Trong thời đại số hóa, dữ liệu trở thành một yếu tố quan trọng quyết định đến sự phát triển của doanh nghiệp. Dữ liệu được ứng dụng trong hầu hết mọi ngành nghề từ các tổ chức kinh doanh, marketing cho đến những lĩnh vực như chăm sóc sức khỏe, logistics. Chính vì vậy, Data Analyst đã trở thành một ngành nghề được săn đón bật nhất hiện nay. Vậy để trở thành Data Analyst cần học gì? Những kỹ năng nào là cần thiết? Bài viết này sẽ trình bày những kiến thức và kỹ năng quan trọng mà bạn cần phải học và phát triển để theo đuổi sự nghiệp trong lĩnh vực này. Data Analyst hot như thế nào? Mức lương bao nhiêu? Data Analyst là một trong những ngành nghề hot nhất hiện nay, không chỉ ở Việt Nam mà còn trên toàn thế giới. Theo một báo cáo của LinkedIn, Data Analyst là một trong 10 công việc có nhu cầ [...]

Đối với bất kỳ lĩnh vực nào, việc phân tích dữ liệu luôn là yếu tố then chốt để đưa ra các đường lối, chiến lược phát triển hợp lí cho việc kinh doanh. Trên thị trường hiện nay, các công việc liên quan đến phân tích số liệu như Data Analysis, Data Science,... luôn là những vị trí “khát” nhân lực nhất. Cơ hội làm việc rộng mở cùng mức thu nhập hấp dẫn là điều khiến nhiều người quan tâm đến công việc này. Vậy Data Analyst là gì? Câu chuyện nghề nghiệp của một Data Analyst ra sao? Hãy cùng tìm hiểu với bài viết dưới đây. [caption id="attachment_43764" align="aligncenter" width="591"] Câu chuyện công việc của một Data Analyst[/caption] Data Analyst là gì? Data Analyst (DA) - chuyên viên phân tích dữ liệu, là công việc được hoạt động gắn liệu với khoa học dữ liệu, nhiệm vụ chính của họ là thu thập, chọ [...]

Bài viết đến từ anh Trần Minh Thiện - Giám đốc Kiến trúc Giải pháp Enterprise Architect team @Techcombank 1. Tổng quan  Trong các hệ thống phân tán (distributed systems), các giao dịch thương mại (business transactions) qua nhiều tầng dịch vụ (multiple-layer services) cần thiết có một cơ chế để đảm bảo dữ liệu phải nhất quán xuyên suốt. Vì vậy, khái niệm SAGA đại diện cho một mô hình hoạt động thương mại tổng quát (như khi ta đặt một  chuyến du lịch) gồm nhiều yêu cầu chuyên sâu (low-level requests) mà mỗi yêu cầu này sẽ thực hiện cập nhật dữ liệu trong từng service đơn lẻ. Mỗi yêu cầu cũng  sẽ chứa một yêu cầu khôi phục (compensating request) chỉ được thực hiện khi yêu cầu ban đầu bị lỗi. 2. Ngữ cảnh  Giao dịch (transactions) là thành phần chủ yếu trong mọi ứng dụng doanh nghiệp (enterprise application). Không có giao dịch sẽ không thể duy trì tính nhất [...]

Phỏng vấn Data Scientist liệu có phải chỉ là những câu hỏi liên quan tới giải thuật và phân tích dữ liệu? Lựa chọn bước đi trên con đường làm Data Scientist, mong rằng bộ câu hỏi dưới đây có thể giúp đỡ bạn phần nào trong quá trình phỏng vấn và ứng tuyển vị trí Data Scientist. 1. Những library nào thường được bạn sử dụng? Khởi động với câu hỏi phỏng vấn Data Scientist đầu tiên, luôn là câu hỏi nhẹ nhàng nhưng không kém phần tinh tế. Nhưng library nào bạn thường sử dụng ở vị trí Data Scientist? Việc sử dụng library nào tuỳ thuộc vào kinh nghiệm của bản thân ứng viên, tuy nhiên có một số library thường được sử dụng nhiều. Tensor Flow Pandas NumPy SciPy Scrapy Librosa MatPlotLib Tensor Flow và Pandas anh em chắc không còn xa lạ gì. Tuỳ vào kinh nghiệm thực tế cũng như quá trình làm việc. Ứng viên có thể nêu ra các libraries thâ [...]

Bài viết đến từ anh Nguyễn Ngọc Hải - Quản lý cao cấp Kiến trúc Giải pháp Enterprise Architect team @Techcombank Tổng quan Trong quy trình phát triển phần mềm, các nguyên tắc về thiết kế component là không thể thiếu để có một hệ thống được tổ chức quy củ, dễ mở rộng và dễ quản lý. Components trong bài dùng để chỉ đến các thành phần nhỏ nhất, thuộc về một hệ thống, có thể triển khai được một cách tương đối độc lập với các component khác, có thể là micro-service, hoặc library, package, v.v.. Các nguyên tắc thiết kế dưới đây giúp hướng dẫn developer và kiến trúc sư đặt class nào vào component nào (component cohesion), và những component đó liên quan gì đến nhau (component coupling). Việc có các nguyên tắc thiết kế đặc biệt quan trở nên quan trọng khi các hệ thống phần mềm phát triển ngày một lớn và phức tạp. Lúc này chỉ riêng việc quyết định đặ [...]