Nguyễn Nhật Quang

Nguyễn Nhật Quang

🔥🔥Hokage🔥🔥

Sitemap

A list of all the posts and pages found on the site. For you robots out there is an XML version available for digesting as well.

Pages

Posts

Fundamental 2: Gaussian Mixture Model and EM algorithm

8 minute read

Published:

Chuyện là mình đang viết cái phần “Paper Explained 6” và nó có nhiều kiến thức bên ngoài quá, nên mình cho thêm 1 blog. Blog này sẽ giải thích về Gaussian Mixture Model và EM algorithm (EM là viết tắc của Expectation-maximization). Blog này sẽ rất là liên quan đến một bài giảng của viện công nghệ IIT, series này rất hay, mọi người có thể xem tập này ở đây.

Paper Explained 6: Learning Diverse Image Colorization

14 minute read

Published:

Image Colorization 🖌️ là quá trình dự đoán màu cho các ảnh đen trắng, giúp tái tạo lại hình ảnh thực tế từ dữ liệu đơn sắc, mang lại trải nghiệm hình ảnh phong phú và sống động. Với đầu vào là một ảnh xám, biểu thị cường độ sáng của ảnh, mô hình sẽ học cách ước tính các kênh màu của ảnh, tạo ra một hình ảnh hợp lý và hài hòa về mặt thị giác. Một trong những bài mà mình được học về chủ đề này đó là bài “Learning Diverse Image Colorization”, mọi người có thể đọc ở đây. BÀI NÀY MÌNH THẤY ADVANCED.

Paper Explained 4: Generative Adversarial Nets

22 minute read

Published:

GAN là một trong những framework mới và thật sự đột phá trong việc ước lượng một mô hình tạo sinh thông qua quá trình đối ngẫu. Với ý kiến cá nhân của mình thì đây là paper hay và khá phức tạp, với mình thì paper này là mô hình generative đầu tiên mà mình làm và thấy nó cũng ra gì 🤓🫰. So… Let’s dive in! Mọi người có thể tìm được paper gốc tại đây

Fundamental 1: Loss function

12 minute read

Published:

Blog này sẽ giới thiệu về các hàm loss (error function hoặc loss function) được sử dụng trong Machine Learning & Deep Learning. Hàm loss trên đời thì nhiều vô kể, với mình, hàm loss chỉ cần đạt đủ tiêu chí để nó trở thành một hàm loss, thì nó sẽ là một hàm loss. Ok, mời mọi người đọc

Paper Explained 3: Masked Autoencoders Are Scalable Vision Learners

15 minute read

Published:

“Mask” aka 👺 là một kĩ thuật được ưa chuộng trong lĩnh vực NLP. Nó hoạt động bằng cách che đi một phần trong dữ liệu, rồi đoán cái phần bị che đó dựa vào những cái không bị che 🤨👌. Mục tiêu của nó đơn giản là để mô hình học được các biểu diễn chung trong dữ liệu, bất kể ngữ cảnh cụ thể. Vậy còn đối với dữ liệu 🖼️ thì cái này xài sao, giờ mình tìm hiểu trong bài này nhế !!! 💪.

Paper Explained 2: Pay Attention to MLPs

26 minute read

Published:

📣 Attention Attention Attention, attention này attention kia, quá nhiều attention. 😅 Trong bài viết này chúng ta sẽ cùng thảo luận về một cách khác cũng đáng nhận được attention, mặc dù không phải attention. 🤔 Chủ đề hôm này của chúng ta sẽ bàn về MLP (cụ thể hơn thì là một biến thể của mạng MLP truyền thống) nói chung và gMLP nói riêng (Highlight của biến thể này là Spatial Gating Unit - Một đơn vị để kiểm soát thông tin). 🎯 Bài này khá hay, cùng đọc nhế !!! 📚🎉

Paper Explained 1: Convolutional Neural Network for Sentence Classification

30 minute read

Published:

Chào mọi người, ở trong số đầu tiên, chúng ta sẽ tìm hiểu về cách thức mà một mạng CNN (vốn rất nổi tiếng trong các bài toán xử lí ảnh) lại có thể áp dụng được vào trong bài toán xử lí ngôn ngữ tự nhiên, mà ở đây cụ thể là bài toán phân loại câu mà vẫn cho ra một kết quả tốt. Và cũng như trong bài này, chúng ta sẽ bàn luận thêm về các ưu nhược điểm cũng như các cách khác mà ta có thể cải tiến được kết quả của mô hình này.

portfolio

Reimplement paper

Reimplement deep learning and machine learning papers on various tasks and data types

publications

An Exploratory Comparison of LSTM and BiLSTM in Stock Price Prediction

Published in Inventive Communication and Computational Technologies, 2023

Forecasting stock prices is a challenging topic that has been the subject of many studies in the field of finance. Using machine learning techniques, such as deep learning, to model and predict future stock prices is a potential approach. Long short-term memory (LSTM) and bidirectional long short-term memory (BiLSTM) are two common deep learning models. The finding of this work is to discover which activation function and which optimization method will influence the performance of the models the most. Also, the comparison of closely related models: vanilla RNN, LSTM, and BiLSTM to discover the best model for stock price prediction is implemented. Experimental results indicated that BiLSTM with ReLU and Adam method achieved the best performance in the prediction of stock price.

Recommended citation: Viet, N.Q., Quang, N.N., King, N., Huu, D.T., Toan, N.D., Thanh, D.N.H. (2023). "An Exploratory Comparison of LSTM and BiLSTM in Stock Price Prediction." Inventive Communication and Computational Technologies. ICICCT 2023. Lecture Notes in Networks and Systems, vol 757. Springer, Singapore.

Performance Insights of Attention-free Language Models in Sentiment Analysis: A Case Study for E commerce Platforms in Vietnam

Published in Inventive Communication and Computational Technologies, 2024

Transformer-based models have gained significant development over the last few years due to their efficiency and parallelizability in training on vari- ous data domains. However, one bottleneck of the Transformer architecture lies in the Attention mechanism with high complexity. Consequently, training a Trans- former network involves long training time and large computational resources. Although there has been much research work to address this challenge, it is necessary to investigate other language models without the Attention compo- nent. In this work, we focused on the effectiveness and efficiency of attention- free language models, namely BiLSTM, TextCNN, gMLP, and HyenaDNA for the sentiment analysis problem based on reviews on popular e-commerce plat- forms in Vietnam. The findings showed that the accuracy of Bidirectional LSTM, TextCNN, HyenaDNA, and gMLP achieved approximately 97.8%, 97%, 96.8%, and 97.5%, respectively, compared to a popular attention-based model – RoBERTa but their number of parameters is 36.7 times less, 410 times less, 9.3 times less and 98 times less, respectively. In addition, among the considered attention-free models, even though Bidirectional LSTM obtained the highest accuracy, the dif- ference compared to gMLP is tiny. Otherwise, gMLP also acquired the highest F1 score in the considered attention-free model family.

Recommended citation: Pending Pending

On Enhancing Deep Embedded Clustering for Intent Mining in Goal-Oriented Dialogue Understanding

Published in Journal of Uncertain Systems, 2024

Discovering user intents plays an indispensable role in natural lan- guage understanding and automated dialogue response. However, labeling intents for new domains from scratch is a daunting process that often requires extensive manual effort from domain experts. To this end, this paper proposes an unsu- pervised approach for discovering intents and automatically producing intention labels from a collection of unlabeled utterances in the context of the banking domain. A proposed two-stage training procedure includes deploying Deep Em- bedded Clustering (DEC), wherein we made significant modifications by using the Sophia optimizer and the Jensen-Shannon divergence measure to simultane- ously learn feature representations and cluster assignments. A set of intent labels for each cluster is then generated by using a dependency parser in the second stage. We empirically show that the proposed unsupervised approach is capable of generating meaningful intent labels and short text clustering while achieving high evaluation scores.

Recommended citation: NQK Ha, NTT Huyen, MTM Uyen, NQ Viet, NN Quang, Dang N. H. Thanh. Customer Intent Mining from Service Inquiries with Newly Improved Deep Embedded Clustering. Journal of Uncertain Systems, 2024 (Scopus).

talks

teaching