신기하다... AI가 "그림QR코드"를 만들어냄

AI가 스캔 가능한 이미지 생성

새로운 ControlNet 모델 데모.

새로운 작업을 공유하기 위해 오랫동안 공식 계정이 업데이트되지 않았습니다.

 

QR 코드용 ControlNet

어떤 효과? 무슨 소용이야? 아래 예를 살펴보십시오.

다음은 Stable Diffusion에 의해 생성된 눈에 띄지 않고 약간 엉망인 스타일 이미지입니다.

 

 

그러나 여기에 세 개의 포지셔닝 포인트를 추가하면 이 사진은 스캔하고 인식할 수 있는 QR 코드가 됩니다.

 

 

길게 눌러 QR 코드를 식별하고 qrbtf.com으로 이동합니다.

놀랍다! 다음은 이 프로젝트의 기원, 교육 과정 및 그래프의 추가 결과입니다...

 

2학년 때 동급생과 함께 매개변수 QR 코드 생성기인 qrbtf.com( 아름다운 QR 코드를 만드는 방법 )을 만들었는데 여러 가지 이유로 업데이트되지 않았습니다. 예전에 이노베이션웍스의 용강씨와 대화를 나누다가 갑자기 육안으로는 전혀 정상적인 어떤 이미지에 숨겨진 정보를 암호화하는 것이 가능한가에 대해 이야기했던 것이 기억납니다. GAN 시대에는 머신러닝 생태계가 지금보다 훨씬 덜 활성화됐었고, Gradio Web UI, Diffusers 등 유용한 프레임워크는 말할 것도 없고, 설정 환경이 만만치 않아 포기했다.

 

 

 

Stable Diffusion이 탄생하고 ControlNet이 모든 주요 산업을 휩쓸고 나서야 오랜 탐색 끝에 이 구덩이를 다시 열었습니다 확산 모델을 사용하여 그림처럼 보이는 QR 코드를 생성할 수 있습니까?

 

초기 ControlNet 시도

 

훈련된 중국어 번체 패턴 LoRA

 

 

지속적으로 업데이트되는 AIGC All in One 문서

 

HuggingFace JAX/디퓨저 스프린트

 

 

ControlNet 교육의 데이터 구조는 매우 단순하며 입력 이미지(조건 이미지), 출력 이미지(이미지) 및 캡션(캡션)만 있습니다. 공식은 버전 1.0의 Depth, HED, OpenPose 및 버전 1.1의 매우 창의적인 Shuffle, Tile 및 Instruct Pix2Pix를 포함하여 많은 사전 훈련 모델을 제공했습니다.

 

ControlNet의 훈련은 데이터 양과 컴퓨팅 성능에 대한 높은 요구 사항을 가지고 있으며, 논문에 기록된 훈련 데이터 양은 80,000에서 300만이며 훈련 시간은 600 A100 GPU 시간에 달할 수 있습니다. 다행스럽게도 저자가 기본 교육 스크립트를 제공했고 HuggingFace도 Diffusers를 구현했습니다.

 

이전 JAX Sprint에서는 운이 좋게도 Google TPU v4를 사용하여 3백만 개의 이미지 학습을 매우 빠르게 완료했습니다. 행사가 끝나고 연구소의 A6000/4090으로 돌아와서 100,000개의 이미지 버전을 교육하고 학습률이 매우 커서 가능한 한 빨리 "Sudden Convergence"가 나타납니다.

GPU/TPU 학습 매개변수

밝기 제어 ControlNet, 교육 프로세스는 aigc.ioclab.com/sd-showcase/brightness-controlnet 참조

 

빛과 그림자 제어 ControlNet, 교육 과정은 aigc.ioclab.com/sd-showcase/light_controlnet 참조

 

 

테스트 모델이 학습된 후 Checkpoint + LoRA + QR Code ControlNet의 다양한 조합을 시도했습니다. 다음과 같은 다양한 인식 가능한 QR 코드를 얻습니다.

 

중국 전통 패턴

LoRA 교육 과정: aigc.ioclab.com/sd-showcase/chinese-ornament 
LoRA 모델 다운로드: civitai.com/models/29858/chinese-traditional-pattern

 

 

우키요에 스타일

LoRA 교육 과정: aigc.ioclab.com/sd-showcase/fuyue 
LoRA 모델 다운로드: civitai.com/models/25222/ukiyo-e-fuyue-style-background-mix

 

 

2차원 및 일러스트레이션 스타일

728x90

 

잉크 스타일(MoXin)

 

수채화 스타일

 

입체 스타일

 

추상 스타일

 

PCB 스타일

 

보너스: PS 리페인트

 

학부를 졸업했을 때 전염병이 가라 앉았고 생성 AI의 활발한 발전을 보았고 한숨을 쉬지 않을 수 없었고 학부생을 다시 공부하고 싶었습니다.

이 QR Code ControlNet은 3일 이내에 데이터 세트 준비, 교육 및 추론 테스트를 완료한 @陈柏宇(时时) @王浩汉@陈智永와 Lu Xin 및 Sun Guoyu의 교사들의 공동 노력과 불가분의 관계입니다. 리소스 지원. 또한 Google과 HuggingFace의 너그러운 TPU 서버에 감사드립니다. 정말 멋집니다.

 

모델 출시 및 기술 문서에 대한 공식 계정 및 문서 업데이트(aigc.ioclab.com)의 후속 업데이트에 주목하십시오 클릭하여 원문을 읽고 문서에 대한 메시지를 남겨주세요!

 

 

터치하면 패턴 바뀌는 'Adobe' 디지털 드레스

인공지능 반도체 회사 AMD

의사·한의사 AI 대체될 위험 가장 크다