[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

) w8 U- v) Z* f9 K2 [! k% V( Z! ^感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
( a! s$ l% }6 d2 g' n6 himport imagehash
from PIL import Image

def compute_image_hash(image_path):
    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
0 {! v' s, I9 ?, w    try:
8 U5 z( i* ]2 ^6 @  z# Z        with Image.open(image_path) as image:
2 u' e+ w/ `0 d/ u5 g            return imagehash.average_hash(image)
8 Q- w; ^# V0 t) j    except (OSError, IOError) as e:
2 @( |# O7 Y2 g8 @& c        print(f"处理图像 {image_path} 时出错: {e}")
        return None
) m" d% d' f, B+ E
def remove_duplicates(image_folder):
$ @5 G: G# b# {: ^( Q    hash_dict = {}
" O( h% z8 y. }5 k: w4 W* {% g    duplicates = []
, W; w2 Q* [& e$ ]% ^
    for filename in os.listdir(image_folder):
9 W9 j! b" W. C9 _5 g1 h: w( R' K  Q        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
            image_path = image_folder + "\\" + filename
5 c" m4 k( V$ {            image_hash = compute_image_hash(image_path)

/ f7 b% k. ~* |7 c            if image_hash in hash_dict:
1 S/ S+ C/ P; D% y                duplicates.append(image_path)
6 Z: ^, u  p$ M            else:
  t& d- e+ d- _# `                hash_dict[image_hash] = image_path
        else:
. E. [6 l' Y1 k            pass

  I# @' S- C$ V* T  e    for duplicate in duplicates:
        os.remove(duplicate)
        print(f"Removed duplicate image: {duplicate}")

$ _% c1 `7 B" M8 k2 P% I6 p  M" M    print("Duplicate removal complete.")

5 A4 v! j0 Y1 yimage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

- Y, X0 M5 B' v" i2 F: G9 T有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

) N- x: A, N  P. N8 d" C一眼ai